Daniel Han
|
f0aca9073e
|
Fix TRL
|
2024-10-21 01:02:53 -07:00 |
|
Daniel Han
|
38663b01f5
|
Gradient Accumulation Fix (#1134)
* Unsloth Zoo
* Update trainer.py
* Update trainer.py
* Update cross_entropy_loss.py
* n_items
* Update llama.py
* kwargs
* Remove extraneous f prefixes (#1133)
Co-authored-by: Emil Sadek <esadek@users.noreply.github.com>
* Update __init__.py
---------
Co-authored-by: Emil Sadek <esadek@hotmail.com>
Co-authored-by: Emil Sadek <esadek@users.noreply.github.com>
|
2024-10-14 19:17:35 -07:00 |
|
Daniel Han
|
79a2112ca4
|
Reload
|
2024-10-05 17:21:48 -07:00 |
|
Daniel Han
|
597e1894f6
|
Fix merges (#1079)
* Layernorm
* Update layernorm.py
* Update layernorm.py
* Update layernorm.py
* Update layernorm.py
* Update layernorm.py
* Update layernorm.py
* Patch layernorm
* Update layernorm.py
* RMS Layernorm
* Update rms_layernorm.py
* Causal LM
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update layernorm.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update _utils.py
* Update _utils.py
* Llama 3.2
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update llama.py
* Update vision.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update loader.py
* Update loader.py
* Update loader.py
* Dependencies
* Update pyproject.toml
* Update _utils.py
|
2024-09-30 03:03:01 -07:00 |
|
Daniel Han
|
c3f4e9a87d
|
Update pyproject.toml
|
2024-09-27 01:36:45 -07:00 |
|
Daniel Han
|
2c5a3995c8
|
Update pyproject.toml
|
2024-09-25 23:47:15 -07:00 |
|
Daniel Han
|
a1ca724f5d
|
Update pyproject.toml
|
2024-09-25 23:13:49 -07:00 |
|
Daniel Han
|
3bc804a9f9
|
Torch 2.4, Xformers>0.0.27, TRL>0.9, Python 3.12 + bug fixes (#902)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
|
2024-08-10 19:59:40 -07:00 |
|
Daniel Han
|
8001d30a8f
|
Fix tokenizers (#887)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
|
2024-08-06 20:24:44 -07:00 |
|
Daniel Han
|
f65cc9877c
|
Update pyproject.toml
|
2024-08-04 11:28:21 -07:00 |
|
Daniel Han
|
9617ecbbb8
|
flash-attn softcapping
|
2024-07-30 22:48:53 -07:00 |
|
Daniel Han
|
f6c2b4aa7d
|
Checks
|
2024-07-27 22:16:33 -07:00 |
|
Daniel Han
|
08379f8a9c
|
Edits
|
2024-07-27 20:30:32 -07:00 |
|
Daniel Han
|
2f9bd5bcb6
|
Llama 3.1 check
|
2024-07-23 11:09:24 -07:00 |
|
Daniel Han
|
aed740060a
|
Update pyproject.toml
|
2024-07-18 10:59:09 -07:00 |
|
Daniel Han
|
92dce38e8b
|
Many bug fixes (#754)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Check exec, eval
* Update _utils.py
* Update _utils.py
* Images
* Bug fixes
* Update pyproject.toml
* Bug fixes
* Update _utils.py
* Update _utils.py
|
2024-07-10 01:59:06 -07:00 |
|
Daniel Han
|
499635a190
|
Gemma2 (#709)
* Update mapper.py
* Update loader.py
* Update llama.py
* Update tokenizer_utils.py
* info
* edits
* Create chat template
* Fix tokenizer
* Update tokenizer_utils.py
* fix case where gguf saving fails due to first_conversion dtype (#630)
* Support revision parameter in FastLanguageModel.from_pretrained (#629)
* support `revision` parameter
* match unsloth formatting of named parameters
* clears any selected_adapters before calling internal_model.save_pretrained (#609)
* Update __init__.py (#602)
Check for incompatible modules before importing unsloth
* Fixed unsloth/tokenizer_utils.py for chat training (#604)
* Add GGML saving option to Unsloth for easier Ollama model creation and testing. (#345)
* Add save to llama.cpp GGML to save.py.
* Fix conversion command and path of convert to GGML function.
* Add autosaving lora to the GGML function
* Create lora save function for conversion to GGML
* Test fix #2 for saving lora
* Test fix #3 to save the lora adapters to convert to GGML
* Remove unwated tokenizer saving for conversion to ggml and added a few print statements.
* Needed tokenizer for saving, added it back, also made it more unslothy style by having positional arguments, and added a few messages.
* Positional arguments didn't work out, so reverted to older version of the code, and added a few comments.
* Test fix 1 for arch
* Test fix 2 new Mistral error.
* Test fix 3
* Revert to old version for testing.
* Upload issue test fix 1
* Fix 2 uploading ggml
* Positional ags added.
* Temporray remove positional args
* Fix upload again!!!
* Add print statements and fix link
* Make the calling name better
* Create local saving for GGML
* Add choosing directory to save local GGML.
* Fix lil variable error in the save_to_custom_dir func
* docs: Add LoraConfig parameters documentation (#619)
* llama.cpp failing (#371)
llama.cpp is failing to generate quantize versions for the trained models.
Error:
```bash
You might have to compile llama.cpp yourself, then run this again.
You do not need to close this Python program. Run the following commands in a new terminal:
You must run this in the same folder as you're saving your model.
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make clean && LLAMA_CUDA=1 make all -j
Once that's done, redo the quantization.
```
But when i do clone this with recursive it works.
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* fix libcuda_dirs import for triton 3.0 (#227)
* fix libcuda_dirs import for triton 3.0
* Update __init__.py
* Update __init__.py
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update save.py
* Update __init__.py
* Update fast_lora.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update save.py
* Update save.py
* quantize now llama-quantize
* Update chat_templates.py
* Update loader.py
* Update mapper.py
* Update __init__.py
* embedding size
* Update qwen2.py
* docs
* Update README.md
* Update qwen2.py
* README: Fix minor typo. (#559)
* README: Fix minor typo.
One-character typo fix while reading.
* Update README.md
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update mistral.py
* Update qwen2.py
* Update qwen2.py
* Update qwen2.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update README.md
* FastMistralModel
* Update mistral.py
* Update mistral.py
* Update mistral.py
* Update mistral.py
* Update mistral.py
* Auto check rope scaling
* Update llama.py
* Update llama.py
* Update llama.py
* GPU support
* Typo
* Update gemma.py
* gpu
* Multiple GGUF saving
* Update save.py
* Update save.py
* check PEFT and base
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* Fix breaking bug in save.py with interpreting quantization_method as a string when saving to gguf (#651)
* Nightly (#649)
* Update llama.py
* offload
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* continued pretraining trainer
* Update trainer.py
* Update trainer.py
* Update trainer.py
* Update trainer.py
* is_bfloat16_supported
* Update __init__.py
* Update README.md
* Update llama.py
* is_bfloat16_supported
* Update __init__.py
* Mistral v3
* Phi 3 medium
* Update chat_templates.py
* Update chat_templates.py
* Phi-3
* Update save.py
* Update README.md
Mistral v3 to Mistral v0.3
* Untrained tokens
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* checkpoint
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
* accelerate
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* train_dataloader
* Update llama.py
* Update llama.py
* Update llama.py
* use_fast_convert
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* remove_special_tokens
* Ollama
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update llama.py
* Update chat_templates.py
* Support bfloat16 GGUF
* Update save.py
* Update llama.py
* fast_forward_inference
* Update mapper.py
* Update loader.py
* Update llama.py
* Update tokenizer_utils.py
* info
* edits
* Create chat template
* Fix tokenizer
* Update tokenizer_utils.py
* fix case where gguf saving fails due to first_conversion dtype (#630)
* Support revision parameter in FastLanguageModel.from_pretrained (#629)
* support `revision` parameter
* match unsloth formatting of named parameters
* clears any selected_adapters before calling internal_model.save_pretrained (#609)
* Update __init__.py (#602)
Check for incompatible modules before importing unsloth
* Fixed unsloth/tokenizer_utils.py for chat training (#604)
* Add GGML saving option to Unsloth for easier Ollama model creation and testing. (#345)
* Add save to llama.cpp GGML to save.py.
* Fix conversion command and path of convert to GGML function.
* Add autosaving lora to the GGML function
* Create lora save function for conversion to GGML
* Test fix #2 for saving lora
* Test fix #3 to save the lora adapters to convert to GGML
* Remove unwated tokenizer saving for conversion to ggml and added a few print statements.
* Needed tokenizer for saving, added it back, also made it more unslothy style by having positional arguments, and added a few messages.
* Positional arguments didn't work out, so reverted to older version of the code, and added a few comments.
* Test fix 1 for arch
* Test fix 2 new Mistral error.
* Test fix 3
* Revert to old version for testing.
* Upload issue test fix 1
* Fix 2 uploading ggml
* Positional ags added.
* Temporray remove positional args
* Fix upload again!!!
* Add print statements and fix link
* Make the calling name better
* Create local saving for GGML
* Add choosing directory to save local GGML.
* Fix lil variable error in the save_to_custom_dir func
* docs: Add LoraConfig parameters documentation (#619)
* llama.cpp failing (#371)
llama.cpp is failing to generate quantize versions for the trained models.
Error:
```bash
You might have to compile llama.cpp yourself, then run this again.
You do not need to close this Python program. Run the following commands in a new terminal:
You must run this in the same folder as you're saving your model.
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make clean && LLAMA_CUDA=1 make all -j
Once that's done, redo the quantization.
```
But when i do clone this with recursive it works.
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* fix libcuda_dirs import for triton 3.0 (#227)
* fix libcuda_dirs import for triton 3.0
* Update __init__.py
* Update __init__.py
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update save.py
* Update __init__.py
* Update fast_lora.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update save.py
* Update save.py
* quantize now llama-quantize
* Update chat_templates.py
* Update loader.py
* Update mapper.py
* Update __init__.py
* embedding size
* Update qwen2.py
* docs
* Update README.md
* Update qwen2.py
* README: Fix minor typo. (#559)
* README: Fix minor typo.
One-character typo fix while reading.
* Update README.md
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update mistral.py
* Update qwen2.py
* Update qwen2.py
* Update qwen2.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update README.md
* FastMistralModel
* Update mistral.py
* Update mistral.py
* Update mistral.py
* Update mistral.py
* Update mistral.py
* Auto check rope scaling
* Update llama.py
* Update llama.py
* Update llama.py
* GPU support
* Typo
* Update gemma.py
* gpu
* Multiple GGUF saving
* Update save.py
* Update save.py
* check PEFT and base
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
---------
Co-authored-by: Michael Han <107991372+shimmyshimmer@users.noreply.github.com>
Co-authored-by: Eliot Hall <60240707+chrehall68@users.noreply.github.com>
Co-authored-by: Rickard Edén <rickardeden@gmail.com>
Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: Oseltamivir <58582368+Oseltamivir@users.noreply.github.com>
Co-authored-by: mahiatlinux <110882203+mahiatlinux@users.noreply.github.com>
Co-authored-by: Sébastien De Greef <sebdg@binarycompany.com>
Co-authored-by: Alberto Ferrer <albertof@barrahome.org>
Co-authored-by: Thomas Viehmann <tv.github-private@beamnet.de>
Co-authored-by: Walter Korman <lemurware@gmail.com>
* Fix bug in save.py with interpreting quantization_method as a string that prevents GGUF from saving
* Implemented better list management and then forgot to actually call the new list variable, fixed
* Check type of given quantization method and return type error if not list or string
* Update save.py
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
Co-authored-by: Michael Han <107991372+shimmyshimmer@users.noreply.github.com>
Co-authored-by: Eliot Hall <60240707+chrehall68@users.noreply.github.com>
Co-authored-by: Rickard Edén <rickardeden@gmail.com>
Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: Oseltamivir <58582368+Oseltamivir@users.noreply.github.com>
Co-authored-by: mahiatlinux <110882203+mahiatlinux@users.noreply.github.com>
Co-authored-by: Sébastien De Greef <sebdg@binarycompany.com>
Co-authored-by: Alberto Ferrer <albertof@barrahome.org>
Co-authored-by: Thomas Viehmann <tv.github-private@beamnet.de>
Co-authored-by: Walter Korman <lemurware@gmail.com>
* Revert "Fix breaking bug in save.py with interpreting quantization_method as …" (#652)
This reverts commit 30605dec23.
* Revert "Revert "Fix breaking bug in save.py with interpreting quantization_me…" (#653)
This reverts commit e2b2083b62.
* Update llama.py
* peft
* patch
* Update loader.py
* retrain
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* offload
* Update llama.py
* Create a starter script for command-line training to integrate in ML ops pipelines. (#623)
* Update chat_templates.py
* Ollama
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Ollama
* Update chat_templates.py
* ollama
* Update mapper.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update llama.py
* Fixes
* clearer messages
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* log
* Update __init__.py
* Update llama.py
* Update __init__.py
* Create Merge.png
* Create ollama.png
* Gemma2
* Update llama.py
* Update loader.py
* Update pyproject.toml
* Update pyproject.toml
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Revert Gemma2
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update rms_layernorm.py
* Update gemma2.py
* logit softcapping
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update llama.py
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* compile flags
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* fixes
* Update _utils.py
* Fix generation
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* pad token
* Update gemma2.py
* pad token
* Update _utils.py
* Update llama.py
* Update gemma2.py
* edit warning
* Update tokenizer_utils.py
---------
Co-authored-by: Eliot Hall <60240707+chrehall68@users.noreply.github.com>
Co-authored-by: Rickard Edén <rickardeden@gmail.com>
Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: Oseltamivir <58582368+Oseltamivir@users.noreply.github.com>
Co-authored-by: mahiatlinux <110882203+mahiatlinux@users.noreply.github.com>
Co-authored-by: Sébastien De Greef <sebdg@binarycompany.com>
Co-authored-by: Alberto Ferrer <albertof@barrahome.org>
Co-authored-by: Thomas Viehmann <tv.github-private@beamnet.de>
Co-authored-by: Walter Korman <lemurware@gmail.com>
Co-authored-by: ArcadaLabs-Jason <52756218+ArcadaLabs-Jason@users.noreply.github.com>
Co-authored-by: Michael Han <107991372+shimmyshimmer@users.noreply.github.com>
|
2024-07-02 22:51:01 -07:00 |
|
Daniel Han-Chen
|
172219e3e7
|
Update pyproject.toml
|
2024-06-06 01:22:29 +10:00 |
|
Daniel Han
|
2f2b478868
|
Nightly (#483)
* peft issue
* Update save.py
* Update __init__.py
* Update pyproject.toml
|
2024-05-17 23:46:33 +10:00 |
|
Daniel Han
|
8dc0561ec0
|
peft issue (#480)
|
2024-05-17 04:18:18 +10:00 |
|
Daniel Han
|
d4512f7c13
|
May 2024 Prelim (#447)
* Fix prompt
* Update chat_templates.py
* fix_untrained_tokens
* Update llama.py
* add tokens
* Update _utils.py
* Update tokenizer_utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* pad_token
* Update chat_templates.py
* Update chat_templates.py
* tokenizer
* Update save.py
* Update chat_templates.py
* Update chat_templates.py
* patch tokenizer padding
* Update tokenizer_utils.py
* Update save.py
* Fix: loading models with resized vocabulary (#377)
* new: vocab resize on load
* new: gitignore
* GGUF fix
* Readme (#390)
* Update README.md
* Update README.md
---------
Co-authored-by: Michael Han <107991372+shimmyshimmer@users.noreply.github.com>
* Update README.md
* Delete .gitignore
* Phi-3
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Fix reserved tokens
* Update save.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update chat_templates.py
* Update save.py
* Update _utils.py
* Update chat_templates.py
* Adds dependencies and extras for torch 2.3.0 with new xformers versions (#415)
* Adds dependencies and extras for torch 2.3.0 with new xformers versions
* Add 2.3.0 section to readme
* Support Qwen2 (#428)
* support Qwen2
* support Qwen2
* Delete README.md
* Revert "Delete README.md"
This reverts commit 026b05f859.
* Update README.md
* Qwen2 == Mistral
* Update llama.py
* Update __init__.py
* Update README.md
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update save.py
* Update save.py
* Update _utils.py
* Update save.py
* Update save.py
* Update save.py
* test_hf_gguf_equivalence
* Update chat_templates.py
* Update chat_templates.py
* --pad-vocab
* Update tokenizer_utils.py
---------
Co-authored-by: Igor Kilbas <whitemarsstudios@gmail.com>
Co-authored-by: Michael Han <107991372+shimmyshimmer@users.noreply.github.com>
Co-authored-by: Nathan Azrak <42650258+nathan-az@users.noreply.github.com>
Co-authored-by: Yang JianXin <995462226@qq.com>
|
2024-05-13 05:22:03 +10:00 |
|
Daniel Han
|
f6f621ea94
|
Bug fixes (#308)
* Update rms_layernorm.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Fix Gemma merging
* Update rms_layernorm.py
* Update gemma.py
* Update pyproject.toml
* Layernorms
* Gemma precision
* Update gemma.py
* sqrt
* Update gemma.py
* Update save.py
* RoPE and Gemma precision
* Update rms_layernorm.py
* Fix warning
* Update chat_templates.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update save.py
* Update chat_templates.py
* Update llama.py
* model_name
* Update loader.py
* Tokenizer overwritten
* Update llama.py
* Update llama.py
* Update llama.py
* Update save.py
* Accuracy
* Revert
* Update save.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update llama.py
* Update llama.py
* Account for DoRA
* Update llama.py
* Update save.py
* GGUF incorrect
* Update save.py
* Update pyproject.toml
* kaggle new
* Update pyproject.toml
* Update pyproject.toml
* upcasting
* Fix Colab
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update rope_embedding.py
* Update rope_embedding.py
* Fix bugs
* Update fast_lora.py
* Update fast_lora.py
* Update README.md
* Update README.md
* GGUF
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update README.md
* Update README.md
* Bugs
* Update fast_lora.py
* Update pyproject.toml
* Update fast_lora.py
* Update __init__.py
* Update fast_lora.py
* dtype
* Update llama.py
* Update llama.py
* Update llama.py
* dtype
* Update mistral.py
* trust_remote_code
* lm_head
* Update llama.py
* save_pretrained_settings
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* state_dict
* Update save.py
* whoami
* Update llama.py
* Update save.py
* Update llama.py
* Patch tokenizer
* Update chat_templates.py
* Heal tokenizers
* Update chat_templates.py
* Update mapper.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update chat_templates.py
* tokenizer patching
* patch_tokenizer
* Update chat_templates.py
* Update tokenizer_utils.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Edit
* Update mistral.py
* Update mistral.py
* Stats
* Update mistral.py
* attention_mask
* Update llama.py
* Update llama.py
* batch
* Temp fix batch inference
* Update llama.py
* Update gemma.py
* Fix inference
* swiglu
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* fast inference
* model
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update llama.py
* Update utils.py
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* overhead
* Update llama.py
* Update llama.py
* compile
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* lora mamtul
* Update llama.py
* Update llama.py
* Update llama.py
* offloaded checkpointing
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update gemma.py
* Revert "Update gemma.py"
This reverts commit c68b59bbfd.
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Saving
* sentencepiece_model_pb2
* Update llama.py
* Update save.py
* Update llama.py
* padding side
* Update tokenizer_utils.py
* cache dir
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update pyproject.toml
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
|
2024-04-07 03:44:45 +10:00 |
|
Daniel Han-Chen
|
56f34eef1c
|
Gemma inference fix
|
2024-04-05 03:51:53 +11:00 |
|
Daniel Han
|
13a7cbf3b7
|
Bug fixes (#257)
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update llama.py
* Hotfix - fix DoRA, Gemma prompt template (#202) (#203)
* Update save.py
* saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update __init__.py
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
* Gemma
* Update pyproject.toml
* Update mapper.py
* Update fast_lora.py
* FastGemmaModel
* model_type
* Update llama.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update pyproject.toml
* Small fixes
* Update pyproject.toml
* Approx gelu
* Update geglu.py
* Approx gelu
* Update llama.py
* Update __init__.py
* Update __init__.py
* Update _utils.py
* Update geglu.py
* Update gemma.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Fix Gemma merging
* Update rms_layernorm.py
* Update gemma.py
* Update pyproject.toml
* Layernorms
* Gemma precision
* Update gemma.py
* sqrt
* Update gemma.py
* Update save.py
* RoPE and Gemma precision
* Update rms_layernorm.py
* Fix warning
* Update chat_templates.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update save.py
* Update chat_templates.py
* Update llama.py
* model_name
* Update loader.py
* Tokenizer overwritten
* Update llama.py
* Update llama.py
* Update llama.py
* Update save.py
* Accuracy
* Revert
* Update save.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update llama.py
* Update llama.py
* Account for DoRA
* Update llama.py
* Update save.py
* GGUF incorrect
* Update save.py
* Update pyproject.toml
* kaggle new
* Update pyproject.toml
* Update pyproject.toml
* upcasting
* Fix Colab
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update rope_embedding.py
* Update rope_embedding.py
* Fix bugs
* Update fast_lora.py
* Update fast_lora.py
* Update README.md
* Update README.md
* GGUF
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update README.md
* Update README.md
* Bugs
* Update fast_lora.py
* Update pyproject.toml
* Update fast_lora.py
|
2024-03-17 22:09:50 +11:00 |
|
Daniel Han
|
42076f6580
|
Fix Gemma GGUF (#234)
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update llama.py
* Hotfix - fix DoRA, Gemma prompt template (#202) (#203)
* Update save.py
* saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update __init__.py
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
* Gemma
* Update pyproject.toml
* Update mapper.py
* Update fast_lora.py
* FastGemmaModel
* model_type
* Update llama.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update pyproject.toml
* Small fixes
* Update pyproject.toml
* Approx gelu
* Update geglu.py
* Approx gelu
* Update llama.py
* Update __init__.py
* Update __init__.py
* Update _utils.py
* Update geglu.py
* Update gemma.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Fix Gemma merging
* Update rms_layernorm.py
* Update gemma.py
* Update pyproject.toml
* Layernorms
* Gemma precision
* Update gemma.py
* sqrt
* Update gemma.py
* Update save.py
* RoPE and Gemma precision
* Update rms_layernorm.py
* Fix warning
* Update chat_templates.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update save.py
* Update chat_templates.py
* Update llama.py
* model_name
* Update loader.py
* Tokenizer overwritten
* Update llama.py
* Update llama.py
* Update llama.py
* Update save.py
* Accuracy
* Revert
* Update save.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update chat_templates.py
* Update save.py
* Update save.py
* Update llama.py
* Update llama.py
* Account for DoRA
* Update llama.py
* Update save.py
* GGUF incorrect
* Update save.py
* Update pyproject.toml
* kaggle new
* Update pyproject.toml
* Update pyproject.toml
* upcasting
* Fix Colab
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
* Update pyproject.toml
|
2024-03-14 20:32:04 +11:00 |
|
Daniel Han
|
a0cc0d1638
|
Fix Gemma (#223)
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update llama.py
* Hotfix - fix DoRA, Gemma prompt template (#202) (#203)
* Update save.py
* saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update __init__.py
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
* Gemma
* Update pyproject.toml
* Update mapper.py
* Update fast_lora.py
* FastGemmaModel
* model_type
* Update llama.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update pyproject.toml
* Small fixes
* Update pyproject.toml
* Approx gelu
* Update geglu.py
* Approx gelu
* Update llama.py
* Update __init__.py
* Update __init__.py
* Update _utils.py
* Update geglu.py
* Update gemma.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Fix Gemma merging
* Update rms_layernorm.py
* Update gemma.py
* Update pyproject.toml
* Layernorms
* Gemma precision
* Update gemma.py
* sqrt
* Update gemma.py
* Update save.py
* RoPE and Gemma precision
* Update rms_layernorm.py
* Fix warning
* Update chat_templates.py
|
2024-03-07 04:34:06 +11:00 |
|
Daniel Han
|
528d5fb0bd
|
Fix Gemma activation function (#214)
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
* Gemma
* Update pyproject.toml
* Update mapper.py
* Update fast_lora.py
* FastGemmaModel
* model_type
* Update llama.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update llama.py
* Hotfix - fix DoRA, Gemma prompt template (#202) (#203)
* Update save.py
* saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update __init__.py
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
* Gemma
* Update pyproject.toml
* Update mapper.py
* Update fast_lora.py
* FastGemmaModel
* model_type
* Update llama.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
* Update llama.py
* DoRA
* Update _utils.py
* Update chat_templates.py
* Update pyproject.toml
* Small fixes
* Update pyproject.toml
* Approx gelu
* Update geglu.py
* Approx gelu
* Update llama.py
* Update __init__.py
* Update __init__.py
* Update _utils.py
* Update geglu.py
|
2024-03-03 18:21:44 +11:00 |
|
Daniel Han
|
f946bed7b3
|
2.4x faster Gemma (#197)
* Update save.py
* Update save.py
* linking
* llama.cpp bugs
* Update save.py
* Update save.py
* saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update __init__.py
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
* Gemma
* Update pyproject.toml
* Update mapper.py
* Update fast_lora.py
* FastGemmaModel
* model_type
* Update llama.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* gemma
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Fast CE Loss
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* CE
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* Update geglu.py
* Update cross_entropy_loss.py
* revert
* Update llama.py
* Update llama.py
* norm
* Update gemma.py
* Update gemma.py
* position_ids
* Update gemma.py
* Update gemma.py
* pos
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* revert
* revert
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* rope
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* llama
* Update llama.py
* gemma
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update save.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update gemma.py
* correct_dtype
* Update gemma.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Chat Templates
* Update README.md
* Update README.md
|
2024-02-27 01:42:10 +11:00 |
|
Daniel Han
|
3e4c5a323c
|
Feb 2024 Release (#187)
* Fast inference repatch
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mistral.py
* Update __init__.py
* Fix inference
* Update mistral.py
* fast lm_head
* Remove fast path
* Update rope_embedding.py
* Update loader.py
* LlamaAttention_fast_forward_inference
* if past_key_value is not None and q_len == 1:
* revert inference
* Update loader.py
* past_key_value
* Update llama.py
* Update llama.py
* Fix SDPA
* Update llama.py
* padding
* Inference
* Update llama.py
* Revert
* Update mistral.py
* faster inference
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* inference
* Update llama.py
* Update utils.py
* faster inference
* Update llama.py
* revert
* lm_head
* Update llama.py
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* faster inference
* Update llama.py
* fast inference
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* torch compile
* past_key_values
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update llama.py
* fast inference + saving config.json
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* fast inference again
* more temp matrices
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* fast inference
* Update mistral.py
* Update llama.py
* SDPA
* attention_mask
* New version
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update save.py
* Update save.py
* Torch 2.2.0
* Update save.py
* mistral swa
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Fix SWA inference
* Fix llm_int8_skip_modules
* SWA inference
* Update save.py
* Update save.py
* Update pyproject.toml
* __version__
* __version__
* Update save.py
* Update save.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Chat Templates
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* patch tokenizer
* Update chat_templates.py
* Saving, LlamaRotaryEmbedding issues
* Update llama.py
* Update mistral.py
* Update mapper.py
* Fix RoPE precision issues
* Bugs
* saving bugs
* Update llama.py
* readme
* spaces
* spaces
* globals
* slash
* slashes
* spaces
* apache
* Update save.py
* Update save.py
* Update loader.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* trainer
* Update save.py
* Update pyproject.toml
* install
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* PeftModel token + saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* linking
* llama.cpp bugs
* Update save.py
* Update save.py
* saving
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update __init__.py
* Update save.py
* Update save.py
* Update save.py
* save
* trainer
* spaces
* original
|
2024-02-21 03:58:59 +11:00 |
|
Daniel Han
|
a030e80203
|
Prelim Feb release (#173)
* Works?
* Update pyproject.toml
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Swiglu
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* attention_mask
* Update llama.py
* Update llama.py
* labels
* Update mistral.py
* Update llama.py
* attention mask
* Update save.py
* Update save.py
* Update mistral.py
* attention mask
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update dpo.py
* Patch saving
* Update save.py
* Update save.py
* patch_saving_functions
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* print
* Mistral patch
* Update mistral.py
* Update save.py
* saving
* Update llama.py
* Update llama.py
* Fast inference repatch
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mistral.py
* Update __init__.py
* Fix inference
* Update mistral.py
* fast lm_head
* Remove fast path
* Update rope_embedding.py
* Update loader.py
* LlamaAttention_fast_forward_inference
* if past_key_value is not None and q_len == 1:
* revert inference
* Update loader.py
* past_key_value
* Update llama.py
* Update llama.py
* Fix SDPA
* Update llama.py
* padding
* Inference
* Update llama.py
* Revert
* Update mistral.py
* faster inference
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* inference
* Update llama.py
* Update utils.py
* faster inference
* Update llama.py
* revert
* lm_head
* Update llama.py
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* faster inference
* Update llama.py
* fast inference
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* torch compile
* past_key_values
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update llama.py
* fast inference + saving config.json
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* fast inference again
* more temp matrices
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* fast inference
* Update mistral.py
* Update llama.py
* SDPA
* attention_mask
* New version
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update save.py
* Update save.py
* Torch 2.2.0
* Update save.py
* mistral swa
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Fix SWA inference
* Fix llm_int8_skip_modules
* SWA inference
* Update save.py
* Update save.py
* Update pyproject.toml
* __version__
* __version__
* Update save.py
* Update save.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Chat Templates
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* Update chat_templates.py
* patch tokenizer
* Update chat_templates.py
* Saving, LlamaRotaryEmbedding issues
* Update llama.py
* Update mistral.py
|
2024-02-15 00:07:42 +11:00 |
|
Daniel Han
|
12b19e31f9
|
Torch 2.2 (#157)
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update save.py
* Update fast_lora.py
* Update utils.py
* Update llama.py
* Update fast_lora.py
* Update swiglu.py
* Update save.py
* Update save.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Revert "Update llama.py"
This reverts commit a208ec46e0.
* Update llama.py
* Works?
* Update pyproject.toml
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Swiglu
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* attention_mask
* Update llama.py
* Update llama.py
* labels
* Update mistral.py
* Update llama.py
* attention mask
* Update save.py
* Update save.py
* Update mistral.py
* attention mask
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update dpo.py
* Patch saving
* Update save.py
* Update save.py
* patch_saving_functions
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* print
* Mistral patch
* Update mistral.py
* Update save.py
* saving
* Update llama.py
* Update llama.py
* Fast inference repatch
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mistral.py
* Update __init__.py
* Fix inference
* Update mistral.py
* fast lm_head
* Remove fast path
* Update rope_embedding.py
* Update loader.py
* LlamaAttention_fast_forward_inference
* if past_key_value is not None and q_len == 1:
* revert inference
* Update loader.py
* past_key_value
* Update llama.py
* Update llama.py
* Fix SDPA
* Update llama.py
* padding
* Inference
* Update llama.py
* Revert
* Update mistral.py
* faster inference
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* inference
* Update llama.py
* Update utils.py
* faster inference
* Update llama.py
* revert
* lm_head
* Update llama.py
* inference
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* faster inference
* Update llama.py
* fast inference
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* torch compile
* past_key_values
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update llama.py
* fast inference + saving config.json
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* fast inference again
* more temp matrices
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* fast inference
* Update mistral.py
* Update llama.py
* SDPA
* attention_mask
* New version
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update save.py
* Update save.py
* Torch 2.2.0
* Update save.py
* mistral swa
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Fix SWA inference
* Fix llm_int8_skip_modules
* SWA inference
* Update save.py
* Update save.py
* Update pyproject.toml
* __version__
* __version__
* Update save.py
* Update save.py
* Update mistral.py
|
2024-02-07 04:40:50 +11:00 |
|
Daniel Han
|
cd32ba76b7
|
Fix bugs + more accurate Swiglu (#137)
* faster saving & inference
* Update llama.py
* Update save.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* fast inference
* Update llama.py
* Update save.py
* Update llama.py
* Mistral correct RoPE scaling
* Max sequence lengths
* Apache 2
* fast_linear_forward
* Update utils.py
* Update utils.py
* No print
* Update utils.py
* Update utils.py
* inference
* Update llama.py
* Fast inference RoPE
* Update llama.py
* Update llama.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* LoRA
* Fast LoRA saving
* Update llama.py
* hidden_states
* q_len == 1
* q_len issue
* Update mistral.py
* Update mistral.py
* incorrect inference
* Update to transformers 4.37
* Graceful FA2 error + torch 2.1.1
* Update mapper.py
* Update pyproject.toml
* Fix saving and bnb-4bit
* Update fast_lora.py
* Update fast_lora.py
* remove patching
* Update llama.py
* Update llama.py
* Update swiglu.py
* Repatch
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update swiglu.py
* Update fast_lora.py
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update save.py
* Update fast_lora.py
* Update utils.py
* Update llama.py
* Update fast_lora.py
* Update swiglu.py
* Update save.py
* Update save.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Revert "Update llama.py"
This reverts commit a208ec46e0.
* Update llama.py
* Works?
* Update pyproject.toml
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Swiglu
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update swiglu.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* Update fast_lora.py
* attention_mask
* Update llama.py
* Update llama.py
* labels
* Update mistral.py
* Update llama.py
* attention mask
|
2024-01-28 04:20:06 +11:00 |
|
Daniel Han
|
3d67790901
|
Fix bugs (#129)
* faster saving & inference
* Update llama.py
* Update save.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mistral.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* fast inference
* Update llama.py
* Update save.py
* Update llama.py
* Mistral correct RoPE scaling
* Max sequence lengths
* Apache 2
* fast_linear_forward
* Update utils.py
* Update utils.py
* No print
* Update utils.py
* Update utils.py
* inference
* Update llama.py
* Fast inference RoPE
* Update llama.py
* Update llama.py
* RoPE
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* LoRA
* Fast LoRA saving
* Update llama.py
* hidden_states
* q_len == 1
* q_len issue
* Update mistral.py
* Update mistral.py
* incorrect inference
* Update to transformers 4.37
* Graceful FA2 error + torch 2.1.1
* Update mapper.py
* Update pyproject.toml
* Fix saving and bnb-4bit
* Update fast_lora.py
* Update fast_lora.py
* remove patching
* Update llama.py
* Update llama.py
* Update swiglu.py
* Repatch
* Update fast_lora.py
|
2024-01-26 04:19:17 +11:00 |
|
Daniel Han-Chen
|
4112eb4a3d
|
Update pyproject.toml
|
2024-01-19 03:41:00 +11:00 |
|
Daniel Han-Chen
|
59d7475336
|
Update pyproject.toml
|
2024-01-19 03:35:17 +11:00 |
|
Daniel Han
|
c1ac4d2707
|
Fix some bugs (#83)
* Fix tokenizer, dropout, bias for LoRA
* Update loader.py
* Fix LoRA downcasting
* Update _utils.py
* Saving to GGUF
* fix
* colab_quantize_to_gguf
* move save modules
* save module
* Update __init__.py
* Update save.py
* Temp downgrade due to TRL issue
* Fix up bugs
|
2024-01-11 04:08:03 +11:00 |
|
Daniel Han
|
1e3f77208b
|
GGUF conv + TRL downgrade (#76)
* Fix tokenizer, dropout, bias for LoRA
* Update loader.py
* Fix LoRA downcasting
* Update _utils.py
* Saving to GGUF
* fix
* colab_quantize_to_gguf
* move save modules
* save module
* Update __init__.py
* Update save.py
* Temp downgrade due to TRL issue
|
2024-01-09 20:20:53 +11:00 |
|
Daniel Han
|
0369e7aa7a
|
Nightly (#56)
* Pytorch 2.1.1 install path, 4bit loading
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update README.md
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Spelling errors
* Update __init__.py
|
2023-12-28 04:19:12 +11:00 |
|
Daniel Han-Chen
|
627acc4bb3
|
Fix Pytorch 2.1.1
|
2023-12-25 23:28:05 +11:00 |
|
Daniel Han-Chen
|
399f8ed56f
|
Update Colab to CUDA 12.1
|
2023-12-15 16:35:24 +11:00 |
|
Daniel Han-Chen
|
c931ec40c6
|
Fix packaging, readme
|
2023-12-15 12:57:08 +11:00 |
|
Daniel Han-Chen
|
08787b7021
|
Mistral, GQA support
|
2023-12-11 23:58:36 +11:00 |
|
Daniel Han
|
4b97a810b5
|
Pre-release 2023 December version (Mistral, Prelim DPO, WSL, bug fixes) (#16)
* Immediate bug fixes
* Update README.md
* Update README.md
* Update llama.py
* Update llama.py
* Rope Scaling and max_seq_len will change
* Update llama.py
* new images
* Update README.md
* Images
* Update README.md
* Update pyproject.toml
* GQA
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
|
2023-12-06 02:59:22 +11:00 |
|
Daniel Han-Chen
|
cdcd2a7953
|
images and exclusion
|
2023-12-01 01:22:09 +11:00 |
|
Daniel Han-Chen
|
e1d02652d4
|
Update pyproject.toml
|
2023-11-30 20:45:04 +11:00 |
|
Daniel Han-Chen
|
0349faa87a
|
Update pyproject.toml
|
2023-11-30 20:24:40 +11:00 |
|
Daniel Han-Chen
|
6c075d171e
|
Update pyproject.toml
|
2023-11-30 20:23:48 +11:00 |
|
Daniel Han-Chen
|
21e83552e1
|
Update pyproject.toml
|
2023-11-30 20:20:45 +11:00 |
|
Daniel Han-Chen
|
68af199a96
|
Update pyproject.toml
|
2023-11-30 17:11:30 +11:00 |
|
Daniel Han-Chen
|
8e3f94fe1b
|
Update pyproject.toml
|
2023-11-30 17:10:10 +11:00 |
|