Daniel Han
|
1aaa624b4e
|
Bug fixes (#1004)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952)
* Fix DPO (#947)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
* Update gemma2.py
* Update rms_layernorm.py
* synchronize
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* layernorm
* Update rms_layernorm.py
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* revert
* Gemma
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma2.py
* Change UnslothTrainingArguments base class to SFTConfig (#979)
* Cohere
* Update trainer.py
* Cohere
* Cohere
* New models
* Update llama.py
* Update llama.py
* Update cohere.py
* Update llama.py
* Update cohere.py
* retry
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* _apply_lora_mlp
* Update _utils.py
* Gemma fixes
* Update llama.py
* Update flex_attention.py
* Update llama.py
* layernorm
* Update llama.py
* Update llama.py
* Flex Attention
* Update gemma2.py
* Update __init__.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update chat_templates.py (#999)
fix all misspelled "unsued" to "unused"
* Update key from "from" to "user" (#1000)
When use [tokenizer.apply_chat_template](https://huggingface.co/docs/transformers/main/en/chat_templating), the key should be "role" rather than "from", this is liknk to [this issue](https://github.com/unslothai/unsloth/issues/994)
I don't know it is suitable for all situation, I also can add a dedicated parameter of the key if you think it is better.
* Update chat_templates.py
* Also patch the KTO trainer (#1001)
* flex attention
* Update llama.py
* Update flex_attention.py
* Update flex_attention.py
* Update _utils.py
* Update _utils.py
* Update flex_attention.py
* Update gemma2.py
* Update gemma2.py
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
Co-authored-by: Tuan Pham <82665400+vTuanpham@users.noreply.github.com>
Co-authored-by: Yihao Wang <42559837+AgainstEntropy@users.noreply.github.com>
Co-authored-by: Peng <zphu1024@gmail.com>
Co-authored-by: Kyle Corbitt <kyle@openpipe.ai>
|
2024-09-08 03:16:09 -07:00 |
|
Daniel Han
|
e4ab7a7378
|
Bug fixes
|
2024-09-04 00:28:53 -07:00 |
|
Daniel Han
|
be310cac1e
|
Fix bug
|
2024-09-03 17:30:40 -07:00 |
|
Daniel Han
|
7a531b7c65
|
Gemma faster inference (#987)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952)
* Fix DPO (#947)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
* Update gemma2.py
* Update rms_layernorm.py
* synchronize
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* layernorm
* Update rms_layernorm.py
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* revert
* Gemma
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma2.py
* Change UnslothTrainingArguments base class to SFTConfig (#979)
* Cohere
* Update trainer.py
* Cohere
* Cohere
* New models
* Update llama.py
* Update llama.py
* Update cohere.py
* Update llama.py
* Update cohere.py
* retry
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* _apply_lora_mlp
* Update _utils.py
* Gemma fixes
* Update llama.py
* Update flex_attention.py
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
Co-authored-by: Tuan Pham <82665400+vTuanpham@users.noreply.github.com>
|
2024-09-03 13:52:12 -07:00 |
|
Daniel Han
|
492f466c29
|
Cohere, Bug fixes (#984)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952)
* Fix DPO (#947)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
* Update gemma2.py
* Update rms_layernorm.py
* synchronize
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* layernorm
* Update rms_layernorm.py
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* revert
* Gemma
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma2.py
* Change UnslothTrainingArguments base class to SFTConfig (#979)
* Cohere
* Update trainer.py
* Cohere
* Cohere
* New models
* Update llama.py
* Update llama.py
* Update cohere.py
* Update llama.py
* Update cohere.py
* retry
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* _apply_lora_mlp
* Update _utils.py
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
Co-authored-by: Tuan Pham <82665400+vTuanpham@users.noreply.github.com>
|
2024-09-03 01:52:32 -07:00 |
|
Daniel Han
|
f43eb7608b
|
Update save.py
|
2024-08-27 00:08:39 -07:00 |
|
Daniel Han
|
e16fcd7d94
|
Update gemma2.py
|
2024-08-23 23:43:57 -07:00 |
|
Daniel Han
|
bc3690a755
|
Phi 3.5 bug fix (#955)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952)
* Fix DPO (#947)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
|
2024-08-23 17:38:24 -07:00 |
|
Daniel Han
|
d2e363d222
|
Fix DPO (#947)
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
|
2024-08-22 02:18:03 -07:00 |
|
Daniel Han
|
8665d45518
|
Update README.md (#941)
Co-authored-by: Michael <107991372+shimmyshimmer@users.noreply.github.com>
|
2024-08-20 17:59:50 -07:00 |
|
Daniel Han
|
1c64e2645f
|
Update chat_templates.py
|
2024-08-20 16:54:11 -07:00 |
|
Daniel Han
|
a93e3dea2a
|
Phi 3.5 (#940)
* LongRoPE
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mapper.py
* Phi 3.5
|
2024-08-20 16:51:39 -07:00 |
|
Daniel Han
|
0ea6e6e4fd
|
Update README.md (#938)
|
2024-08-19 17:18:30 -07:00 |
|
Daniel Han
|
1fc020b936
|
Merge branch 'main' into nightly
|
2024-08-19 17:13:12 -07:00 |
|
Daniel Han
|
f1a30cad61
|
Update _auto_install.py
|
2024-08-19 17:12:46 -07:00 |
|
Daniel Han
|
b97ca44dbb
|
Create _auto_install.py
|
2024-08-19 17:12:32 -07:00 |
|
Daniel Han
|
bb67ca8077
|
Fix NEFTune (#937)
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Bug fixes
* Update llama.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
* Update llama.py
* Update llama.py
|
2024-08-19 16:17:52 -07:00 |
|
Daniel Han
|
b1323a7155
|
Merge branch 'main' into nightly
|
2024-08-19 16:17:00 -07:00 |
|
Daniel Han
|
45621751da
|
Update llama.py
|
2024-08-19 16:14:01 -07:00 |
|
Daniel Han
|
a345736999
|
Update llama.py
|
2024-08-19 16:11:09 -07:00 |
|
Daniel Han
|
00eb5ca5da
|
Update llama.py
|
2024-08-19 16:08:14 -07:00 |
|
Daniel Han
|
980d485bf0
|
Update tokenizer_utils.py
|
2024-08-19 16:03:24 -07:00 |
|
Daniel Han
|
692fcba690
|
Update tokenizer_utils.py
|
2024-08-19 15:52:13 -07:00 |
|
Daniel Han
|
35d22b8e92
|
Update tokenizer_utils.py
|
2024-08-19 15:50:16 -07:00 |
|
Daniel Han
|
bdb4fcad81
|
Update llama.py
|
2024-08-19 15:08:53 -07:00 |
|
Daniel Han
|
ccd2e1406e
|
Bug fixes
|
2024-08-19 15:04:25 -07:00 |
|
Daniel Han
|
2e9e157747
|
Bug #930 (#931)
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
|
2024-08-16 23:39:44 -07:00 |
|
Daniel Han
|
191f2e2261
|
Update tokenizer_utils.py
|
2024-08-16 23:38:43 -07:00 |
|
Daniel Han
|
9dc29f50ab
|
Update tokenizer_utils.py
|
2024-08-16 23:38:02 -07:00 |
|
Daniel Han
|
b852d550e8
|
Merge branch 'main' into nightly
|
2024-08-16 23:37:16 -07:00 |
|
Daniel Han
|
0749218f46
|
untrained tokens llama 3.1 base (#929)
|
2024-08-16 19:57:19 -07:00 |
|
Daniel Han
|
d0a0145ced
|
untrained tokens llama 3.1 base
|
2024-08-16 19:28:43 -07:00 |
|
Daniel Han
|
b1e854fea6
|
Update __init__.py
|
2024-08-15 15:07:42 -07:00 |
|
Daniel Han
|
2b7f769e13
|
Bug fixes
|
2024-08-15 15:04:46 -07:00 |
|
Daniel Han
|
c69fb285df
|
Fix mapping (#921)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910)
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
* Update llama.py
* MAP_TO_UNSLOTH_16bit
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update mapper.py
* Update mapper.py
* works!
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
|
2024-08-15 01:15:35 -07:00 |
|
Daniel Han
|
2a692ebb31
|
Bug Fixes (#920)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910)
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
|
2024-08-15 00:31:30 -07:00 |
|
Daniel Han
|
95591be42e
|
Fix chat templates (#917)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910)
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
|
2024-08-14 00:58:02 -07:00 |
|
Daniel Han
|
7b98a2c133
|
Fix Chat Templates (#916)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910)
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
|
2024-08-13 17:54:02 -07:00 |
|
Daniel Han
|
be94b71cb8
|
Fix DPO stats (#906)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
|
2024-08-11 18:26:20 -07:00 |
|
Daniel Han
|
a08f36b754
|
Torch 2.4, Xformers>0.0.27, TRL>0.9, Python 3.12 + bug fixes (#902)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
|
2024-08-10 19:59:40 -07:00 |
|
Daniel Han
|
d8eb7b3a0c
|
Update _utils.py
|
2024-08-07 10:48:39 -07:00 |
|
Daniel Han
|
145e7dc882
|
Update _utils.py
|
2024-08-07 10:47:11 -07:00 |
|
Daniel Han
|
8818fa61f7
|
Update _utils.py
|
2024-08-07 01:11:06 -07:00 |
|
Daniel Han
|
785310af0b
|
Fix tokenizers (#887)
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
|
2024-08-06 20:24:44 -07:00 |
|
Daniel Han
|
15b2072be2
|
Update README.md
|
2024-08-05 00:00:53 -07:00 |
|
Daniel Han
|
f2c0f8dd20
|
Update README.md
|
2024-08-04 23:59:57 -07:00 |
|
Daniel Han
|
ab47c809d7
|
Update README.md
|
2024-08-04 23:50:40 -07:00 |
|
Daniel Han
|
74d51905c7
|
Update llama.py
|
2024-08-04 23:49:35 -07:00 |
|
emuchogu
|
8b1fb471ea
|
pascal support (#870)
Co-authored-by: Edward Muchogu <muchogu@gmail.com>
|
2024-08-04 23:45:51 -07:00 |
|
moontidef
|
e3fa7aa908
|
fix: fix config.torch_dtype bug (#874)
fix the bug #404
and the bug https://github.com/hiyouga/LLaMA-Factory/issues/4698#issue-2393500878
|
2024-08-04 23:45:34 -07:00 |
|