Daniel Han
480f2ef31c
Gemma faster inference ( #987 )
...
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952 )
* Fix DPO (#947 )
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
* Update gemma2.py
* Update rms_layernorm.py
* synchronize
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* layernorm
* Update rms_layernorm.py
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* revert
* Gemma
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma2.py
* Change UnslothTrainingArguments base class to SFTConfig (#979 )
* Cohere
* Update trainer.py
* Cohere
* Cohere
* New models
* Update llama.py
* Update llama.py
* Update cohere.py
* Update llama.py
* Update cohere.py
* retry
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* _apply_lora_mlp
* Update _utils.py
* Gemma fixes
* Update llama.py
* Update flex_attention.py
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
Co-authored-by: Tuan Pham <82665400+vTuanpham@users.noreply.github.com>
2024-09-03 13:52:12 -07:00
Daniel Han
c085a4562c
Cohere, Bug fixes ( #984 )
...
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952 )
* Fix DPO (#947 )
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
* Update gemma2.py
* Update rms_layernorm.py
* synchronize
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* layernorm
* Update rms_layernorm.py
* Update gemma2.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* revert
* Gemma
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update gemma2.py
* Change UnslothTrainingArguments base class to SFTConfig (#979 )
* Cohere
* Update trainer.py
* Cohere
* Cohere
* New models
* Update llama.py
* Update llama.py
* Update cohere.py
* Update llama.py
* Update cohere.py
* retry
* Update fast_lora.py
* Update llama.py
* Update fast_lora.py
* Update llama.py
* Update llama.py
* Update cross_entropy_loss.py
* _apply_lora_mlp
* Update _utils.py
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
Co-authored-by: Tuan Pham <82665400+vTuanpham@users.noreply.github.com>
2024-09-03 01:52:32 -07:00
Daniel Han
976d11a10d
Update save.py
2024-08-27 00:08:39 -07:00
Daniel Han
12b437e122
Update gemma2.py
2024-08-23 23:43:57 -07:00
Daniel Han
20506463e1
Phi 3.5 bug fix ( #955 )
...
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update token retrieval logic (#952 )
* Fix DPO (#947 )
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* update hf token retrieval logic
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update llama.py
* get_token
* Update README.md
---------
Co-authored-by: Hafedh <70411813+not-lain@users.noreply.github.com>
2024-08-23 17:38:24 -07:00
Daniel Han
d0ca3497eb
Fix DPO ( #947 )
...
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-22 02:18:03 -07:00
Daniel Han
600ffe2a17
Update README.md ( #941 )
...
Co-authored-by: Michael <107991372+shimmyshimmer@users.noreply.github.com>
2024-08-20 17:59:50 -07:00
Daniel Han
f629a638d6
Update chat_templates.py
2024-08-20 16:54:11 -07:00
Daniel Han
d5768379c5
Phi 3.5 ( #940 )
...
* LongRoPE
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update mapper.py
* Phi 3.5
2024-08-20 16:51:39 -07:00
Daniel Han
d45ade257b
Update README.md ( #938 )
2024-08-19 17:18:30 -07:00
Daniel Han
8283cccf95
Merge branch 'main' into nightly
2024-08-19 17:13:12 -07:00
Daniel Han
fbf50a4260
Update _auto_install.py
2024-08-19 17:12:46 -07:00
Daniel Han
4cc20f4720
Create _auto_install.py
2024-08-19 17:12:32 -07:00
Daniel Han
75013ff022
Fix NEFTune ( #937 )
...
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Bug fixes
* Update llama.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
* Update llama.py
* Update llama.py
2024-08-19 16:17:52 -07:00
Daniel Han
f65ead3e48
Merge branch 'main' into nightly
2024-08-19 16:17:00 -07:00
Daniel Han
be7ed9a1e6
Update llama.py
2024-08-19 16:14:01 -07:00
Daniel Han
9caaa5af78
Update llama.py
2024-08-19 16:11:09 -07:00
Daniel Han
7139e57b72
Update llama.py
2024-08-19 16:08:14 -07:00
Daniel Han
6e5ad15cd7
Update tokenizer_utils.py
2024-08-19 16:03:24 -07:00
Daniel Han
7fd058fc71
Update tokenizer_utils.py
2024-08-19 15:52:13 -07:00
Daniel Han
2c4772b666
Update tokenizer_utils.py
2024-08-19 15:50:16 -07:00
Daniel Han
1bed78c992
Update llama.py
2024-08-19 15:08:53 -07:00
Daniel Han
9335fa0960
Bug fixes
2024-08-19 15:04:25 -07:00
Daniel Han
52bc19d1fa
Bug #930 ( #931 )
...
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-16 23:39:44 -07:00
Daniel Han
487637db7b
Update tokenizer_utils.py
2024-08-16 23:38:43 -07:00
Daniel Han
9cb5c2eca4
Update tokenizer_utils.py
2024-08-16 23:38:02 -07:00
Daniel Han
0c5ba8dd18
Merge branch 'main' into nightly
2024-08-16 23:37:16 -07:00
Daniel Han
c22162b402
untrained tokens llama 3.1 base ( #929 )
2024-08-16 19:57:19 -07:00
Daniel Han
5e2cf1c51c
untrained tokens llama 3.1 base
2024-08-16 19:28:43 -07:00
Daniel Han
8b80820b8b
Update __init__.py
2024-08-15 15:07:42 -07:00
Daniel Han
8be73b1086
Bug fixes
2024-08-15 15:04:46 -07:00
Daniel Han
53cd1e7781
Fix mapping ( #921 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
* Update llama.py
* MAP_TO_UNSLOTH_16bit
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update mapper.py
* Update mapper.py
* works!
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-15 01:15:35 -07:00
Daniel Han
5393e9e00a
Bug Fixes ( #920 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-15 00:31:30 -07:00
Daniel Han
a4ab920de9
Fix chat templates ( #917 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-14 00:58:02 -07:00
Daniel Han
a64b8f648a
Fix Chat Templates ( #916 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-13 17:54:02 -07:00
Daniel Han
3781a03903
Fix DPO stats ( #906 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
2024-08-11 18:26:20 -07:00
Daniel Han
3bc804a9f9
Torch 2.4, Xformers>0.0.27, TRL>0.9, Python 3.12 + bug fixes ( #902 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
2024-08-10 19:59:40 -07:00
Daniel Han
e4c8ceacb3
Update _utils.py
2024-08-07 10:48:39 -07:00
Daniel Han
cad1146ff7
Update _utils.py
2024-08-07 10:47:11 -07:00
Daniel Han
637ed8c6bd
Update _utils.py
2024-08-07 01:11:06 -07:00
Daniel Han
8001d30a8f
Fix tokenizers ( #887 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-06 20:24:44 -07:00
Daniel Han
bfe38e6ea8
Update README.md
2024-08-05 00:00:53 -07:00
Daniel Han
b43855fb36
Update README.md
2024-08-04 23:59:57 -07:00
Daniel Han
291bc6e254
Update README.md
2024-08-04 23:50:40 -07:00
Daniel Han
28dea9ac95
Update llama.py
2024-08-04 23:49:35 -07:00
emuchogu
46b4348698
pascal support ( #870 )
...
Co-authored-by: Edward Muchogu <muchogu@gmail.com>
2024-08-04 23:45:51 -07:00
moontidef
16b6932c43
fix: fix config.torch_dtype bug ( #874 )
...
fix the bug #404
and the bug https://github.com/hiyouga/LLaMA-Factory/issues/4698#issue-2393500878
2024-08-04 23:45:34 -07:00
Daniel Han
f65cc9877c
Update pyproject.toml
2024-08-04 11:28:21 -07:00
Daniel Han
c73636f6c5
Merge branch 'main' into nightly
2024-08-01 18:19:38 -07:00
Daniel Han
4e570be9ae
Fix RoPE extension ( #846 )
...
* bugs
* Update _utils.py
* flash-attn softcapping
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update mapper.py
* Update README.md
* Update _utils.py
* Fix ROPE extension issue and device mismatch (#840 )
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement )
* Update loader.py
* round up to extend rope size
* inv_freq.device changed, make sure they are on the same device
---------
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update gemma.py
---------
Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
2024-07-31 12:10:33 -07:00
