Daniel Han
8283cccf95
Merge branch 'main' into nightly
2024-08-19 17:13:12 -07:00
Daniel Han
fbf50a4260
Update _auto_install.py
2024-08-19 17:12:46 -07:00
Daniel Han
4cc20f4720
Create _auto_install.py
2024-08-19 17:12:32 -07:00
Daniel Han
75013ff022
Fix NEFTune ( #937 )
...
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Bug fixes
* Update llama.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update llama.py
* Update llama.py
* Update llama.py
2024-08-19 16:17:52 -07:00
Daniel Han
f65ead3e48
Merge branch 'main' into nightly
2024-08-19 16:17:00 -07:00
Daniel Han
be7ed9a1e6
Update llama.py
2024-08-19 16:14:01 -07:00
Daniel Han
9caaa5af78
Update llama.py
2024-08-19 16:11:09 -07:00
Daniel Han
7139e57b72
Update llama.py
2024-08-19 16:08:14 -07:00
Daniel Han
6e5ad15cd7
Update tokenizer_utils.py
2024-08-19 16:03:24 -07:00
Daniel Han
7fd058fc71
Update tokenizer_utils.py
2024-08-19 15:52:13 -07:00
Daniel Han
2c4772b666
Update tokenizer_utils.py
2024-08-19 15:50:16 -07:00
Daniel Han
1bed78c992
Update llama.py
2024-08-19 15:08:53 -07:00
Daniel Han
9335fa0960
Bug fixes
2024-08-19 15:04:25 -07:00
Daniel Han
52bc19d1fa
Bug #930 ( #931 )
...
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-16 23:39:44 -07:00
Daniel Han
487637db7b
Update tokenizer_utils.py
2024-08-16 23:38:43 -07:00
Daniel Han
9cb5c2eca4
Update tokenizer_utils.py
2024-08-16 23:38:02 -07:00
Daniel Han
0c5ba8dd18
Merge branch 'main' into nightly
2024-08-16 23:37:16 -07:00
Daniel Han
c22162b402
untrained tokens llama 3.1 base ( #929 )
2024-08-16 19:57:19 -07:00
Daniel Han
5e2cf1c51c
untrained tokens llama 3.1 base
2024-08-16 19:28:43 -07:00
Daniel Han
8b80820b8b
Update __init__.py
2024-08-15 15:07:42 -07:00
Daniel Han
8be73b1086
Bug fixes
2024-08-15 15:04:46 -07:00
Daniel Han
53cd1e7781
Fix mapping ( #921 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
* Update llama.py
* MAP_TO_UNSLOTH_16bit
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update mapper.py
* Update mapper.py
* works!
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-15 01:15:35 -07:00
Daniel Han
5393e9e00a
Bug Fixes ( #920 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-15 00:31:30 -07:00
Daniel Han
a4ab920de9
Fix chat templates ( #917 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-14 00:58:02 -07:00
Daniel Han
a64b8f648a
Fix Chat Templates ( #916 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-13 17:54:02 -07:00
Daniel Han
3781a03903
Fix DPO stats ( #906 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
2024-08-11 18:26:20 -07:00
Daniel Han
3bc804a9f9
Torch 2.4, Xformers>0.0.27, TRL>0.9, Python 3.12 + bug fixes ( #902 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
2024-08-10 19:59:40 -07:00
Daniel Han
e4c8ceacb3
Update _utils.py
2024-08-07 10:48:39 -07:00
Daniel Han
cad1146ff7
Update _utils.py
2024-08-07 10:47:11 -07:00
Daniel Han
637ed8c6bd
Update _utils.py
2024-08-07 01:11:06 -07:00
Daniel Han
8001d30a8f
Fix tokenizers ( #887 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-06 20:24:44 -07:00
Daniel Han
bfe38e6ea8
Update README.md
2024-08-05 00:00:53 -07:00
Daniel Han
b43855fb36
Update README.md
2024-08-04 23:59:57 -07:00
Daniel Han
291bc6e254
Update README.md
2024-08-04 23:50:40 -07:00
Daniel Han
28dea9ac95
Update llama.py
2024-08-04 23:49:35 -07:00
emuchogu
46b4348698
pascal support ( #870 )
...
Co-authored-by: Edward Muchogu <muchogu@gmail.com>
2024-08-04 23:45:51 -07:00
moontidef
16b6932c43
fix: fix config.torch_dtype bug ( #874 )
...
fix the bug #404
and the bug https://github.com/hiyouga/LLaMA-Factory/issues/4698#issue-2393500878
2024-08-04 23:45:34 -07:00
Daniel Han
f65cc9877c
Update pyproject.toml
2024-08-04 11:28:21 -07:00
Daniel Han
c73636f6c5
Merge branch 'main' into nightly
2024-08-01 18:19:38 -07:00
Daniel Han
4e570be9ae
Fix RoPE extension ( #846 )
...
* bugs
* Update _utils.py
* flash-attn softcapping
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update mapper.py
* Update README.md
* Update _utils.py
* Fix ROPE extension issue and device mismatch (#840 )
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement )
* Update loader.py
* round up to extend rope size
* inv_freq.device changed, make sure they are on the same device
---------
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update gemma.py
---------
Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
2024-07-31 12:10:33 -07:00
Daniel Han
d0a7dcec1d
Update gemma.py
2024-07-31 12:09:33 -07:00
Daniel Han
fdab3d618f
Merge branch 'nightly' of https://github.com/unslothai/unsloth into nightly
2024-07-31 12:05:28 -07:00
XiaoYang
2de142712d
Fix ROPE extension issue and device mismatch ( #840 )
...
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement )
* Update loader.py
* round up to extend rope size
* inv_freq.device changed, make sure they are on the same device
---------
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
2024-07-31 12:05:08 -07:00
Daniel Han
0ebbcdf30f
Merge branch 'main' into nightly
2024-07-31 12:05:01 -07:00
Daniel Han
dfca5516e7
Update README.md
2024-07-31 09:50:11 -07:00
Daniel Han
b85670de83
Gemma ( #843 )
...
* bugs
* Update _utils.py
* flash-attn softcapping
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update mapper.py
* Update README.md
* Update _utils.py
2024-07-31 08:54:58 -07:00
Daniel Han
fdfe1f59f5
Update _utils.py
2024-07-31 08:54:22 -07:00
Daniel Han
7af632075c
Update README.md
2024-07-31 08:53:20 -07:00
Daniel Han
0c932bc0bb
Update mapper.py
2024-07-30 23:51:47 -07:00
Daniel Han
8db7e809d0
Update gemma2.py
2024-07-30 23:11:35 -07:00
