Daniel Han
23752a7ab1
Bug #930 ( #931 )
...
* untrained tokens llama 3.1 base
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-16 23:39:44 -07:00
Daniel Han
a3eee645f1
untrained tokens llama 3.1 base ( #929 )
2024-08-16 19:57:19 -07:00
Daniel Han
a8bed84683
Update __init__.py
2024-08-15 15:07:42 -07:00
Daniel Han
cdd961d2c1
Bug fixes
2024-08-15 15:04:46 -07:00
Daniel Han
c90bb8dc32
Fix mapping ( #921 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
* Update llama.py
* MAP_TO_UNSLOTH_16bit
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update mapper.py
* Update mapper.py
* works!
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-15 01:15:35 -07:00
Daniel Han
1091f03d77
Bug Fixes ( #920 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
* load_in_4bit=False broken
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-15 00:31:30 -07:00
Daniel Han
56dbb23135
Fix chat templates ( #917 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
* Train on completions
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-14 00:58:02 -07:00
Daniel Han
ec413e63e0
Fix Chat Templates ( #916 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Providing more flexibility for users to customize their llama when using LoRA (#910 )
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update chat_templates.py
* return model
* Update tokenizer_utils.py
* Update chat_templates.py
* Update tokenizer_utils.py
---------
Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
2024-08-13 17:54:02 -07:00
Daniel Han
1204107724
Fix DPO stats ( #906 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
* Update llama.py
* Update cross_entropy_loss.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
* Update dpo.py
2024-08-11 18:26:20 -07:00
Daniel Han
1397f2e1ab
Torch 2.4, Xformers>0.0.27, TRL>0.9, Python 3.12 + bug fixes ( #902 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update save.py
* Update loader.py
* Update pyproject.toml
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* gemma 2 mask
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Torch 2.4 Xformers 0.0.27post2
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Gemma 2 fixes
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update save.py
* Update save.py
2024-08-10 19:59:40 -07:00
Daniel Han
064ff70bc5
Update _utils.py
2024-08-07 10:48:39 -07:00
Daniel Han
0ea0802d47
Update _utils.py
2024-08-07 10:47:11 -07:00
Daniel Han
d60422fb68
Update _utils.py
2024-08-07 01:11:06 -07:00
Daniel Han
734e478605
Fix tokenizers ( #887 )
...
* Update pyproject.toml
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update _utils.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* fix_tokenizer
* Update tokenizer_utils.py
* Update tokenizer_utils.py
2024-08-06 20:24:44 -07:00
Daniel Han
9be6480ec5
Update README.md
2024-08-05 00:00:53 -07:00
Daniel Han
ba87b3dd31
Update README.md
2024-08-04 23:59:57 -07:00
Daniel Han
d9e330ded7
Update README.md
2024-08-04 23:50:40 -07:00
Daniel Han
7f9c0d8c20
Update llama.py
2024-08-04 23:49:35 -07:00
emuchogu
fe4b9da764
pascal support ( #870 )
...
Co-authored-by: Edward Muchogu <muchogu@gmail.com>
2024-08-04 23:45:51 -07:00
moontidef
8ee7c42a32
fix: fix config.torch_dtype bug ( #874 )
...
fix the bug #404
and the bug https://github.com/hiyouga/LLaMA-Factory/issues/4698#issue-2393500878
2024-08-04 23:45:34 -07:00
Daniel Han
9283909b6d
Update pyproject.toml
2024-08-04 11:28:21 -07:00
Daniel Han
8633d860d5
Merge branch 'main' into nightly
2024-08-01 18:19:38 -07:00
Daniel Han
c069555926
Fix RoPE extension ( #846 )
...
* bugs
* Update _utils.py
* flash-attn softcapping
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update mapper.py
* Update README.md
* Update _utils.py
* Fix ROPE extension issue and device mismatch (#840 )
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement )
* Update loader.py
* round up to extend rope size
* inv_freq.device changed, make sure they are on the same device
---------
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update gemma.py
---------
Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
2024-07-31 12:10:33 -07:00
Daniel Han
9c29d37e6a
Update gemma.py
2024-07-31 12:09:33 -07:00
Daniel Han
4e3fde6539
Merge branch 'nightly' of https://github.com/unslothai/unsloth into nightly
2024-07-31 12:05:28 -07:00
XiaoYang
32735460a8
Fix ROPE extension issue and device mismatch ( #840 )
...
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement )
* Update loader.py
* round up to extend rope size
* inv_freq.device changed, make sure they are on the same device
---------
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
2024-07-31 12:05:08 -07:00
Daniel Han
64d8a32358
Merge branch 'main' into nightly
2024-07-31 12:05:01 -07:00
Daniel Han
2521a8b39f
Update README.md
2024-07-31 09:50:11 -07:00
Daniel Han
4e03b77673
Gemma ( #843 )
...
* bugs
* Update _utils.py
* flash-attn softcapping
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update mapper.py
* Update README.md
* Update _utils.py
2024-07-31 08:54:58 -07:00
Daniel Han
0989eb3265
Update _utils.py
2024-07-31 08:54:22 -07:00
Daniel Han
8c58eb3901
Update README.md
2024-07-31 08:53:20 -07:00
Daniel Han
2b49611392
Update mapper.py
2024-07-30 23:51:47 -07:00
Daniel Han
5f2990df0d
Update gemma2.py
2024-07-30 23:11:35 -07:00
Daniel Han
a82d18d41b
Update gemma2.py
2024-07-30 23:11:23 -07:00
Daniel Han
5c403cd0db
Update gemma2.py
2024-07-30 23:07:47 -07:00
Daniel Han
04a9f4da74
Update gemma2.py
2024-07-30 23:04:00 -07:00
Daniel Han
282d8a5794
flash-attn softcapping
2024-07-30 22:48:53 -07:00
Daniel Han
b7bdb18552
Update _utils.py
2024-07-30 19:57:53 -07:00
Daniel Han
c0abd06a06
bugs
2024-07-30 19:56:36 -07:00
Daniel Han
9953839b92
Update llama.py
2024-07-30 10:29:54 -07:00
Daniel Han
34838216cc
Update loader.py
2024-07-30 10:18:51 -07:00
XiaoYang
fd904b4e97
fix UnboundLocalError ( #834 )
...
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement )
* Update loader.py
---------
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
2024-07-30 10:15:09 -07:00
Daniel Han
7c68bab3d9
Merge branch 'main' into nightly
2024-07-30 10:01:11 -07:00
Daniel Han
1cb2412d85
Better debugging ( #826 )
...
* Update __init__.py
* Edits
* Checks
* Update _utils.py
* Update _utils.py
* Update loader.py
* Update _utils.py
* Update mapper.py
* Update loader.py
* Update loader.py
* Update _utils.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update loader.py
* Update mapper.py
* Update loader.py
2024-07-28 00:10:02 -07:00
Daniel Han
7a096afec9
Update loader.py
2024-07-27 23:04:23 -07:00
Daniel Han
2b63faeff7
Update mapper.py
2024-07-27 23:03:29 -07:00
Daniel Han
8788703ae3
Update loader.py
2024-07-27 23:03:13 -07:00
Daniel Han
f679e03a06
Update loader.py
2024-07-27 23:02:10 -07:00
Daniel Han
f1f1f7a8c9
Update loader.py
2024-07-27 23:00:47 -07:00
Daniel Han
6195a308af
Update loader.py
2024-07-27 22:59:47 -07:00
