ceos/unsloth
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
399 commits 391 branches 58 tags 304 MiB
Commit graph

399 commits

This branch
This branch
All branches
Author SHA1 Message Date
Daniel Han
5393e9e00a
 		Bug Fixes (#920) 
* Update pyproject.toml

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update _utils.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* fix_tokenizer

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update loader.py

* Update pyproject.toml

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* gemma 2 mask

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Torch 2.4 Xformers 0.0.27post2

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Gemma 2 fixes

* Update gemma2.py

* Update llama.py

* Update llama.py

* Update save.py

* Update save.py

* Update llama.py

* Update cross_entropy_loss.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Providing more flexibility for users to customize their llama when using LoRA (#910)

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update chat_templates.py

* return model

* Update tokenizer_utils.py

* Update chat_templates.py

* Update tokenizer_utils.py

* Train on completions

* load_in_4bit=False broken

---------

Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
 2024-08-15 00:31:30 -07:00
Daniel Han
a4ab920de9
 		Fix chat templates (#917) 
* Update pyproject.toml

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update _utils.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* fix_tokenizer

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update loader.py

* Update pyproject.toml

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* gemma 2 mask

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Torch 2.4 Xformers 0.0.27post2

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Gemma 2 fixes

* Update gemma2.py

* Update llama.py

* Update llama.py

* Update save.py

* Update save.py

* Update llama.py

* Update cross_entropy_loss.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Providing more flexibility for users to customize their llama when using LoRA (#910)

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update chat_templates.py

* return model

* Update tokenizer_utils.py

* Update chat_templates.py

* Update tokenizer_utils.py

* Train on completions

---------

Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
 2024-08-14 00:58:02 -07:00
Daniel Han
a64b8f648a
 		Fix Chat Templates (#916) 
* Update pyproject.toml

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update _utils.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* fix_tokenizer

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update loader.py

* Update pyproject.toml

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* gemma 2 mask

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Torch 2.4 Xformers 0.0.27post2

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Gemma 2 fixes

* Update gemma2.py

* Update llama.py

* Update llama.py

* Update save.py

* Update save.py

* Update llama.py

* Update cross_entropy_loss.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Providing more flexibility for users to customize their llama when using LoRA (#910)

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update chat_templates.py

* return model

* Update tokenizer_utils.py

* Update chat_templates.py

* Update tokenizer_utils.py

---------

Co-authored-by: Po-Lung Wang <Brownwang0426@gmail.com>
 2024-08-13 17:54:02 -07:00
Daniel Han
3781a03903
 		Fix DPO stats (#906) 
* Update pyproject.toml

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update _utils.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* fix_tokenizer

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update loader.py

* Update pyproject.toml

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* gemma 2 mask

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Torch 2.4 Xformers 0.0.27post2

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Gemma 2 fixes

* Update gemma2.py

* Update llama.py

* Update llama.py

* Update save.py

* Update save.py

* Update llama.py

* Update cross_entropy_loss.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py

* Update dpo.py
 2024-08-11 18:26:20 -07:00
Daniel Han
3bc804a9f9
 		Torch 2.4, Xformers>0.0.27, TRL>0.9, Python 3.12 + bug fixes (#902) 
* Update pyproject.toml

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update _utils.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* fix_tokenizer

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update loader.py

* Update pyproject.toml

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* gemma 2 mask

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Torch 2.4 Xformers 0.0.27post2

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Gemma 2 fixes

* Update gemma2.py

* Update llama.py

* Update llama.py

* Update save.py

* Update save.py
 2024-08-10 19:59:40 -07:00
Daniel Han
e4c8ceacb3 Update _utils.py 2024-08-07 10:48:39 -07:00
Daniel Han
cad1146ff7 Update _utils.py 2024-08-07 10:47:11 -07:00
Daniel Han
637ed8c6bd Update _utils.py 2024-08-07 01:11:06 -07:00
Daniel Han
8001d30a8f
 		Fix tokenizers (#887) 
* Update pyproject.toml

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update _utils.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* fix_tokenizer

* Update tokenizer_utils.py

* Update tokenizer_utils.py
 2024-08-06 20:24:44 -07:00
Daniel Han
bfe38e6ea8 Update README.md 2024-08-05 00:00:53 -07:00
Daniel Han
b43855fb36 Update README.md 2024-08-04 23:59:57 -07:00
Daniel Han
291bc6e254 Update README.md 2024-08-04 23:50:40 -07:00
Daniel Han
28dea9ac95 Update llama.py 2024-08-04 23:49:35 -07:00
emuchogu
46b4348698
 		pascal support (#870) 
Co-authored-by: Edward Muchogu <muchogu@gmail.com>
 2024-08-04 23:45:51 -07:00
moontidef
16b6932c43
 		fix: fix config.torch_dtype bug (#874) 
fix the bug #404 
and the bug https://github.com/hiyouga/LLaMA-Factory/issues/4698#issue-2393500878
 2024-08-04 23:45:34 -07:00
Daniel Han
f65cc9877c Update pyproject.toml 2024-08-04 11:28:21 -07:00
Daniel Han
c73636f6c5 Merge branch 'main' into nightly 2024-08-01 18:19:38 -07:00
Daniel Han
4e570be9ae
 		Fix RoPE extension (#846) 
* bugs

* Update _utils.py

* flash-attn softcapping

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update mapper.py

* Update README.md

* Update _utils.py

* Fix ROPE extension issue and device mismatch (#840)

* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement)

* Update loader.py

* round up to extend rope size

* inv_freq.device changed, make sure they are on the same device

---------

Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>

* Update gemma.py

---------

Co-authored-by: XiaoYang <xyangk@gmail.com>
Co-authored-by: xiaoyang <xiaoyang@youzan.com>
 2024-07-31 12:10:33 -07:00
Daniel Han
d0a7dcec1d Update gemma.py 2024-07-31 12:09:33 -07:00
Daniel Han
fdab3d618f Merge branch 'nightly' of https://github.com/unslothai/unsloth into nightly 2024-07-31 12:05:28 -07:00
XiaoYang
2de142712d
 		Fix ROPE extension issue and device mismatch (#840) 
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement)

* Update loader.py

* round up to extend rope size

* inv_freq.device changed, make sure they are on the same device

---------

Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
 2024-07-31 12:05:08 -07:00
Daniel Han
0ebbcdf30f Merge branch 'main' into nightly 2024-07-31 12:05:01 -07:00
Daniel Han
dfca5516e7 Update README.md 2024-07-31 09:50:11 -07:00
Daniel Han
b85670de83
 		Gemma (#843) 
* bugs

* Update _utils.py

* flash-attn softcapping

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update mapper.py

* Update README.md

* Update _utils.py
 2024-07-31 08:54:58 -07:00
Daniel Han
fdfe1f59f5 Update _utils.py 2024-07-31 08:54:22 -07:00
Daniel Han
7af632075c Update README.md 2024-07-31 08:53:20 -07:00
Daniel Han
0c932bc0bb Update mapper.py 2024-07-30 23:51:47 -07:00
Daniel Han
8db7e809d0 Update gemma2.py 2024-07-30 23:11:35 -07:00
Daniel Han
cf1054c9bc Update gemma2.py 2024-07-30 23:11:23 -07:00
Daniel Han
86b71c4ef5 Update gemma2.py 2024-07-30 23:07:47 -07:00
Daniel Han
d326c98858 Update gemma2.py 2024-07-30 23:04:00 -07:00
Daniel Han
9617ecbbb8 flash-attn softcapping 2024-07-30 22:48:53 -07:00
Daniel Han
79ef745c7b Update _utils.py 2024-07-30 19:57:53 -07:00
Daniel Han
42e09d192f bugs 2024-07-30 19:56:36 -07:00
Daniel Han
4285d1b479 Update llama.py 2024-07-30 10:29:54 -07:00
Daniel Han
be0930d1f6 Update loader.py 2024-07-30 10:18:51 -07:00
XiaoYang
18900721c2
 		fix UnboundLocalError (#834) 
* When an exception has been assigned using as target, it is cleared at the end of the except clause.(https://docs.python.org/3/reference/compound_stmts.html#the-try-statement)

* Update loader.py

---------

Co-authored-by: xiaoyang <xiaoyang@youzan.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
 2024-07-30 10:15:09 -07:00
Daniel Han
6f0c9d6936 Merge branch 'main' into nightly 2024-07-30 10:01:11 -07:00
Daniel Han
a7bfbe7927
 		Better debugging (#826) 
* Update __init__.py

* Edits

* Checks

* Update _utils.py

* Update _utils.py

* Update loader.py

* Update _utils.py

* Update mapper.py

* Update loader.py

* Update loader.py

* Update _utils.py

* Update loader.py

* Update loader.py

* Update loader.py

* Update loader.py

* Update loader.py

* Update loader.py

* Update mapper.py

* Update loader.py
 2024-07-28 00:10:02 -07:00
Daniel Han
ea0a49448d Update loader.py 2024-07-27 23:04:23 -07:00
Daniel Han
858e1a2a8c Update mapper.py 2024-07-27 23:03:29 -07:00
Daniel Han
e1d61ce5d9 Update loader.py 2024-07-27 23:03:13 -07:00
Daniel Han
ed8bc007c6 Update loader.py 2024-07-27 23:02:10 -07:00
Daniel Han
b6ef709630 Update loader.py 2024-07-27 23:00:47 -07:00
Daniel Han
ddc2dde97c Update loader.py 2024-07-27 22:59:47 -07:00
Daniel Han
9d5195296f Update loader.py 2024-07-27 22:59:16 -07:00
Daniel Han
c03fd228a2 Update loader.py 2024-07-27 22:58:15 -07:00
Daniel Han
4a8c9e8824 Update _utils.py 2024-07-27 22:56:59 -07:00
Daniel Han
38b5c77635 Update loader.py 2024-07-27 22:54:49 -07:00
Daniel Han
a8e7556fc6 Update loader.py 2024-07-27 22:52:06 -07:00