ceos/unsloth
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
1,414 commits 391 branches 58 tags 304 MiB
Commit graph

1,414 commits

This branch
This branch
All branches
Author SHA1 Message Date
Daniel Han
4dc044808f Merge branch 'main' into nightly 2025-02-13 14:57:58 -08:00
Daniel Han
49bdb690e9 Update __init__.py 2025-02-13 14:55:14 -08:00
Daniel Han
5826e5855f Update _utils.py 2025-02-13 14:54:49 -08:00
Daniel Han
47b81fdd23 Fix bugs (#1701) 
* Phi 4

* Update llama.py

* Torch.Cuda Is Available Condition and Warning (#1545)

* check for torch.cuda and triton if available
on my machine(mac m3) the cuda were not available

* Update pyproject.toml

* Update __init__.py

---------

Co-authored-by: Daniel Han <danielhanchen@gmail.com>

* Update mistral.py

* Update mistral.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Fix

* Bug fixes

* Update mapper.py

* Add dropout to granite to match HF's implementation (#1557)

Signed-off-by: datta0 <venkatadattasainimmaturi@gmail.com>

* Update llama.py

* Update llama.py

* Bug fixes

* fix: flash_attn_detection_error (#1556)

* fix: flash_attn_detection_error

* Update _utils.py

---------

Co-authored-by: Daniel Han <danielhanchen@gmail.com>

* Update mapper.py

* Update gemma.py

* Update gemma.py

* Update gemma.py

* Update gemma.py

* dim fix

* Update _utils.py

* Torch 2.6 support

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Faster inference?

* Update llama.py

* Update llama.py

* Update utils.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update mapper.py

* Fast Inference via vLLM

* Update llama.py

* Update llama.py

* Update utils.py

* Create rl.py

* PatchRL

* Update rl.py

* Update rl.py

* Update rl.py

* PatchRLStatistics

* Update rl.py

* Update rl.py

* Update rl.py

* Update utils.py

* Update utils.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* RL metrics

* Update rl.py

* RL metrics

* Update __init__.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update chat_templates.py

* Update mapper.py

* Fp8 cache

* Update llama.py

* Update llama.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update __init__.py

* Update loader.py

* Update rl.py

* Update rl.py

* Update _utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Better TRL handling

* Update rl.py

* Update tokenizer_utils.py

* Auto patching

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update rl.py

* Update tokenizer_utils.py

* Update rl.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update tokenizer_utils.py

* Update rl.py

* Update rl.py

* Update rl.py

* max seq length

* Update rl.py

* Update rl.py

* Patching

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* NEFTune

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Update rl.py

* Extra replacements

* Update rl_replacements.py

* Update rl.py

* extra RL replacements

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update llama.py

* Update rl_replacements.py

* Update _utils.py

* Update loader_utils.py

* Update rl.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* autocast

* Update rl_replacements.py

* Update llama.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update llama.py

* Update rl_replacements.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update rl_replacements.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update pyproject.toml

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update llama.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update rl_replacements.py

* Update llama.py

* Update _utils.py

---------

Signed-off-by: datta0 <venkatadattasainimmaturi@gmail.com>
Co-authored-by: AminWhat <88392440+aminwhat@users.noreply.github.com>
Co-authored-by: Datta Nimmaturi <datta.nimmaturi@nutanix.com>
Co-authored-by: Zhe Zhang <2631992879@qq.com>
 2025-02-13 14:50:44 -08:00
Daniel Han
8eb45ec7a8 Update _utils.py 2025-02-13 14:47:54 -08:00
Daniel Han
8034edf925 Update llama.py 2025-02-13 14:42:38 -08:00
Daniel Han
aa3df04412 Merge branch 'main' into nightly 2025-02-13 14:40:49 -08:00
Daniel Han
0287d03414 Update rl_replacements.py 2025-02-13 04:44:21 -08:00
Daniel Han
18fe5aa01a Update rl_replacements.py 2025-02-13 04:40:53 -08:00
Daniel Han
cedb6c15d9 Update rl_replacements.py 2025-02-13 04:40:42 -08:00
Daniel Han
c8b303ea5b Update rl_replacements.py 2025-02-13 04:34:13 -08:00
Daniel Han
19a0c3fe32 Update rl_replacements.py 2025-02-13 04:25:56 -08:00
Daniel Han
8e9d0ee97b Update rl_replacements.py 2025-02-13 02:06:36 -08:00
Daniel Han
d7e0f8442e Update rl_replacements.py 2025-02-13 02:04:11 -08:00
Daniel Han
13c23a336d Update rl_replacements.py 2025-02-13 02:01:51 -08:00
Daniel Han
3b3208fc06 Update llama.py 2025-02-13 01:57:45 -08:00
Daniel Han
31f49ca982 Update rl_replacements.py 2025-02-13 01:52:07 -08:00
Daniel Han
52e50a7916 Update rl_replacements.py 2025-02-13 01:48:38 -08:00
Daniel Han
7c14205ba8 Update rl_replacements.py 2025-02-13 01:44:00 -08:00
Daniel Han
3cc3fb75ee Update rl_replacements.py 2025-02-13 01:42:55 -08:00
Michael Han
3232119b47 Merge pull request #1688 from unslothai/shimmyshimmer-patch-5 
Update README.md
 2025-02-13 01:14:23 -08:00
Michael Han
ba91aa4d21 Update README.md 2025-02-13 01:14:06 -08:00
Daniel Han
64ab019599 Update llama.py 2025-02-13 00:29:34 -08:00
Daniel Han
c528d8c44a Update llama.py 2025-02-13 00:26:58 -08:00
Daniel Han
e9fda7ab1d Update llama.py 2025-02-13 00:10:44 -08:00
Daniel Han
860ba5ff1a Update llama.py 2025-02-12 23:03:40 -08:00
Daniel Han
1422c8bc9d Update llama.py 2025-02-12 23:00:51 -08:00
Daniel Han
194f060c10 Update llama.py 2025-02-12 22:56:47 -08:00
Daniel Han
bba102fbc4 Update llama.py 2025-02-12 22:34:50 -08:00
Daniel Han
809334651c Update pyproject.toml 2025-02-12 21:16:44 -08:00
Daniel Han
ea7166d33a Update llama.py 2025-02-12 21:06:33 -08:00
Daniel Han
45af138d6d Update llama.py 2025-02-12 20:33:37 -08:00
Daniel Han
f8f241e2b8 Update llama.py 2025-02-12 20:29:10 -08:00
Daniel Han
bd6b1c24c4 Update llama.py 2025-02-12 20:24:48 -08:00
Daniel Han
7816f7e9ac Update rl_replacements.py 2025-02-12 20:18:07 -08:00
Daniel Han
7e2caab171 Update llama.py 2025-02-12 19:11:09 -08:00
Daniel Han
c118a72d5f Update llama.py 2025-02-12 19:10:48 -08:00
Daniel Han
a2c238baac Update llama.py 2025-02-12 19:07:50 -08:00
Daniel Han
6923365bff Update llama.py 2025-02-12 19:01:23 -08:00
Daniel Han
083ee86d89 Update llama.py 2025-02-12 18:57:01 -08:00
Daniel Han
83a2d4282c Update rl_replacements.py 2025-02-12 18:50:45 -08:00
Daniel Han
d99e7675dd Update llama.py 2025-02-12 18:44:47 -08:00
Daniel Han
666afe362a Update rl_replacements.py 2025-02-12 16:23:47 -08:00
Daniel Han
fb5ec5992c Update rl_replacements.py 2025-02-12 16:19:34 -08:00
Daniel Han
7b13eb0eca Update rl_replacements.py 2025-02-12 16:19:13 -08:00
Daniel Han
1e35ab6722 Update rl_replacements.py 2025-02-12 16:16:31 -08:00
Daniel Han
d01e4f89b6 Update llama.py 2025-02-12 03:56:12 -08:00
Daniel Han
c987094751 Update rl_replacements.py 2025-02-12 03:50:32 -08:00
Daniel Han
ff3375ee8e autocast 2025-02-12 03:50:07 -08:00
Daniel Han
5d628d9397 Update llama.py 2025-02-12 03:32:12 -08:00