ceos/unsloth
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
305 commits 391 branches 58 tags 304 MiB
Commit graph

305 commits

This branch
This branch
All branches
Author SHA1 Message Date
Daniel Han
3f2ce41feb Update _utils.py 2024-07-23 12:25:24 -07:00
Daniel Han
2f747efbe4 Update loader.py 2024-07-23 12:12:29 -07:00
Daniel Han
9185fc76f1 Update README.md 2024-07-23 12:07:27 -07:00
Daniel Han
5882beadcd Update README.md 2024-07-23 11:51:08 -07:00
Daniel Han
f037ccfaca Llama 3.1 (#797) 
* Llama 3.1

* Update _utils.py

* Llama 3.1

* Update _utils.py

* Update llama.py

* Update llama.py

* hack for rotary

* patch RoPE

* refix rope

* Update _utils.py

* Update llama.py

* Llama 3.1 check

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py
 2024-07-23 11:40:49 -07:00
Daniel Han
5798948c5a Update tokenizer_utils.py 2024-07-20 13:25:59 -07:00
Daniel Han
6ff10a94c9 Update tokenizer_utils.py 2024-07-20 13:22:36 -07:00
Daniel Han
da51fd0d94 Update llama.py 2024-07-20 12:47:36 -07:00
Daniel Han
bcfffccfc8 Update llama.py 2024-07-20 11:53:32 -07:00
Daniel Han
1cd539d97e Merge branch 'main' into nightly 2024-07-20 09:47:22 -07:00
Daniel Han
252e5e31be Update mistral.py 2024-07-19 09:32:27 -07:00
Daniel Han
8fa8bb883a Fix Gemma 2024-07-19 09:27:18 -07:00
Daniel Han
77c46d60bc Update README.md July-Mistral-2024 2024-07-19 03:05:15 -07:00
Daniel Han
e1104151b4 Update README.md 2024-07-19 03:03:50 -07:00
Daniel Han
ded20b2462 Nightly (#784) 
* Update __init__.py

* dynamic RoPE

* Update mistral.py

* Update llama.py

* Update tokenizer_utils.py

* Update mistral.py

* Update llama.py

* Update __init__.py

* Update flex_attention.py

* Update llama.py

* Update llama.py

* Mistral Nemo

* Update tokenizer_utils.py

* Update tokenizer_utils.py

* Update tokenizer_utils.py
 2024-07-19 01:39:08 -07:00
Daniel Han
3f526a0d88 Merge branch 'main' into nightly 2024-07-19 01:38:47 -07:00
Daniel Han
3ac6ad8aea Update tokenizer_utils.py 2024-07-19 01:29:52 -07:00
Daniel Han
6786fa425f Nightly (#783) 
* Update __init__.py

* dynamic RoPE

* Update mistral.py

* Update llama.py

* Update tokenizer_utils.py

* Update mistral.py

* Update llama.py

* Update __init__.py

* Update flex_attention.py

* Update llama.py

* Update llama.py

* Mistral Nemo

* Update tokenizer_utils.py

* Update tokenizer_utils.py
 2024-07-19 01:24:46 -07:00
Daniel Han
dca3eca45d Update tokenizer_utils.py 2024-07-19 01:06:41 -07:00
Daniel Han
9b464716c7 Update tokenizer_utils.py 2024-07-19 01:03:51 -07:00
Daniel Han
fab04d594b Merge branch 'main' into nightly 2024-07-19 00:59:48 -07:00
Daniel Han
2837bb1fe3 Update tokenizer_utils.py 2024-07-19 00:41:35 -07:00
Daniel Han
bd2959d300 Mistral Nemo (#782) 
* Update __init__.py

* dynamic RoPE

* Update mistral.py

* Update llama.py

* Update tokenizer_utils.py

* Update mistral.py

* Update llama.py

* Update __init__.py

* Update flex_attention.py

* Update llama.py

* Update llama.py

* Mistral Nemo
 2024-07-19 00:14:24 -07:00
Daniel Han
f8a9421721 Mistral Nemo 2024-07-18 22:53:23 -07:00
Daniel Han
11d1ce83d3 Update llama.py 2024-07-18 22:07:23 -07:00
Daniel Han
e0a18a0c39 Update llama.py 2024-07-18 21:57:33 -07:00
Daniel Han
4998843cef Merge branch 'main' into nightly 2024-07-18 21:55:10 -07:00
Daniel Han
3fd18f7707 Fix bugs (#779) 
* Update __init__.py

* dynamic RoPE

* Update mistral.py

* Update llama.py

* Update tokenizer_utils.py

* Update mistral.py

* Update llama.py

* Update __init__.py

* Update flex_attention.py
 2024-07-18 18:19:24 -07:00
Daniel Han
e48f5a7649 Update flex_attention.py 2024-07-18 18:18:09 -07:00
Daniel Han
9b8334b614 Update __init__.py 2024-07-18 14:43:03 -07:00
Daniel Han
dcb974cdc0 Update llama.py 2024-07-18 14:31:35 -07:00
Daniel Han
50727fa457 Update mistral.py 2024-07-18 13:33:13 -07:00
Daniel Han
7c4c93813f Update tokenizer_utils.py 2024-07-18 13:25:30 -07:00
Daniel Han
55cf7cf934 Update llama.py 2024-07-18 12:33:22 -07:00
Daniel Han
1b27275a17 Update mistral.py 2024-07-18 12:08:49 -07:00
Daniel Han
2bf5c3ea83 dynamic RoPE 2024-07-18 12:06:38 -07:00
Daniel Han
69e4eabb93 Update __init__.py 2024-07-18 11:07:32 -07:00
Daniel Han
7fb3838c00 Update pyproject.toml 2024-07-18 10:59:09 -07:00
Daniel Han
d0a96c6ccf Update __init__.py 2024-07-18 10:58:12 -07:00
Daniel Han
f3cd5e1925 Mistral Nemo 12b (#777) 
* Update gemma2.py

* Update llama.py

* Update llama.py

* Update gemma2.py

* init

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* All RoPE Scaling support

* cleanup

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* exec

* exec

* Attention_Module

* attention_module

* imports

* exec

* Update llama.py

* Update llama.py

* boolean mask

* revert masking

* Update llama.py

* Update save.py

* Update llama.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update utils.py

* retry

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update chat_templates.py

* Gemma 2 Ollama support

* Update llama.py

* Update llama.py

* error handling

* Update _utils.py

* Update _utils.py

* Stats for debugging

* Update _utils.py

* Update _utils.py

* Debugging

* Update tokenizer_utils.py

* Update _utils.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Check exec, eval

* Update _utils.py

* Update _utils.py

* Images

* Bug fixes

* Update pyproject.toml

* Bug fixes

* Update _utils.py

* Update _utils.py

* Deprecation fix

* Update chat_templates.py

* Now permitting use of pre-installed llama.cpp (#763)

* Now permitting use of pre-installed llama.cpp

* Update save.py

---------

Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>

* Update save.py

* Deprecation & compile

* typo

* Update chat_templates.py

* Update chat_templates.py

* train_on_responses_only

* Update llama.py

* Update llama.py

* Update save.py

* Update gemma2.py

* Flex Attention

* typos

* Update _utils.py

* Update llama.py

* Update __init__.py

* Update flex_attention.py

* Update llama.py

* Update llama.py

* emulation

* Update __init__.py

* Update rope_embedding.py

* Update flex_attention.py

* Update flex_attention.py

* Update rope_embedding.py

* libdevice

* triton_tanh

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* score

* Update llama.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Update llama.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Update flex_attention.py

* Flex Attention removal

* upload tensorboard training stats to hub if available (#773)

* causal_mask

* Update llama.py

* Update llama.py

* Update flex_attention.py

* Update _utils.py

* Update mapper.py

* Update _utils.py

---------

Co-authored-by: pepistrafforello <pepi.strafforello@gmail.com>
Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
Co-authored-by: Sébastien De Greef <sebdg@binarycompany.com>
 2024-07-18 10:51:10 -07:00
Daniel Han
d5d427a7aa Chat templates 2024-07-15 14:36:44 -07:00
Daniel Han
7b3b216fd3 Train on responses only (#770) 
* Update gemma2.py

* Update llama.py

* Update llama.py

* Update gemma2.py

* init

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* All RoPE Scaling support

* cleanup

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* exec

* exec

* Attention_Module

* attention_module

* imports

* exec

* Update llama.py

* Update llama.py

* boolean mask

* revert masking

* Update llama.py

* Update save.py

* Update llama.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update utils.py

* retry

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update chat_templates.py

* Gemma 2 Ollama support

* Update llama.py

* Update llama.py

* error handling

* Update _utils.py

* Update _utils.py

* Stats for debugging

* Update _utils.py

* Update _utils.py

* Debugging

* Update tokenizer_utils.py

* Update _utils.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Check exec, eval

* Update _utils.py

* Update _utils.py

* Images

* Bug fixes

* Update pyproject.toml

* Bug fixes

* Update _utils.py

* Update _utils.py

* Deprecation fix

* Update chat_templates.py

* Now permitting use of pre-installed llama.cpp (#763)

* Now permitting use of pre-installed llama.cpp

* Update save.py

---------

Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>

* Update save.py

* Deprecation & compile

* typo

* Update chat_templates.py

* Update chat_templates.py

* train_on_responses_only

* Update llama.py

* Update llama.py

* Update save.py

* Update gemma2.py

---------

Co-authored-by: pepistrafforello <pepi.strafforello@gmail.com>
Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
 2024-07-14 22:41:04 -07:00
Daniel Han
b9beb12b18 Many bug fixes (#754) 
* Update gemma2.py

* Update llama.py

* Update llama.py

* Update gemma2.py

* init

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* All RoPE Scaling support

* cleanup

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* exec

* exec

* Attention_Module

* attention_module

* imports

* exec

* Update llama.py

* Update llama.py

* boolean mask

* revert masking

* Update llama.py

* Update save.py

* Update llama.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update utils.py

* retry

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update chat_templates.py

* Gemma 2 Ollama support

* Update llama.py

* Update llama.py

* error handling

* Update _utils.py

* Update _utils.py

* Stats for debugging

* Update _utils.py

* Update _utils.py

* Debugging

* Update tokenizer_utils.py

* Update _utils.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Check exec, eval

* Update _utils.py

* Update _utils.py

* Images

* Bug fixes

* Update pyproject.toml

* Bug fixes

* Update _utils.py

* Update _utils.py
 2024-07-10 01:59:06 -07:00
Daniel Han
83e0568cee Update llama.py 2024-07-08 10:44:19 -07:00
Daniel Han
67d24d12cf Update llama.py 2024-07-08 10:38:49 -07:00
Daniel Han
b7f9c9e330 Update _utils.py 2024-07-08 10:01:20 -07:00
Daniel Han
24b2928637 Update llama.py 2024-07-07 15:46:36 -07:00
Daniel Han
ee4232759d Nightly (#744) 
* Update gemma2.py

* Update llama.py

* Update llama.py

* Update gemma2.py

* init

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* All RoPE Scaling support

* cleanup

* Update llama.py

* Update llama.py

* Update _utils.py

* Update _utils.py

* exec

* exec

* Attention_Module

* attention_module

* imports

* exec

* Update llama.py

* Update llama.py

* boolean mask

* revert masking

* Update llama.py

* Update save.py

* Update llama.py

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update utils.py

* retry

* Update gemma2.py

* Update gemma2.py

* Update gemma2.py

* Update _utils.py

* Update _utils.py

* Update gemma2.py

* Update chat_templates.py

* Gemma 2 Ollama support

* Update llama.py

* Update llama.py

* error handling

* Update _utils.py

* Update _utils.py

* Stats for debugging

* Update _utils.py

* Update _utils.py

* Debugging

* Update tokenizer_utils.py

* Update _utils.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update cross_entropy_loss.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Update rms_layernorm.py

* Check exec, eval

* Update _utils.py

* Update _utils.py
 2024-07-07 10:22:59 -07:00
Daniel Han
1e35bf2abd Merge branch 'main' of https://github.com/unslothai/unsloth 2024-07-07 09:49:55 -07:00
Daniel Han
91f958cf3b Update _utils.py 2024-07-07 09:49:45 -07:00