ceos/unsloth
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
552 commits 391 branches 58 tags 304 MiB
Commit graph

552 commits

This branch
This branch
All branches
Author SHA1 Message Date
Daniel Han-Chen
0ffd7b46f3 linking 2024-02-19 19:39:47 +11:00
Daniel Han-Chen
ad0c2bcd87 Update save.py 2024-02-19 13:08:03 +11:00
Daniel Han-Chen
0c1b71ac63 Update save.py 2024-02-19 12:51:25 +11:00
Daniel Han-Chen
14db89f4fc Update save.py 2024-02-19 04:13:40 +11:00
Daniel Han-Chen
e31071f368 Update save.py 2024-02-19 04:01:27 +11:00
Daniel Han-Chen
aa45208f5a Update save.py 2024-02-19 03:39:09 +11:00
Daniel Han-Chen
28de27dd8d PeftModel token + saving 2024-02-19 03:22:21 +11:00
Daniel Han-Chen
99cdf0bd5a Update save.py 2024-02-19 02:45:54 +11:00
Daniel Han-Chen
71555c7678 Update save.py 2024-02-19 02:37:43 +11:00
Daniel Han-Chen
89d2418cd7 Update save.py 2024-02-18 23:35:18 +11:00
Daniel Han-Chen
3e89d4e7ec Update save.py 2024-02-18 23:31:24 +11:00
Daniel Han-Chen
457c044473 install 2024-02-18 23:25:36 +11:00
Daniel Han-Chen
22378e95cc Update pyproject.toml 2024-02-18 23:12:37 +11:00
Daniel Han-Chen
3d789cb09e Update save.py 2024-02-18 22:59:37 +11:00
Daniel Han-Chen
31a62c52d3 trainer 2024-02-18 22:54:38 +11:00
Daniel Han-Chen
870edf3534 Update save.py 2024-02-18 22:52:51 +11:00
Daniel Han-Chen
b6a6e90b7a Update save.py 2024-02-18 22:03:22 +11:00
Daniel Han-Chen
02b7b7f3f2 Update save.py 2024-02-18 20:28:56 +11:00
Daniel Han-Chen
53f6a07b92 Update save.py 2024-02-18 20:22:52 +11:00
Daniel Han-Chen
7ee8243e8b Update save.py 2024-02-18 20:19:28 +11:00
Daniel Han-Chen
94b5c58c2e Update save.py 2024-02-18 20:11:51 +11:00
Daniel Han-Chen
c6ad5f97a3 Update loader.py 2024-02-18 20:09:11 +11:00
Daniel Han-Chen
cc2764cddd Update save.py 2024-02-18 19:54:34 +11:00
Daniel Han-Chen
0af3a1b143 Update save.py 2024-02-18 19:44:59 +11:00
Daniel Han-Chen
ef8abf4c6e apache 2024-02-18 19:25:56 +11:00
Daniel Han-Chen
164b950cad spaces 2024-02-18 19:24:35 +11:00
Daniel Han-Chen
7aedc92637 slashes 2024-02-18 19:21:02 +11:00
Daniel Han-Chen
7573ee2c22 slash 2024-02-18 19:15:41 +11:00
Daniel Han-Chen
e51a381305 globals 2024-02-18 19:08:04 +11:00
Daniel Han-Chen
c660879cdc spaces 2024-02-18 18:30:03 +11:00
Daniel Han-Chen
dcbbab3c22 spaces 2024-02-18 18:25:19 +11:00
Daniel Han-Chen
5edae1cd79 readme 2024-02-18 18:21:54 +11:00
Daniel Han-Chen
22f1f52513 Update llama.py 2024-02-18 18:18:12 +11:00
Daniel Han-Chen
2e65e63678 saving bugs 2024-02-18 18:09:38 +11:00
Daniel Han-Chen
c9a524a99a Bugs 2024-02-18 04:15:20 +11:00
Daniel Han-Chen
6d3a3b4286 Fix RoPE precision issues 2024-02-15 19:24:07 +11:00
Daniel Han-Chen
84b37f8548 Update mapper.py 2024-02-15 03:53:58 +11:00
Daniel Han-Chen
bd4a701e7a Merge branch 'main' into nightly 2024-02-15 03:35:47 +11:00
Daniel Han
a030e80203
 		Prelim Feb release (#173) 
* Works?

* Update pyproject.toml

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Swiglu

* Update swiglu.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update swiglu.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* attention_mask

* Update llama.py

* Update llama.py

* labels

* Update mistral.py

* Update llama.py

* attention mask

* Update save.py

* Update save.py

* Update mistral.py

* attention mask

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update dpo.py

* Patch saving

* Update save.py

* Update save.py

* patch_saving_functions

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* print

* Mistral patch

* Update mistral.py

* Update save.py

* saving

* Update llama.py

* Update llama.py

* Fast inference repatch

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update mistral.py

* Update __init__.py

* Fix inference

* Update mistral.py

* fast lm_head

* Remove fast path

* Update rope_embedding.py

* Update loader.py

* LlamaAttention_fast_forward_inference

* if past_key_value is not None and q_len == 1:

* revert inference

* Update loader.py

* past_key_value

* Update llama.py

* Update llama.py

* Fix SDPA

* Update llama.py

* padding

* Inference

* Update llama.py

* Revert

* Update mistral.py

* faster inference

* inference

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* inference

* Update llama.py

* Update utils.py

* faster inference

* Update llama.py

* revert

* lm_head

* Update llama.py

* inference

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* faster inference

* Update llama.py

* fast inference

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* torch compile

* past_key_values

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update llama.py

* fast inference + saving config.json

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update mistral.py

* fast inference again

* more temp matrices

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* fast inference

* Update mistral.py

* Update llama.py

* SDPA

* attention_mask

* New version

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py

* Update save.py

* Update save.py

* Torch 2.2.0

* Update save.py

* mistral swa

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Fix SWA inference

* Fix llm_int8_skip_modules

* SWA inference

* Update save.py

* Update save.py

* Update pyproject.toml

* __version__

* __version__

* Update save.py

* Update save.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Chat Templates

* Update chat_templates.py

* Update chat_templates.py

* Update chat_templates.py

* Update chat_templates.py

* patch tokenizer

* Update chat_templates.py

* Saving, LlamaRotaryEmbedding issues

* Update llama.py

* Update mistral.py
 2024-02-15 00:07:42 +11:00
Daniel Han-Chen
629c39d2e5 Update mistral.py 2024-02-14 23:17:38 +11:00
Daniel Han-Chen
227c26ca44 Update llama.py 2024-02-14 23:15:45 +11:00
Daniel Han-Chen
b660132380 Saving, LlamaRotaryEmbedding issues 2024-02-14 23:11:06 +11:00
Daniel Han-Chen
91a3c43468 Update chat_templates.py 2024-02-14 17:58:41 +11:00
Daniel Han-Chen
efbb1e6049 patch tokenizer 2024-02-14 17:56:14 +11:00
Daniel Han-Chen
5f5910ffee Update chat_templates.py 2024-02-14 17:45:02 +11:00
Daniel Han-Chen
d40a12852e Update chat_templates.py 2024-02-14 17:31:33 +11:00
Daniel Han-Chen
7c713cb58c Update chat_templates.py 2024-02-14 17:27:03 +11:00
Daniel Han-Chen
b28a383d1c Update chat_templates.py 2024-02-14 04:20:41 +11:00
Daniel Han-Chen
4f20e20e28 Merge branch 'main' into nightly 2024-02-14 03:25:40 +11:00
Younes Belkada
7c4620977d
 		add HF tagging in unsloth (#170) 2024-02-13 18:28:42 +11:00