ceos/unsloth
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
466 commits 391 branches 58 tags 304 MiB
Commit graph

466 commits

This branch
This branch
All branches
Author SHA1 Message Date
Daniel Han-Chen
d0b1144423 Fix llm_int8_skip_modules 2024-02-06 18:53:32 +11:00
Daniel Han-Chen
39a2a7c57d Fix SWA inference 2024-02-06 18:50:48 +11:00
Daniel Han-Chen
aa0427f898 Update save.py 2024-02-06 02:11:06 +11:00
Daniel Han-Chen
262289d5a5 Update save.py 2024-02-06 01:54:22 +11:00
Daniel Han-Chen
53ca91f744 Update save.py 2024-02-06 01:30:48 +11:00
Daniel Han-Chen
e487abd94a Update save.py 2024-02-05 19:07:00 +11:00
Daniel Han-Chen
797a87a3e3 Update save.py 2024-02-05 18:53:27 +11:00
Daniel Han-Chen
e9031ceabe mistral swa 2024-02-05 18:48:40 +11:00
Daniel Han-Chen
33192d6dc8 Update save.py 2024-02-05 18:05:25 +11:00
Daniel Han-Chen
03ed3a83d5 Torch 2.2.0 2024-02-05 17:38:01 +11:00
Daniel Han-Chen
a50daa19d8 Update save.py 2024-02-05 17:32:43 +11:00
Daniel Han-Chen
d69cef9f23 Update save.py 2024-02-05 17:16:20 +11:00
Daniel Han-Chen
1750b13a63 Merge branch 'main' into nightly 2024-02-05 02:29:56 +11:00
Daniel Han
35f2ab4a8b
 		2x faster inference (#151) 
* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update llama.py

* Update fast_lora.py

* Update llama.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update swiglu.py

* Update fast_lora.py

* Update swiglu.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update save.py

* Update fast_lora.py

* Update utils.py

* Update llama.py

* Update fast_lora.py

* Update swiglu.py

* Update save.py

* Update save.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Revert "Update llama.py"

This reverts commit a208ec46e0.

* Update llama.py

* Works?

* Update pyproject.toml

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Swiglu

* Update swiglu.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update swiglu.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* Update fast_lora.py

* attention_mask

* Update llama.py

* Update llama.py

* labels

* Update mistral.py

* Update llama.py

* attention mask

* Update save.py

* Update save.py

* Update mistral.py

* attention mask

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update dpo.py

* Patch saving

* Update save.py

* Update save.py

* patch_saving_functions

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* print

* Mistral patch

* Update mistral.py

* Update save.py

* saving

* Update llama.py

* Update llama.py

* Fast inference repatch

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update mistral.py

* Update __init__.py

* Fix inference

* Update mistral.py

* fast lm_head

* Remove fast path

* Update rope_embedding.py

* Update loader.py

* LlamaAttention_fast_forward_inference

* if past_key_value is not None and q_len == 1:

* revert inference

* Update loader.py

* past_key_value

* Update llama.py

* Update llama.py

* Fix SDPA

* Update llama.py

* padding

* Inference

* Update llama.py

* Revert

* Update mistral.py

* faster inference

* inference

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* inference

* Update llama.py

* Update utils.py

* faster inference

* Update llama.py

* revert

* lm_head

* Update llama.py

* inference

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* faster inference

* Update llama.py

* fast inference

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* torch compile

* past_key_values

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update llama.py

* fast inference + saving config.json

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update mistral.py

* fast inference again

* more temp matrices

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* fast inference

* Update mistral.py

* Update llama.py

* SDPA

* attention_mask

* New version

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py
 2024-02-04 17:35:56 +11:00
Daniel Han-Chen
63ed23ae98 Update utils.py 2024-02-04 14:02:26 +11:00
Daniel Han-Chen
990068b977 Update utils.py 2024-02-04 13:50:21 +11:00
Daniel Han-Chen
6ab4019e4a Update llama.py 2024-02-04 04:07:47 +11:00
Daniel Han-Chen
7ab3426608 Update llama.py 2024-02-04 03:57:29 +11:00
Daniel Han-Chen
201d90c3ba Update llama.py 2024-02-04 03:54:12 +11:00
Daniel Han-Chen
00242d5f89 Update llama.py 2024-02-04 03:52:08 +11:00
Daniel Han-Chen
3bfb0ebf9d Update llama.py 2024-02-04 03:50:31 +11:00
Daniel Han-Chen
71899d7060 Update llama.py 2024-02-04 03:48:18 +11:00
Daniel Han-Chen
9cd2517949 Update llama.py 2024-02-04 03:46:30 +11:00
Daniel Han-Chen
24431b4347 Update llama.py 2024-02-04 03:45:25 +11:00
Daniel Han-Chen
63816fc119 Update llama.py 2024-02-04 03:42:41 +11:00
Daniel Han-Chen
7166b11599 Update llama.py 2024-02-04 03:41:15 +11:00
Daniel Han-Chen
d867b9bbdf Update llama.py 2024-02-04 03:27:15 +11:00
Daniel Han-Chen
9a5ebef148 Update llama.py 2024-02-04 03:23:26 +11:00
Daniel Han-Chen
65270cec60 Update llama.py 2024-02-04 03:13:42 +11:00
Daniel Han-Chen
80fa8e93c9 Update llama.py 2024-02-04 03:12:07 +11:00
Daniel Han-Chen
36b400e598 Update llama.py 2024-02-04 03:08:49 +11:00
Daniel Han-Chen
4a5d3b1de7 Update llama.py 2024-02-04 03:05:49 +11:00
Daniel Han-Chen
88a695da3a Update llama.py 2024-02-04 02:49:51 +11:00
Daniel Han-Chen
ac9bc79251 Update llama.py 2024-02-04 02:42:30 +11:00
Daniel Han-Chen
8c8685eeef Update llama.py 2024-02-04 02:40:30 +11:00
Daniel Han-Chen
607dfa1d0e Update llama.py 2024-02-04 02:35:17 +11:00
Daniel Han-Chen
54802ecbb9 New version 2024-02-04 02:32:21 +11:00
Daniel Han-Chen
711e5c0922 attention_mask 2024-02-04 02:19:42 +11:00
Daniel Han-Chen
74d7fc65c6 SDPA 2024-02-04 02:03:23 +11:00
Daniel Han-Chen
fcb884643b Update llama.py 2024-02-04 02:02:51 +11:00
Daniel Han-Chen
aa032fc80d Update mistral.py 2024-02-04 01:46:04 +11:00
Daniel Han-Chen
31578f2010 fast inference 2024-02-04 01:42:46 +11:00
Daniel Han-Chen
257cd7d531 Update llama.py 2024-02-03 23:22:21 +11:00
Daniel Han-Chen
e500b785f7 Update llama.py 2024-02-03 23:12:16 +11:00
Daniel Han-Chen
cf0fae9a55 Update llama.py 2024-02-03 23:01:56 +11:00
Daniel Han-Chen
381b991c45 Update llama.py 2024-02-03 22:42:11 +11:00
Daniel Han-Chen
665908eb70 Update llama.py 2024-02-03 22:28:20 +11:00
Daniel Han-Chen
5534f8a8f1 more temp matrices 2024-02-03 20:22:42 +11:00
Daniel Han-Chen
68db1c7af7 fast inference again 2024-02-03 19:44:36 +11:00
Daniel Han-Chen
d76f583349 Update mistral.py 2024-02-03 19:30:22 +11:00