ceos/unsloth
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
617 commits 391 branches 58 tags 304 MiB
Commit graph

617 commits

This branch
This branch
All branches
Author SHA1 Message Date
Daniel Han-Chen
097629108f Update llama.py 2024-02-24 03:30:43 +11:00
Daniel Han-Chen
30cc4ffd67 Update llama.py 2024-02-24 03:27:21 +11:00
Daniel Han-Chen
20227ba5c7 Update llama.py 2024-02-24 03:14:29 +11:00
Daniel Han-Chen
73a8616f99 Update llama.py 2024-02-24 03:03:00 +11:00
Daniel Han-Chen
bd4fd22f34 Update cross_entropy_loss.py 2024-02-24 02:58:05 +11:00
Daniel Han-Chen
2814f02087 Update cross_entropy_loss.py 2024-02-24 02:33:28 +11:00
Daniel Han-Chen
dd321363f2 Update cross_entropy_loss.py 2024-02-24 02:30:49 +11:00
Daniel Han-Chen
574b2f787f Update cross_entropy_loss.py 2024-02-24 02:29:33 +11:00
Daniel Han-Chen
6184f770e7 Update cross_entropy_loss.py 2024-02-24 02:10:38 +11:00
Daniel Han-Chen
f5f3d6794e Update cross_entropy_loss.py 2024-02-24 02:08:26 +11:00
Daniel Han-Chen
88bf684c61 Update cross_entropy_loss.py 2024-02-24 02:06:11 +11:00
Daniel Han-Chen
603c71c7f0 Fast CE Loss 2024-02-24 02:02:11 +11:00
Daniel Han-Chen
25339b71f7 Update fast_lora.py 2024-02-23 18:12:15 +11:00
Daniel Han-Chen
ebfc8f8a55 Update fast_lora.py 2024-02-23 17:57:42 +11:00
Daniel Han-Chen
6ab5eb75f4 Update llama.py 2024-02-23 17:55:58 +11:00
Daniel Han-Chen
f999bcd52d Update llama.py 2024-02-23 17:46:33 +11:00
Daniel Han-Chen
13d0cee4f6 Update llama.py 2024-02-23 17:37:17 +11:00
Daniel Han-Chen
b66f6dbfd3 Update llama.py 2024-02-23 17:28:29 +11:00
Daniel Han-Chen
5866b08f71 gemma 2024-02-23 04:11:08 +11:00
Daniel Han-Chen
dd478be2fa Update llama.py 2024-02-23 03:59:09 +11:00
Daniel Han-Chen
2ff33fb270 Update llama.py 2024-02-23 03:52:24 +11:00
Daniel Han-Chen
4c9f366688 Update cross_entropy_loss.py 2024-02-23 03:27:42 +11:00
Daniel Han-Chen
cfebc8d979 Update llama.py 2024-02-23 03:27:03 +11:00
Daniel Han-Chen
4b009aad33 Update llama.py 2024-02-23 03:16:50 +11:00
Daniel Han-Chen
6f340f5417 Update fast_lora.py 2024-02-23 02:38:16 +11:00
Daniel Han-Chen
ff27a824fa Update llama.py 2024-02-23 02:33:37 +11:00
Daniel Han-Chen
5d728270d3 Update llama.py 2024-02-23 02:28:05 +11:00
Daniel Han-Chen
e743e58cb6 Update gemma.py 2024-02-23 02:23:25 +11:00
Daniel Han-Chen
879bdd2efb Update gemma.py 2024-02-23 02:20:26 +11:00
Daniel Han-Chen
9052a85f92 Update gemma.py 2024-02-23 02:19:06 +11:00
Daniel Han-Chen
bad295a413 Update llama.py 2024-02-23 02:15:12 +11:00
Daniel Han-Chen
b30d2502cc Update llama.py 2024-02-23 02:12:02 +11:00
Daniel Han-Chen
11233cb3d4 model_type 2024-02-23 02:10:11 +11:00
Daniel Han-Chen
76de9c1fe3 FastGemmaModel 2024-02-23 02:05:31 +11:00
Daniel Han-Chen
c0d32de795 Update fast_lora.py 2024-02-23 02:02:39 +11:00
Daniel Han-Chen
bd2fa264c9 Update mapper.py 2024-02-23 01:57:34 +11:00
Daniel Han-Chen
9a1b28d691 Update pyproject.toml 2024-02-23 01:55:25 +11:00
Daniel Han-Chen
0beaf18908 Gemma 2024-02-23 01:50:51 +11:00
Daniel Han-Chen
0659d90d95 Merge branch 'main' into nightly 2024-02-21 17:49:57 +11:00
Daniel Han
3e4c5a323c
 		Feb 2024 Release (#187) 
* Fast inference repatch

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update mistral.py

* Update __init__.py

* Fix inference

* Update mistral.py

* fast lm_head

* Remove fast path

* Update rope_embedding.py

* Update loader.py

* LlamaAttention_fast_forward_inference

* if past_key_value is not None and q_len == 1:

* revert inference

* Update loader.py

* past_key_value

* Update llama.py

* Update llama.py

* Fix SDPA

* Update llama.py

* padding

* Inference

* Update llama.py

* Revert

* Update mistral.py

* faster inference

* inference

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* inference

* Update llama.py

* Update utils.py

* faster inference

* Update llama.py

* revert

* lm_head

* Update llama.py

* inference

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* faster inference

* Update llama.py

* fast inference

* Update llama.py

* Update llama.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* torch compile

* past_key_values

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update utils.py

* Update llama.py

* fast inference + saving config.json

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update mistral.py

* fast inference again

* more temp matrices

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* fast inference

* Update mistral.py

* Update llama.py

* SDPA

* attention_mask

* New version

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update utils.py

* Update utils.py

* Update save.py

* Update save.py

* Torch 2.2.0

* Update save.py

* mistral swa

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Fix SWA inference

* Fix llm_int8_skip_modules

* SWA inference

* Update save.py

* Update save.py

* Update pyproject.toml

* __version__

* __version__

* Update save.py

* Update save.py

* Update mistral.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Update llama.py

* Chat Templates

* Update chat_templates.py

* Update chat_templates.py

* Update chat_templates.py

* Update chat_templates.py

* patch tokenizer

* Update chat_templates.py

* Saving, LlamaRotaryEmbedding issues

* Update llama.py

* Update mistral.py

* Update mapper.py

* Fix RoPE precision issues

* Bugs

* saving bugs

* Update llama.py

* readme

* spaces

* spaces

* globals

* slash

* slashes

* spaces

* apache

* Update save.py

* Update save.py

* Update loader.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* trainer

* Update save.py

* Update pyproject.toml

* install

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* PeftModel token + saving

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* linking

* llama.cpp bugs

* Update save.py

* Update save.py

* saving

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update save.py

* Update __init__.py

* Update save.py

* Update save.py

* Update save.py

* save

* trainer

* spaces

* original
 2024-02-21 03:58:59 +11:00
Daniel Han-Chen
7372768d14 original 2024-02-21 03:29:49 +11:00
Daniel Han-Chen
10d9d56434 spaces 2024-02-21 03:25:46 +11:00
Daniel Han-Chen
edd03f66fb trainer 2024-02-21 03:14:27 +11:00
Daniel Han-Chen
028ee5ca06 save 2024-02-21 02:05:33 +11:00
Daniel Han-Chen
917f791ab7 Update save.py 2024-02-21 00:53:17 +11:00
Daniel Han-Chen
bf3e10b26e Update save.py 2024-02-21 00:48:18 +11:00
Daniel Han-Chen
d266332141 Update save.py 2024-02-20 23:28:37 +11:00
Daniel Han-Chen
4d1e575047 Update __init__.py 2024-02-20 20:01:33 +11:00
Daniel Han-Chen
6aac6c4be8 Update save.py 2024-02-20 19:50:29 +11:00
Daniel Han-Chen
83d906a2c0 Update save.py 2024-02-20 18:35:11 +11:00