Daniel Han
|
5882beadcd
|
Update README.md
|
2024-07-23 11:51:08 -07:00 |
|
Daniel Han
|
f037ccfaca
|
Llama 3.1 (#797)
* Llama 3.1
* Update _utils.py
* Llama 3.1
* Update _utils.py
* Update llama.py
* Update llama.py
* hack for rotary
* patch RoPE
* refix rope
* Update _utils.py
* Update llama.py
* Llama 3.1 check
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
|
2024-07-23 11:40:49 -07:00 |
|
Daniel Han
|
5798948c5a
|
Update tokenizer_utils.py
|
2024-07-20 13:25:59 -07:00 |
|
Daniel Han
|
6ff10a94c9
|
Update tokenizer_utils.py
|
2024-07-20 13:22:36 -07:00 |
|
Daniel Han
|
da51fd0d94
|
Update llama.py
|
2024-07-20 12:47:36 -07:00 |
|
Daniel Han
|
bcfffccfc8
|
Update llama.py
|
2024-07-20 11:53:32 -07:00 |
|
Daniel Han
|
1cd539d97e
|
Merge branch 'main' into nightly
|
2024-07-20 09:47:22 -07:00 |
|
Daniel Han
|
252e5e31be
|
Update mistral.py
|
2024-07-19 09:32:27 -07:00 |
|
Daniel Han
|
8fa8bb883a
|
Fix Gemma
|
2024-07-19 09:27:18 -07:00 |
|
Daniel Han
|
77c46d60bc
|
Update README.md
July-Mistral-2024
|
2024-07-19 03:05:15 -07:00 |
|
Daniel Han
|
e1104151b4
|
Update README.md
|
2024-07-19 03:03:50 -07:00 |
|
Daniel Han
|
ded20b2462
|
Nightly (#784)
* Update __init__.py
* dynamic RoPE
* Update mistral.py
* Update llama.py
* Update tokenizer_utils.py
* Update mistral.py
* Update llama.py
* Update __init__.py
* Update flex_attention.py
* Update llama.py
* Update llama.py
* Mistral Nemo
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
|
2024-07-19 01:39:08 -07:00 |
|
Daniel Han
|
3f526a0d88
|
Merge branch 'main' into nightly
|
2024-07-19 01:38:47 -07:00 |
|
Daniel Han
|
3ac6ad8aea
|
Update tokenizer_utils.py
|
2024-07-19 01:29:52 -07:00 |
|
Daniel Han
|
6786fa425f
|
Nightly (#783)
* Update __init__.py
* dynamic RoPE
* Update mistral.py
* Update llama.py
* Update tokenizer_utils.py
* Update mistral.py
* Update llama.py
* Update __init__.py
* Update flex_attention.py
* Update llama.py
* Update llama.py
* Mistral Nemo
* Update tokenizer_utils.py
* Update tokenizer_utils.py
|
2024-07-19 01:24:46 -07:00 |
|
Daniel Han
|
dca3eca45d
|
Update tokenizer_utils.py
|
2024-07-19 01:06:41 -07:00 |
|
Daniel Han
|
9b464716c7
|
Update tokenizer_utils.py
|
2024-07-19 01:03:51 -07:00 |
|
Daniel Han
|
fab04d594b
|
Merge branch 'main' into nightly
|
2024-07-19 00:59:48 -07:00 |
|
Daniel Han
|
2837bb1fe3
|
Update tokenizer_utils.py
|
2024-07-19 00:41:35 -07:00 |
|
Daniel Han
|
bd2959d300
|
Mistral Nemo (#782)
* Update __init__.py
* dynamic RoPE
* Update mistral.py
* Update llama.py
* Update tokenizer_utils.py
* Update mistral.py
* Update llama.py
* Update __init__.py
* Update flex_attention.py
* Update llama.py
* Update llama.py
* Mistral Nemo
|
2024-07-19 00:14:24 -07:00 |
|
Daniel Han
|
f8a9421721
|
Mistral Nemo
|
2024-07-18 22:53:23 -07:00 |
|
Daniel Han
|
11d1ce83d3
|
Update llama.py
|
2024-07-18 22:07:23 -07:00 |
|
Daniel Han
|
e0a18a0c39
|
Update llama.py
|
2024-07-18 21:57:33 -07:00 |
|
Daniel Han
|
4998843cef
|
Merge branch 'main' into nightly
|
2024-07-18 21:55:10 -07:00 |
|
Daniel Han
|
3fd18f7707
|
Fix bugs (#779)
* Update __init__.py
* dynamic RoPE
* Update mistral.py
* Update llama.py
* Update tokenizer_utils.py
* Update mistral.py
* Update llama.py
* Update __init__.py
* Update flex_attention.py
|
2024-07-18 18:19:24 -07:00 |
|
Daniel Han
|
e48f5a7649
|
Update flex_attention.py
|
2024-07-18 18:18:09 -07:00 |
|
Daniel Han
|
9b8334b614
|
Update __init__.py
|
2024-07-18 14:43:03 -07:00 |
|
Daniel Han
|
dcb974cdc0
|
Update llama.py
|
2024-07-18 14:31:35 -07:00 |
|
Daniel Han
|
50727fa457
|
Update mistral.py
|
2024-07-18 13:33:13 -07:00 |
|
Daniel Han
|
7c4c93813f
|
Update tokenizer_utils.py
|
2024-07-18 13:25:30 -07:00 |
|
Daniel Han
|
55cf7cf934
|
Update llama.py
|
2024-07-18 12:33:22 -07:00 |
|
Daniel Han
|
1b27275a17
|
Update mistral.py
|
2024-07-18 12:08:49 -07:00 |
|
Daniel Han
|
2bf5c3ea83
|
dynamic RoPE
|
2024-07-18 12:06:38 -07:00 |
|
Daniel Han
|
69e4eabb93
|
Update __init__.py
|
2024-07-18 11:07:32 -07:00 |
|
Daniel Han
|
7fb3838c00
|
Update pyproject.toml
|
2024-07-18 10:59:09 -07:00 |
|
Daniel Han
|
d0a96c6ccf
|
Update __init__.py
|
2024-07-18 10:58:12 -07:00 |
|
Daniel Han
|
f3cd5e1925
|
Mistral Nemo 12b (#777)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Check exec, eval
* Update _utils.py
* Update _utils.py
* Images
* Bug fixes
* Update pyproject.toml
* Bug fixes
* Update _utils.py
* Update _utils.py
* Deprecation fix
* Update chat_templates.py
* Now permitting use of pre-installed llama.cpp (#763)
* Now permitting use of pre-installed llama.cpp
* Update save.py
---------
Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update save.py
* Deprecation & compile
* typo
* Update chat_templates.py
* Update chat_templates.py
* train_on_responses_only
* Update llama.py
* Update llama.py
* Update save.py
* Update gemma2.py
* Flex Attention
* typos
* Update _utils.py
* Update llama.py
* Update __init__.py
* Update flex_attention.py
* Update llama.py
* Update llama.py
* emulation
* Update __init__.py
* Update rope_embedding.py
* Update flex_attention.py
* Update flex_attention.py
* Update rope_embedding.py
* libdevice
* triton_tanh
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* score
* Update llama.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update llama.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Update flex_attention.py
* Flex Attention removal
* upload tensorboard training stats to hub if available (#773)
* causal_mask
* Update llama.py
* Update llama.py
* Update flex_attention.py
* Update _utils.py
* Update mapper.py
* Update _utils.py
---------
Co-authored-by: pepistrafforello <pepi.strafforello@gmail.com>
Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
Co-authored-by: Sébastien De Greef <sebdg@binarycompany.com>
|
2024-07-18 10:51:10 -07:00 |
|
Daniel Han
|
d5d427a7aa
|
Chat templates
|
2024-07-15 14:36:44 -07:00 |
|
Daniel Han
|
7b3b216fd3
|
Train on responses only (#770)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Check exec, eval
* Update _utils.py
* Update _utils.py
* Images
* Bug fixes
* Update pyproject.toml
* Bug fixes
* Update _utils.py
* Update _utils.py
* Deprecation fix
* Update chat_templates.py
* Now permitting use of pre-installed llama.cpp (#763)
* Now permitting use of pre-installed llama.cpp
* Update save.py
---------
Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update save.py
* Deprecation & compile
* typo
* Update chat_templates.py
* Update chat_templates.py
* train_on_responses_only
* Update llama.py
* Update llama.py
* Update save.py
* Update gemma2.py
---------
Co-authored-by: pepistrafforello <pepi.strafforello@gmail.com>
Co-authored-by: Giuseppe Strafforello <giuseppe.strafforello@titantechnologies.com>
|
2024-07-14 22:41:04 -07:00 |
|
Daniel Han
|
b9beb12b18
|
Many bug fixes (#754)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Check exec, eval
* Update _utils.py
* Update _utils.py
* Images
* Bug fixes
* Update pyproject.toml
* Bug fixes
* Update _utils.py
* Update _utils.py
|
2024-07-10 01:59:06 -07:00 |
|
Daniel Han
|
83e0568cee
|
Update llama.py
|
2024-07-08 10:44:19 -07:00 |
|
Daniel Han
|
67d24d12cf
|
Update llama.py
|
2024-07-08 10:38:49 -07:00 |
|
Daniel Han
|
b7f9c9e330
|
Update _utils.py
|
2024-07-08 10:01:20 -07:00 |
|
Daniel Han
|
24b2928637
|
Update llama.py
|
2024-07-07 15:46:36 -07:00 |
|
Daniel Han
|
ee4232759d
|
Nightly (#744)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Check exec, eval
* Update _utils.py
* Update _utils.py
|
2024-07-07 10:22:59 -07:00 |
|
Daniel Han
|
1e35bf2abd
|
Merge branch 'main' of https://github.com/unslothai/unsloth
|
2024-07-07 09:49:55 -07:00 |
|
Daniel Han
|
91f958cf3b
|
Update _utils.py
|
2024-07-07 09:49:45 -07:00 |
|
Daniel Han
|
b1002ba236
|
Fix exec, eval (#743)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update cross_entropy_loss.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Update rms_layernorm.py
* Check exec, eval
|
2024-07-07 09:33:01 -07:00 |
|
Daniel Han
|
c6c6eb132f
|
Update llama.py
|
2024-07-06 23:59:03 -07:00 |
|
Daniel Han
|
4e9a343260
|
Debugging (#739)
* Update gemma2.py
* Update llama.py
* Update llama.py
* Update gemma2.py
* init
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* All RoPE Scaling support
* cleanup
* Update llama.py
* Update llama.py
* Update _utils.py
* Update _utils.py
* exec
* exec
* Attention_Module
* attention_module
* imports
* exec
* Update llama.py
* Update llama.py
* boolean mask
* revert masking
* Update llama.py
* Update save.py
* Update llama.py
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update utils.py
* retry
* Update gemma2.py
* Update gemma2.py
* Update gemma2.py
* Update _utils.py
* Update _utils.py
* Update gemma2.py
* Update chat_templates.py
* Gemma 2 Ollama support
* Update llama.py
* Update llama.py
* error handling
* Update _utils.py
* Update _utils.py
* Stats for debugging
* Update _utils.py
* Update _utils.py
* Debugging
* Update tokenizer_utils.py
* Update _utils.py
|
2024-07-06 18:50:00 -07:00 |
|