Daniel Han
|
285efeb30f
|
Update rl.py
|
2025-02-15 18:34:25 -08:00 |
|
Daniel Han
|
169dc24c1b
|
Update rl_replacements.py
|
2025-02-15 18:06:12 -08:00 |
|
Daniel Han
|
6c52a21548
|
Update rl.py
|
2025-02-15 18:03:57 -08:00 |
|
Daniel Han
|
fe3e6a7347
|
Update rl.py
|
2025-02-15 18:00:08 -08:00 |
|
Daniel Han
|
ecaf62887f
|
Update rl.py
|
2025-02-15 17:57:47 -08:00 |
|
Daniel Han
|
742450a741
|
Update rl.py
|
2025-02-15 17:48:52 -08:00 |
|
Daniel Han
|
e1130a41e3
|
Remove docs
|
2025-02-15 17:36:18 -08:00 |
|
Daniel Han
|
c0933dfb77
|
Update rl.py
|
2025-02-15 16:45:57 -08:00 |
|
Daniel Han
|
9d33dc0c44
|
No compile
|
2025-02-15 16:45:25 -08:00 |
|
Daniel Han
|
007fb5b5e1
|
Merge branch 'main' into nightly
|
2025-02-15 03:12:52 -08:00 |
|
Daniel Han
|
3428afe1e8
|
Fix weird tokenizer issue
|
2025-02-15 03:12:43 -08:00 |
|
Daniel Han
|
41f1783505
|
Update mapper.py
|
2025-02-15 02:48:36 -08:00 |
|
Daniel Han
|
dc23ef819d
|
Add GRPO metrics (#1718)
* Update llama.py
* Update llama.py
* Faster inference?
* Update llama.py
* Update llama.py
* Update utils.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mapper.py
* Fast Inference via vLLM
* Update llama.py
* Update llama.py
* Update utils.py
* Create rl.py
* PatchRL
* Update rl.py
* Update rl.py
* Update rl.py
* PatchRLStatistics
* Update rl.py
* Update rl.py
* Update rl.py
* Update utils.py
* Update utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* RL metrics
* Update rl.py
* RL metrics
* Update __init__.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update chat_templates.py
* Update mapper.py
* Fp8 cache
* Update llama.py
* Update llama.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update __init__.py
* Update loader.py
* Update rl.py
* Update rl.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Better TRL handling
* Update rl.py
* Update tokenizer_utils.py
* Auto patching
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* max seq length
* Update rl.py
* Update rl.py
* Patching
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* NEFTune
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Extra replacements
* Update rl_replacements.py
* Update rl.py
* extra RL replacements
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update _utils.py
* Update loader_utils.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* autocast
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update pyproject.toml
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update _utils.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* GRPO optimized
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Selective Log softmax
* Fix GRPO bsz
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Fix TRL
* Metrics GRPO
* Update rl_replacements.py
* Update rl_replacements.py
|
2025-02-15 02:24:01 -08:00 |
|
Daniel Han
|
af0b57d968
|
Update rl_replacements.py
|
2025-02-15 02:17:26 -08:00 |
|
Daniel Han
|
53b0b0eb7e
|
Update rl_replacements.py
|
2025-02-15 02:12:49 -08:00 |
|
Daniel Han
|
97aef045a2
|
Metrics GRPO
|
2025-02-15 02:08:33 -08:00 |
|
Daniel Han
|
8155368757
|
Merge branch 'main' into nightly
|
2025-02-15 01:56:40 -08:00 |
|
Daniel Han
|
045e94033f
|
Memory efficient GRPO, DPO etc (#1716)
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Faster inference?
* Update llama.py
* Update llama.py
* Update utils.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mapper.py
* Fast Inference via vLLM
* Update llama.py
* Update llama.py
* Update utils.py
* Create rl.py
* PatchRL
* Update rl.py
* Update rl.py
* Update rl.py
* PatchRLStatistics
* Update rl.py
* Update rl.py
* Update rl.py
* Update utils.py
* Update utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* RL metrics
* Update rl.py
* RL metrics
* Update __init__.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update chat_templates.py
* Update mapper.py
* Fp8 cache
* Update llama.py
* Update llama.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update __init__.py
* Update loader.py
* Update rl.py
* Update rl.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Better TRL handling
* Update rl.py
* Update tokenizer_utils.py
* Auto patching
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* max seq length
* Update rl.py
* Update rl.py
* Patching
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* NEFTune
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Extra replacements
* Update rl_replacements.py
* Update rl.py
* extra RL replacements
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update _utils.py
* Update loader_utils.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* autocast
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update pyproject.toml
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update _utils.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* GRPO optimized
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Selective Log softmax
* Fix GRPO bsz
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Fix TRL
|
2025-02-15 01:19:39 -08:00 |
|
Daniel Han
|
2aa65f8150
|
Fix TRL
|
2025-02-15 01:13:41 -08:00 |
|
Daniel Han
|
ad4827c6f9
|
Update rl_replacements.py
|
2025-02-14 16:08:49 -08:00 |
|
Daniel Han
|
42a576a220
|
Update rl_replacements.py
|
2025-02-14 16:03:13 -08:00 |
|
Daniel Han
|
7e4f7f92a5
|
Update rl_replacements.py
|
2025-02-14 16:01:29 -08:00 |
|
Daniel Han
|
b2e003b541
|
Update rl_replacements.py
|
2025-02-14 15:58:13 -08:00 |
|
Daniel Han
|
956df63b9e
|
Update rl.py
|
2025-02-14 15:56:05 -08:00 |
|
Daniel Han
|
fa91cc466f
|
Fix GRPO bsz
|
2025-02-14 15:32:02 -08:00 |
|
Daniel Han
|
e5c77f21e6
|
Selective Log softmax
|
2025-02-14 14:56:37 -08:00 |
|
Daniel Han
|
407011c7ba
|
Update rl_replacements.py
|
2025-02-14 04:53:06 -08:00 |
|
Daniel Han
|
2642c167b3
|
Update rl_replacements.py
|
2025-02-14 04:49:41 -08:00 |
|
Daniel Han
|
9b773201f2
|
Update rl_replacements.py
|
2025-02-14 04:45:48 -08:00 |
|
Daniel Han
|
705fd769a3
|
Update rl.py
|
2025-02-14 04:44:03 -08:00 |
|
Daniel Han
|
6d1991df1d
|
Update rl.py
|
2025-02-14 04:42:05 -08:00 |
|
Daniel Han
|
3a9b3cac9a
|
Update rl.py
|
2025-02-14 04:38:03 -08:00 |
|
Daniel Han
|
4d8cc00592
|
Update rl.py
|
2025-02-14 04:35:03 -08:00 |
|
Daniel Han
|
f0c45aa818
|
Update rl_replacements.py
|
2025-02-14 04:33:41 -08:00 |
|
Daniel Han
|
50a3b1d6d7
|
Update rl_replacements.py
|
2025-02-14 04:32:24 -08:00 |
|
Daniel Han
|
4cce7ce242
|
Update rl.py
|
2025-02-14 04:31:27 -08:00 |
|
Daniel Han
|
b94841cd75
|
GRPO optimized
|
2025-02-14 04:30:15 -08:00 |
|
Daniel Han
|
4a72130fc7
|
Merge branch 'main' into nightly
|
2025-02-13 22:18:26 -08:00 |
|
Daniel Han
|
c51f8b41db
|
Fix bugs (#1706)
* Bug fixes
* fix: flash_attn_detection_error (#1556)
* fix: flash_attn_detection_error
* Update _utils.py
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update mapper.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* dim fix
* Update _utils.py
* Torch 2.6 support
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Faster inference?
* Update llama.py
* Update llama.py
* Update utils.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mapper.py
* Fast Inference via vLLM
* Update llama.py
* Update llama.py
* Update utils.py
* Create rl.py
* PatchRL
* Update rl.py
* Update rl.py
* Update rl.py
* PatchRLStatistics
* Update rl.py
* Update rl.py
* Update rl.py
* Update utils.py
* Update utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* RL metrics
* Update rl.py
* RL metrics
* Update __init__.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update chat_templates.py
* Update mapper.py
* Fp8 cache
* Update llama.py
* Update llama.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update __init__.py
* Update loader.py
* Update rl.py
* Update rl.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Better TRL handling
* Update rl.py
* Update tokenizer_utils.py
* Auto patching
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* max seq length
* Update rl.py
* Update rl.py
* Patching
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* NEFTune
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Extra replacements
* Update rl_replacements.py
* Update rl.py
* extra RL replacements
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update _utils.py
* Update loader_utils.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* autocast
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update pyproject.toml
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update _utils.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
---------
Co-authored-by: Zhe Zhang <2631992879@qq.com>
|
2025-02-13 19:12:19 -08:00 |
|
Daniel Han
|
47892d60d7
|
Update llama.py
|
2025-02-13 19:11:38 -08:00 |
|
Daniel Han
|
2e7a3c5118
|
Update llama.py
|
2025-02-13 17:25:12 -08:00 |
|
Daniel Han
|
8c88b29d74
|
Update llama.py
|
2025-02-13 17:22:39 -08:00 |
|
Daniel Han
|
60bcf68a07
|
Update llama.py
|
2025-02-13 17:18:42 -08:00 |
|
Daniel Han
|
b53617e6cf
|
Update rl_replacements.py
|
2025-02-13 17:15:29 -08:00 |
|
Daniel Han
|
db6d4e0fb7
|
Update llama.py
|
2025-02-13 17:12:06 -08:00 |
|
Daniel Han
|
0d387cbb77
|
Update llama.py
|
2025-02-13 17:11:33 -08:00 |
|
Daniel Han
|
100f2a3242
|
Update llama.py
|
2025-02-13 17:05:04 -08:00 |
|
Daniel Han
|
a899e9a9f1
|
Update llama.py
|
2025-02-13 17:00:14 -08:00 |
|
Daniel Han
|
1e0ebd3761
|
Update rl.py
|
2025-02-13 16:47:27 -08:00 |
|
Daniel Han
|
8fa29e2751
|
Update rl.py
|
2025-02-13 16:38:21 -08:00 |
|