Daniel Han
|
af0b57d968
|
Update rl_replacements.py
|
2025-02-15 02:17:26 -08:00 |
|
Daniel Han
|
53b0b0eb7e
|
Update rl_replacements.py
|
2025-02-15 02:12:49 -08:00 |
|
Daniel Han
|
97aef045a2
|
Metrics GRPO
|
2025-02-15 02:08:33 -08:00 |
|
Daniel Han
|
8155368757
|
Merge branch 'main' into nightly
|
2025-02-15 01:56:40 -08:00 |
|
Daniel Han
|
045e94033f
|
Memory efficient GRPO, DPO etc (#1716)
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Faster inference?
* Update llama.py
* Update llama.py
* Update utils.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mapper.py
* Fast Inference via vLLM
* Update llama.py
* Update llama.py
* Update utils.py
* Create rl.py
* PatchRL
* Update rl.py
* Update rl.py
* Update rl.py
* PatchRLStatistics
* Update rl.py
* Update rl.py
* Update rl.py
* Update utils.py
* Update utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* RL metrics
* Update rl.py
* RL metrics
* Update __init__.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update chat_templates.py
* Update mapper.py
* Fp8 cache
* Update llama.py
* Update llama.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update __init__.py
* Update loader.py
* Update rl.py
* Update rl.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Better TRL handling
* Update rl.py
* Update tokenizer_utils.py
* Auto patching
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* max seq length
* Update rl.py
* Update rl.py
* Patching
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* NEFTune
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Extra replacements
* Update rl_replacements.py
* Update rl.py
* extra RL replacements
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update _utils.py
* Update loader_utils.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* autocast
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update pyproject.toml
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update _utils.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* GRPO optimized
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Selective Log softmax
* Fix GRPO bsz
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Fix TRL
|
2025-02-15 01:19:39 -08:00 |
|
Daniel Han
|
2aa65f8150
|
Fix TRL
|
2025-02-15 01:13:41 -08:00 |
|
Daniel Han
|
ad4827c6f9
|
Update rl_replacements.py
|
2025-02-14 16:08:49 -08:00 |
|
Daniel Han
|
42a576a220
|
Update rl_replacements.py
|
2025-02-14 16:03:13 -08:00 |
|
Daniel Han
|
7e4f7f92a5
|
Update rl_replacements.py
|
2025-02-14 16:01:29 -08:00 |
|
Daniel Han
|
b2e003b541
|
Update rl_replacements.py
|
2025-02-14 15:58:13 -08:00 |
|
Daniel Han
|
956df63b9e
|
Update rl.py
|
2025-02-14 15:56:05 -08:00 |
|
Daniel Han
|
fa91cc466f
|
Fix GRPO bsz
|
2025-02-14 15:32:02 -08:00 |
|
Daniel Han
|
e5c77f21e6
|
Selective Log softmax
|
2025-02-14 14:56:37 -08:00 |
|
Daniel Han
|
407011c7ba
|
Update rl_replacements.py
|
2025-02-14 04:53:06 -08:00 |
|
Daniel Han
|
2642c167b3
|
Update rl_replacements.py
|
2025-02-14 04:49:41 -08:00 |
|
Daniel Han
|
9b773201f2
|
Update rl_replacements.py
|
2025-02-14 04:45:48 -08:00 |
|
Daniel Han
|
705fd769a3
|
Update rl.py
|
2025-02-14 04:44:03 -08:00 |
|
Daniel Han
|
6d1991df1d
|
Update rl.py
|
2025-02-14 04:42:05 -08:00 |
|
Daniel Han
|
3a9b3cac9a
|
Update rl.py
|
2025-02-14 04:38:03 -08:00 |
|
Daniel Han
|
4d8cc00592
|
Update rl.py
|
2025-02-14 04:35:03 -08:00 |
|
Daniel Han
|
f0c45aa818
|
Update rl_replacements.py
|
2025-02-14 04:33:41 -08:00 |
|
Daniel Han
|
50a3b1d6d7
|
Update rl_replacements.py
|
2025-02-14 04:32:24 -08:00 |
|
Daniel Han
|
4cce7ce242
|
Update rl.py
|
2025-02-14 04:31:27 -08:00 |
|
Daniel Han
|
b94841cd75
|
GRPO optimized
|
2025-02-14 04:30:15 -08:00 |
|
Daniel Han
|
4a72130fc7
|
Merge branch 'main' into nightly
|
2025-02-13 22:18:26 -08:00 |
|
Daniel Han
|
c51f8b41db
|
Fix bugs (#1706)
* Bug fixes
* fix: flash_attn_detection_error (#1556)
* fix: flash_attn_detection_error
* Update _utils.py
---------
Co-authored-by: Daniel Han <danielhanchen@gmail.com>
* Update mapper.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* Update gemma.py
* dim fix
* Update _utils.py
* Torch 2.6 support
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Faster inference?
* Update llama.py
* Update llama.py
* Update utils.py
* Update llama.py
* Update llama.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update utils.py
* Update mapper.py
* Fast Inference via vLLM
* Update llama.py
* Update llama.py
* Update utils.py
* Create rl.py
* PatchRL
* Update rl.py
* Update rl.py
* Update rl.py
* PatchRLStatistics
* Update rl.py
* Update rl.py
* Update rl.py
* Update utils.py
* Update utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* RL metrics
* Update rl.py
* RL metrics
* Update __init__.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update chat_templates.py
* Update mapper.py
* Fp8 cache
* Update llama.py
* Update llama.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update __init__.py
* Update loader.py
* Update rl.py
* Update rl.py
* Update _utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Better TRL handling
* Update rl.py
* Update tokenizer_utils.py
* Auto patching
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update tokenizer_utils.py
* Update rl.py
* Update rl.py
* Update rl.py
* max seq length
* Update rl.py
* Update rl.py
* Patching
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* NEFTune
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Extra replacements
* Update rl_replacements.py
* Update rl.py
* extra RL replacements
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update _utils.py
* Update loader_utils.py
* Update rl.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* autocast
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update pyproject.toml
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update rl_replacements.py
* Update llama.py
* Update _utils.py
* Update llama.py
* Update _utils.py
* Update rl_replacements.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update rl.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update rl_replacements.py
* Update llama.py
* Update llama.py
* Update llama.py
* Update llama.py
---------
Co-authored-by: Zhe Zhang <2631992879@qq.com>
|
2025-02-13 19:12:19 -08:00 |
|
Daniel Han
|
47892d60d7
|
Update llama.py
|
2025-02-13 19:11:38 -08:00 |
|
Daniel Han
|
2e7a3c5118
|
Update llama.py
|
2025-02-13 17:25:12 -08:00 |
|
Daniel Han
|
8c88b29d74
|
Update llama.py
|
2025-02-13 17:22:39 -08:00 |
|
Daniel Han
|
60bcf68a07
|
Update llama.py
|
2025-02-13 17:18:42 -08:00 |
|
Daniel Han
|
b53617e6cf
|
Update rl_replacements.py
|
2025-02-13 17:15:29 -08:00 |
|
Daniel Han
|
db6d4e0fb7
|
Update llama.py
|
2025-02-13 17:12:06 -08:00 |
|
Daniel Han
|
0d387cbb77
|
Update llama.py
|
2025-02-13 17:11:33 -08:00 |
|
Daniel Han
|
100f2a3242
|
Update llama.py
|
2025-02-13 17:05:04 -08:00 |
|
Daniel Han
|
a899e9a9f1
|
Update llama.py
|
2025-02-13 17:00:14 -08:00 |
|
Daniel Han
|
1e0ebd3761
|
Update rl.py
|
2025-02-13 16:47:27 -08:00 |
|
Daniel Han
|
8fa29e2751
|
Update rl.py
|
2025-02-13 16:38:21 -08:00 |
|
Daniel Han
|
ce95b13c0a
|
Update rl.py
|
2025-02-13 16:37:05 -08:00 |
|
Daniel Han
|
4c520db499
|
Update rl.py
|
2025-02-13 16:35:09 -08:00 |
|
Daniel Han
|
680384fa57
|
Update rl.py
|
2025-02-13 16:27:23 -08:00 |
|
Daniel Han
|
81b1cc3a22
|
Update rl_replacements.py
|
2025-02-13 16:27:02 -08:00 |
|
Daniel Han
|
bf933c7661
|
Update _utils.py
|
2025-02-13 16:23:51 -08:00 |
|
Daniel Han
|
1d7d59fded
|
Update llama.py
|
2025-02-13 16:11:51 -08:00 |
|
Daniel Han
|
3ac3cd2b72
|
Merge branch 'main' into nightly
|
2025-02-13 15:14:35 -08:00 |
|
Daniel Han
|
aaa29ff83f
|
Update _utils.py
|
2025-02-13 15:14:17 -08:00 |
|
Daniel Han
|
9a19723c89
|
Update pyproject.toml
|
2025-02-13 15:13:55 -08:00 |
|
Daniel Han
|
b236867192
|
Merge branch 'main' into nightly
|
2025-02-13 15:02:56 -08:00 |
|
Daniel Han
|
34969ca1e1
|
Update rl.py
|
2025-02-13 15:02:50 -08:00 |
|
Daniel Han
|
3a25f4e02e
|
Merge branch 'main' into nightly
|
2025-02-13 14:59:59 -08:00 |
|
Daniel Han
|
3a2dbad375
|
Update _utils.py
|
2025-02-13 14:59:52 -08:00 |
|