RWKV infctx trainer, for training arbitary context sizes, to 10k and beyond! - RWKV-infctx-trainer/notebook/dataset-config at main · xiaol/RWKV-infctx-trainer
RWKV-PEFT 是 RWKV 模型的微调仓库,包含 Pissa、Lisa、Lora、State tuning 等多种微调方法。 RWKV-PEFT 在 5 月更新了 infctx train、State tunin、FLA(Flash Linear Attention) 等内容,更多细节可以在仓库中查看。 RWKV-PEFT 仓库地址:https://github.com/JL-er/RWKV-PEFT 6 月动态预告 RWKV-6 14B ...
RWKV-PEFT 是 RWKV 模型的微调仓库,包含 Pissa、Lisa、Lora、State tuning 等多种微调方法。 RWKV-PEFT 在 5 月更新了 infctx train、State tunin、FLA(Flash Linear Attention) 等内容,更多细节可以在仓库中查看。 RWKV-PEFT 仓库地址:https://github.com/JL-er/RWKV-PEFT 6 月动态预告 RWKV-6 14B ...
https://github.com/RWKV/RWKV-infctx-trainerInfctx trainer https://github.com/Blealtan/RWKV-LM-LoRALoRA finetuning https://github.com/TheRamU/Fay/blob/main/README_EN.mdDigital Assistant with RWKV https://github.com/harrisonvanderbyl/rwkv-cpp-cudaFast GPU inference with cuda/amd/vulkan RW...
https://github.com/RWKV/RWKV-infctx-trainer Infctx trainer https://github.com/Blealtan/RWKV-LM-LoRA LoRA finetuning https://github.com/TheRamU/Fay/blob/main/README_EN.md Digital Assistant with RWKV https://github.com/harrisonvanderbyl/rwkv-cpp-cuda Fast GPU inference with cuda/amd/vul...
https://github.com/RWKV/RWKV-infctx-trainerInfctx trainer https://github.com/Blealtan/RWKV-LM-LoRALoRA finetuning World demo script:https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_WORLD.py Raven Q&A demo script:https://github.com/BlinkDL/ChatRWKV/blob/main/v2/benchmark_more....
Infinite ctxlen training (WIP):https://github.com/Blealtan/RWKV-LM-LoRA/tree/dev-infctx How to use RWKV hidden state as text embedding Consider RWKV 14B. The state has 200 vectors, that is, 5 vectors for each block: fp16 (xx), fp32 (aa), fp32 (bb), fp32 (pp), fp16 (xx...
最后是另一个RWKV无限上下文训练的项目,如果你有更高的训练/微调需求,可以使用此项目:https://github.com/RWKV/RWKV-infctx-trainer 你也可以在这个网址查看一些相关说明:https://github.com/SynthiaDL/TrainChatGalRWKV 由于这个项目有比较详细的介绍,这里就不多赘述了,此外RWKV-Runner已经自动进行了环境部署,你...
无限ctxlen 训练(进行中):https://github.com/Blealtan/RWKV-LM-LoRA/tree/dev-infctx 如何使用 RWKV 隐藏状态作为文本嵌入 以RWKV 14B 为例。该状态具有 200 个向量,即每个块有 5 个向量:fp16(xx)、fp32(aa)、fp32(bb)、fp32(pp)、fp16(xx)。
https://github.com/RWKV/RWKV-infctx-trainerInfctx trainer World demo script:https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_WORLD.py Raven Q&A demo script:https://github.com/BlinkDL/ChatRWKV/blob/main/v2/benchmark_more.py ...