RWKV 越大越强,而且有能力运用长 ctxlen。而且 RWKV 的算法极其简单,更适合硬件和芯片。 因此,在未来几年,我将用 RWKV 对transformer实施全方位降维打击(目前已逐步积聚资源),淘汰 transformer,成为人类所有 AI 大模型的基础架构。 另一个证据是,目前其它团队的设计,无论是state space系列,还是 Mega 这种,都在...
(NSFW)暗黑写作大模型RWKV_7b本地CPU整合包,创作小说,接入GPT-SoVITS朗读小说RWKV本地CPU推理整合包:https://pan.quark.cn/s/0e9216465d4bRWKV_7B量化模型压缩包:https://pan.quark.cn/s/fac6a5c0373a项目地址 https://github.com/v3ucn/rwkv.cpp_webui_GPT-SoVITS模型作者:https://huggingface.co/a68...
https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-EngChn-testNovel-done-ctx2048-20230317.pth(综合,中文+英文+代码) https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-Chn-testNovel-664-ctx2048-20230327.pth(纯中文,但可能更网文风) RWKV在正...
接入GPT-SoVITS-V2(NSFW)RWKV_7b角色扮演整合包:https://pan.quark.cn/s/0e9216465d4b原项目地址:https://github.com/shengxia/RWKV_Role_Playing修改版项目地址 https://github.com/v3ucn/RWKV_Role_Playing_with_GPT-SoVITS
(NSFW)RWKV_7B大语言量化模型A大出品,在线写小说,Colab cpu云端推理,小说续写,场景续写Colab笔记地址:https://colab.research.google.com/drive/1_qS6n6QCOEg0yRDC608sm1AfkOSu33No?usp=sharing模型和脚本作者:https://huggingface.co/a686d380 发表于:...
近日,又有一个新的语言模型出现了,即 7.52B 参数 Eagle 7B,来自开源非盈利组织 RWKV,其具有以下特点: 基于RWKV-v5 架构构建,该架构的推理成本较低(RWKV 是一个线性 transformer,推理成本降低 10-100 倍以上); 在100 多种语言、1.1 万亿 token 上训练而成; ...
写作大模型RWKV本地GPU整合包,支持3B和7B - 刘悦的技术博客于20240414发布在抖音,已经收获了3662个喜欢,来抖音,记录美好生活!
即日起，全球开发者和研究者能够通过Hugging Face或wisemodel平台获取并开始使用RWKV-5-World 7B模型。根据公布的测试结果，对比众多同为7B参数的模型，RWKV-5 7B的多语言表现处于领先地位，英文性能获巨大提升。目前的英文性能测试中，Mistral-7B模型和Llama2模型表现较好，为了跨越Llama2性能线并接近Mistral性能线，RW...
RWKV-5-World-7B模型是 RWKV 第五代架构7B参数大模型,也是RWKV迄今为止多语言性能最强的开源大模型,已经在始智AI wisemodel.cn开源社区发布。根据性能评测数据显示,在100% attention-free和只训练1.1T tokens的前提下,RWKV-5 7B模型的多语言性能超过Mistral,英文性能看齐LlaMa2。RWKV-v5架构模型能力指标接近Llama...
膜拜神贴，后面的请保持队形~