wenda最新版(6.9)如果你使用的是GLM6B,如果你没有自己的lora模型,使用默认config.yml,在模型启动时会报以下错误 lora模型加载错误 请把config.yml配置文件中第96行注释掉 还有如果你想使用RWKV请注意你的CUDA版本,一定要使用作者提供的cuda_11.8.0_522.06,不然会报错 另外一定不要使用作者提供的chatglm-6b-int4(...
The CUDA version of the RWKV language model ( https://github.com/BlinkDL/RWKV-LM ) - RWKV-CUDA/wkv5a at main · BlinkDL/RWKV-CUDA
Added the RWKV_WKV CUDA impl and a test_case in test-backend-ops.cpp. Also added unary op exp for cuda so that the rwkv v6 graph can be less splited when running on a gpu. The kernel is modified fromhttps://github.com/BlinkDL/ChatRWKV/blob/main/rwkv_pip_package/src/rwkv/cu...
wenda最新版(6.9)如果你使用的是GLM6B,如果你没有自己的lora模型,使用默认config.yml,在模型启动时会报以下错误 lora模型加载错误 请把config.yml配置文件中第96行注释掉 还有如果你想使用RWKV请注意你的CUDA版本,一定要使用作者提供的cuda_11.8.0_522.06,不然会报错 另外一定不要使用作者提供的chatglm-6b-int4(...