RWKV_JIT_ON1RWKV_CUDA_ON1RESCALE_LAYER6Loading /root/.cache/huggingface/hub/models--BlinkDL--rwkv-4-pile-14b/snapshots/5abf33a0a7aca020a5d3fc189a50e9bf17def979/RWKV-4-Pile-14B-20230313-ctx8192-test1050.pth ...
. RWKV_JIT_ON 1 RWKV_CUDA_ON 1 RESCALE_LAYER 6 Loading /root/.cache/huggingface/hub/models--BlinkDL--rwkv-4-pile-14b/snapshots/5abf33a0a7aca020a5d3fc189a50e9bf17def979/RWKV-4-Pile-14B-20230313-ctx8192-test1050.pth ... Strategy: (total 40+1=41 layers) * cuda [float16, uint...
由于torch JIT不支持带CUDA的代码段,因此拆成了三个函数: def jit_func(self, x): B, T, C = x.size() xx = self.time_shift(x) - x xxx = x + xx * self.time_maa_x # 首先将x与xx混合一次得到xxx xxx = torch.tanh(xxx @ self.time_maa_w1).view(B*T, 5, -1).transpose(0, 1...
# python convert.pyRWKV_JIT_ON1RWKV_CUDA_ON0RESCALE_LAYER6Loading /root/.cache/huggingface/hub/models--BlinkDL--rwkv-4-pile-14b/snapshots/5abf33a0a7aca020a5d3fc189a50e9bf17def979/RWKV-4-Pile-14B-20230313-ctx8192-test1050.pth ...Strategy:(total 40+1=41layers)* cuda[...
(torch.jit.ScriptModule): def __init__(self, chunk_len): super().__init__() self.chunk_len = chunk_len @torch.jit.script_method def jit_func(self, r, k, v, w, wk, wb, ws): B, T, C = r.size() H = w.size()[1] Z = self.chunk_len N = C // H r = r.view...
CUDA kernel v3 = fwd 3.4ms bwd 23ms (B-group) More test on RTX3090: pytorch = fwd 14ms bwd 65ms CUDA kernel v3 = fwd 0.8ms bwd 5.5ms How to use:python run.pyand it will compile everything for you (pip install Ninjaif you don't have it)....
用了一下RWKV本地..用了一下RWKV本地化AI,GTX 1650Ti运行4G-7B模型会爆显存,3B模型太傻了都分不清人称,AI无法理解用户输入的“你”表示AI自身。有好显卡的可以试一下高级模型。
AI_RWKV_Server-cuda 是一个创新性的AI驱动的服务器解决方案,特别优化了NVIDIA CUDA技术。该服务器利用高效的CUDA平台,将GPU计算力充分应用于RWKV (Ring-Wise Key-Value) 数据管理和服务中。它整合了RWKVAPI (Ring-Wise Key-Value API) 和 Vulkan 的图形处理能力,为高性能计算任务提供了强大的支持。 通过...
AI00 RWKV Server是一个基于RWKV模型的推理API服务器。 支持VULKAN推理加速,可以在所有支持VULKAN的GPU上运行。不用N卡!!!A卡甚至集成显卡都可加速!!! 无需臃肿的pytorch、CUDA等运行环境,小巧身材,开箱即用! 兼容OpenAI的ChatGPT API接口。 100% 开源可商用
ChatRWKV v2 https://github.com/BlinkDL/ChatRWKV Chinese - cuda fp16i8 - prompt.Chinese-2 Loading model - data/RWKV-4-Pile-7B-EngChn-test5-20230326 RWKV_JIT_ON 0 RWKV_CUDA_ON 0 RESCALE_LAYER 6 Loading data/RWKV-4-Pile-7B-EngChn-test5-20230326 ... ---OSError Traceback (mo...