在安装 Dao-AILab/flash-attention: Fast and memory-efficient exact attention (github.com) 的时候,总是遇到各种问题,其中最大的问题就是 CUDA 版本。很多时候 CUDA 版本没达到要求,重新安装 CUDA 太麻烦,…
conda install cuda-nvcc -c conda-forge 就能正确安装flash-attn了。 还有一些办法,例如 去网站https://github.com/Dao-AILab/flash-attention/releases下载正确版本的whl文件,再pip install *.whl。 总之,都是cuda版本的问题,请务必注意。
随笔分类 - Flash-attention 2.3.2 支持 Windows了,但是我的2080ti是不支持的。 摘要:不久前Flash-attention 2.3.2 终于支持了 Windows,推荐直接使用大神编译好的whl安装 github.com/bdashore3/flash-attention/releasesstable diffusion webui flash-attention2性能测试 安装环境阅读全文 posted @2023-12-13 15:11...
conda create 的环境不干净 (.local) 最近发现一个 bug,新建一个 conda 的环境,pip list,会有一些不知道怎么来的 python 的包,似乎是另一个环境的。 最后发现原因是这个: 一开始在 base 环境下,pip install 些东西。 但是当前用户没有 base 环境的权限,就会默认安装到了.local下, 只要是相同的 python 版本...
清理不使用的 conda 环境有助于释放磁盘空间并提高性能。使用以下模板清理 conda 环境: # list your environments to select an environment to clean conda info --envs # or conda info -e # once you've selected your environment to purge conda remove --name test-env --all # run conda environment...
YoRHaHa:flash-attention踩坑:使用conda管理CUDA63 赞同 · 28 评论文章 总结起来: 2.1 创建一个新环境,或者activate 一个老环境 2.2 安装指定 CUDA 版本,例如 11.6:conda install cudatoolkit==11.6 -c nvidia 2.3 没torch就安装支持 CUDA 的 PyTorch,老环境就跳过 2.4 安装cuda-nvcc : conda install cuda-...
以上我们安装的是 2.0.1 版本的 torch,参考:https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/10494#issuecomment-1552353339 ,因此: pip install xformers==0.0.20 否则你会在生成图像的时候会报如下错误: NotImplementedError: No operator found for `memory_efficient_attention_forward` with ...
`tritonflashattF` is not supported because: xFormers wasn't build with CUDA support requires A100 GPU `cutlassF` is not supported because: xFormers wasn't build with CUDA support `smallkF` is not supported because: xFormers wasn't build with CUDA support ...