另外项目最后还支持CTranslate2加速推理和GGML加速推理,提示一下,加速推理支持直接使用Whisper原模型转换,并不一定需要微调。支持Windows桌面应用,Android应用和服务器部署。 支持模型 openai/whisper-tiny openai/whisper-base openai/whisper-small openai/whisper-medium openai/whisper-large openai/whisper-large-v2 opena...
modelNames = []string{"ggml-tiny.en", "ggml-tiny", "ggml-base.en", "ggml-base", "ggml-small.en", "ggml-small", "ggml-medium.en", "ggml-medium", "ggml-large-v1", "ggml-large"} modelNames = []string{"ggml-tiny.en", "ggml-tiny", "ggml-base.en", "ggml-base...
./main -f samples/jfk.wav #也可以 ./main -m models/ggml-large-v3.bin -l zh -f ../../test/output.wav 观察Jtop页面,CPU占用率一直会很高,过了一会就能完成转录。但是CPU转录太慢,我们还需要使用GPU加速。 4、编译与运行(GPU) 之前的main可执行文件是不支持GPU加速的,转录速度非常慢,因此使用如...
My conclusion is that V3 ggml is either not ready yet or it requires a pretty different strategy to decode than we do currently. So if it comes, you will have to wait some months for it i fear. u may check another project that now supports large v3 model,which is https://colab.res...
1.WhisperKit CoreML:这个组件是核心,它使得在Apple设备上轻松运行Whisper模型成为可能。 2.WhisperKit Tools:这是一套强大的工具集,用于高级定制,如模型微调,让Whisper更适应特定的口音或领域。 3.TestFlight for WhisperKit:提供了beta测试平台,让开发者在应用发布前就能广泛测试其性能和稳定性。
支持Tiny(仅限英语)、Tiny、Base、Small、Medium和Large(V2和V3)模型 添加您自己的自定义GGML模型 通过Whisper将音频文件翻译成另一种语言(使用Medium或Large模型,结果可能不完美,我正在研究更高级的方法来实现这一点) 通过添加您自己的(免费的)DeepL API密钥翻译整个转录 ...
whisper.cpp 项目采用 c++ 语言以及 ggml 张量计算库对 whisper 模型进行了重新实现,whisperDesktop 则对whsiper.cpp 的成果进行了进一步利用,采用 Direct3D 11 着色渲染器作为后端计算器,在兼容更多设备的同时,做到了高速、准确的语音识别,同时还支持了实时录音实时转写——即对音频流的支持。
大型模型对应的是 ggml-large-v1.bin 文件,点击右面的下拉箭头图标下载模型: 模型下载完之后,可以将文件放入和 WhisperDesktop.exe 相同目录之下: 然后双击 WhisperDesktop.exe, 首先是要指定模型地址,我的电脑显卡独立内存有12GB,所以我选择的是大型模型。如果大家自己电脑配置较低的话,可以选择 ggml-medium.bin ...
当然,精确度还有待提高,提高精确度可以选择large模型,但转录时间会相应增加。 苹果M芯片模型转换 基于苹果Mac系统的用户有福了,Whisper.cpp可以通过Core ML在Apple Neural Engine (ANE)上执行编码器推理,这可以比仅使用CPU执行快出三倍以上。 首先安装转换依赖: ...
业界良心OpenAI开源的[Whisper模型](https://v3u.cn/a_id_272)是开源语音转文字领域的执牛耳者,白璧微瑕之处在于无法通过苹果M芯片优化转录效率,Whisper.cpp 则是 Whisper 模型的 C/C++ 移植版本,它具有无依赖项、内存使用量低等特点,重要的是增加了 Core ML 支持,完美适配苹果M系列芯片。 Whisper.cpp的张量...