至此环境准备完毕,可以按照项目内的数据格式和要求进行准备数据了。我这边finetune后的结果是正常的。如下:
python infer_gui.py --model_path=models/whisper-tiny-finetune 启动后界面如下: Web部署 --host指定服务启动的地址,这里设置为0.0.0.0,即任何地址都可以访问。--port指定使用的端口号。--model_path指定的Transformers模型。--num_workers指定是使用多少个线程并发推理,这在Web部署上很重要,当有多个并发访问是可...
这周又出现了gpt4all,基于 LLaMA 7B模型,采集近80万的GPT-3.5-Turbo对话数据进行finetune,效果看起来比 LLaMA 7B 要好。作者发布了他们训练好的经过量化的模型,大小3.9G,以及可以直接在PC上运行的二进制聊天程序,可以直接在各个平台运行。 然后长久以来的TODO 可以实现了,在缝合了talkGPT和GPT4All后,就有了talkG...
per_device_train_batch_size=32,# 批训练数据大小gradient_accumulation_steps=1,# 梯度累积步数learning_rate=2e-3,# 训练速率,因为是lora微调,所以不是常见finetune的2e-5warmup_steps=50,# 预热步数num_train_epochs=3,# 训练轮数evaluation
finetune.py:微调模型。 merge_lora.py:合并Whisper和Lora的模型。 evaluation.py:评估使用微调后的模型或者Whisper原模型。 infer.py:使用调用微调后的模型或者transformers上的Whisper模型预测。 infer_ct2.py:使用转换为CTranslate2的模型预测,主要参考这个程序用法。
Whisper-Finetune 微调Whisper语音识别模型是一个强大的工具,用于加速语音识别模型的训练和推理。这个工具支持无时间戳数据训练,有时间戳数据训练、无语音数据训练。这意味着它能够适应不同的数据类型和环境,从而提供更好的性能和适应性。此外,Whisper-Finetune 还提供了加速推理的功能,使得模型在处理大量数据时能够更快...
python evaluation.py --model_path=models/whisper-tiny-finetune --metric=cer 预测 执行以下程序进行语音识别,这个使用transformers直接调用微调后的模型或者Whisper原模型预测,只适合推理短音频,长语音还是参考infer_ct2.py的使用方式。第一个--audio_path参数指定的是要预测的音频路径。第二个--model_path指定的...
finetune.py 默认的language参数是Chinese,这个没有动哦。 Owner yeyupiaoling commented Sep 22, 2024 @charleybin 你微调的是中文数据集吗? jiaohuix commented Sep 22, 2024 我也是遇到了语言不准的情况,我微调多语言的数据集,微调时候language设置为None,数据集里面指定了语言: {"audio": {"path": "/...
We use the LoRA implementation from Hugging Face’speftpackage. There are four steps to fine-tune a model using LoRA: Instantiate a base model (as we did in the last step). Create a configuration (LoraConfig) where LoRA-specific parameters are defined. ...
def modelscope_finetune(params): if not os.path.exists(params.output_dir): os.makedirs(params.output_dir, exist_ok=True) # dataset split ["train", "validation"] ds_dict = ASRDataset.load(params.data_path, namespace='speech_asr') ...