Emotion-LLaMA 是一款多模态情绪识别与推理模型，融合了音频、视觉和文本输入，通过特定情绪编码器整合信息。模型基于修改版 LLaMA，经过指令调整以提升情感识别能力。研究者构建了 MERR 数据集，助力模型训练与评估，使其能够从多场景中学习并应用于现实世界。Emotion-LLaMA 在多个数据集和挑战赛中表现优异，如在 MER202...
Emotion-LLaMA 的主要功能 多模态情绪识别:通过情绪特定的编码器无缝集成音频、视觉和文本输入,更准确地识别复杂的情绪表达。 情绪推理:在提供多模态输入(如视频片段伴随音频和文本)时,生成自然语言解释,分析数据中的面部表情、声音线索和语言内容。 数据集构建与训练支持:构建了 MERR 数据集,包含 28618 个粗粒度和 ...
Emotion-LLaMA 是一款多模态情绪识别与推理模型,融合了音频、视觉和文本输入,通过特定情绪编码器整合信息。模型基于修改版 LLaMA,经过指令调整以提升情感识别能力。研究者构建了 MERR 数据集,助力模型训练与评估,使其能够从多场景中学习并应用于现实世界。 Emotion-LLaMA 在多个数据集和挑战赛中表现优异,如在 MER2024 ...
Emotion-LLaMA 是一款多模态情绪识别与推理模型,融合了音频、视觉和文本输入,通过特定情绪编码器整合信息。模型基于修改版 LLaMA,经过指令调整以提升情感识别能力。研究者构建了 MERR 数据集,助力模型训练与评估,使其能够从多场景中学习并应用于现实世界。 Emotion-LLaMA 在多个数据集和挑战赛中表现优异,如在 MER2024 ...
2、提出Emotion-LLaMA 模型,该模型通过情感特定编码器整合音频、视觉和文本输入。通过将特征对齐到修改后的 LLaMA 语言模型中,并采用指令微调,显著提升了情感识别和推理能力。实验结论1、与 Video-LLaMA、VideoChatGPT 等其他 MLLMs 相比,Emotion-LLaMA 在 EMER 数据集上的 Clue Overlap 和 Label Overlap 评估指标上...
> https://huggingface.co/meta-llama/Llama-2-7b-chat-hf Specify the path to Llama-2 in the model config file:# Set Llama-2-7b-chat-hf path llama_model: "/home/user/project/Emotion-LLaMA/checkpoints/Llama-2-7b-chat-hf"Specify the path to MiniGPT-v2 in the config file:# Set Mini...
Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning 📢 News [2024.09.27] 🎉🎉🎉 Our Emotion-LLaMA has been accepted at NIPS 2024! [2024.09.07] 🥉🥉🥉 We achieved third place in the MER-OV track of the MER2024 Challenge. Emotion-LLaMA is the highest...
Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning - Emotion-LLaMA/LICENSE_EULA.md at main · ZebangCheng/Emotion-LLaMA
Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning - Emotion-LLaMA/Overview.md at main · ZebangCheng/Emotion-LLaMA
Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning - Emotion-LLaMA/eval_emotion.py at main · ZebangCheng/Emotion-LLaMA