美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作,利用多模态检索实现图文食材的识别,扩展了多模态菜品食材识别的范围,提升了食材识别的准确性。 1. 背景 中国有句古话:“民以食为天”。对食物的分析和理解,特别是识别菜肴的食材,在健康管理、卡路里...
图5.1 多模态知识图谱构建流程 对于文本模态,使用命名实体识别提取文本中的食材、口味、口感、菜系、烹饪方法;对于图像模态,使用目标检测提取图像中的食材信息和对应区域对文本信息进行补充。在对单个图像-文本对构建多模态知识图谱对基础上,通过相同食材、口味等信息对不同的图像-文本对进行关联,进而构建完整的菜品多模...
美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作,利用多模态检索实现图文食材的识别,扩展了多模态菜品食材识别的范围,提升了食材识别的准确性。该项工作提出了一个跨模态食材级数据集,该数据集提供食材及其关系有助于增强对中国烹饪的理解。介绍该工作...
为了提升菜品知识的覆盖,我们提出一套构建多模态知识图谱的流程,分别从文本和图像两个模态获取菜品知识。 对于文本模态,使用命名实体识别提取文本中的食材、口味、口感、菜系、烹饪方法;对于图像模态,使用目标检测提取图像中的食材信息和对应区域对文本信息进行补充。在对单个图像-文本对构建多模态知识图谱对基础上,通过相...
任务1的重点是识别食材并在图像中标注准确的位置信息,任务2旨在研究图像与食材组成之间的复杂关系。对于任务1,我们使用现有目标检测模型在CMIngre数据集上进行微调,构建有关中国菜品理解的新基准;对于任务2,我们在现有跨模态检索方法的基础上,提出了一些创新性的做法,填补了有关中国菜品食材粒度理解的空白。
基于多模态信息抽取的菜品知识图谱构建,美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作,利用
1.比LLM更重要的多模态学习(Part1)breezedeus~1 25:10 1.比LLM更重要的多模态学习(Part2)breezedeus 0 41:36 【整整11集】全B站最用心的知识图谱零基础教程-《基于知识图谱的智能问答项目实战》,2024最新版,带你3小时学会构建智能问答系统,附开源项目! 大模型学习资源合集 659 166 【多模态+知识图谱】...
持续优化与迭代:菜品知识图谱的构建是一个持续优化的过程。需要不断收集新的数据、更新模型、优化算法等,以提升知识图谱的准确性和实用性。 五、结语 基于多模态信息抽取的菜品知识图谱构建技术为餐饮行业带来了新的机遇和挑战。通过这一技术,我们可以更全面地理解和分析菜品信息,为健康管理、烹饪辅助、餐饮运营等领域...