图5.1 多模态知识图谱构建流程 对于文本模态,使用命名实体识别提取文本中的食材、口味、口感、菜系、烹饪方法;对于图像模态,使用目标检测提取图像中的食材信息和对应区域对文本信息进行补充。在对单个图像-文本对构建多模态知识图谱对基础上,通过相同食材、口味等信息对不同的图像-文本对进行关联,进而构建完整的菜品多模态...
构建知识图谱:根据实体、关系和特征信息构建知识图谱。可以使用图数据库(如Neo4j)来存储和查询图谱数据。将实体作为图中的节点,关系作为节点之间的边,并将特征信息与节点和边关联起来。 图谱推理和查询:利用知识图谱进行推理和查询。可以使用图谱查询语言(如Cypher)进行复杂的查询操作,从图谱中获取相关的多模态知识。 应...
我们的系统接受原始的多模态输入(如文本、图像和视频),并生成一个以有意义的方式连接实体、事件和关系的知识图谱。我们的项目是DARPA资助的Active Interpretation of Disparate Alternatives (AIDA)项目的一部分,该项目旨在自动建立一个知识库,可以通过查询来战略性地生成关于一个事件的不同方面的假说。我们作为TA1团队参...
与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好地表示和应用能力。为了深入研究多模态知识图谱,首先对多模态知识图谱价值及类别进行了详细地分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术...
嘉宾1:漆桂林,东南大学教授,AI ProCon 2020 「知识图谱与认知智能」论坛出品人,议题为《多模态知识图谱技术进展与应用》 首先,漆教授先带领大家了解 从 2004 年至今,多模态技术及相关技术的发展历程。 直到2013 年 NEIL:Image Knowledge Miner 出现前,无论是语义网还是 ImageNet,严格意义上来说都不算多媒体技术领...
任务1的重点是识别食材并在图像中标注准确的位置信息,任务2旨在研究图像与食材组成之间的复杂关系。对于任务1,我们使用现有目标检测模型在CMIngre数据集上进行微调,构建有关中国菜品理解的新基准;对于任务2,我们在现有跨模态检索方法的基础上,提出了一些创新性的做法,填补了有关中国菜品食材粒度理解的空白。
基于多模态信息抽取的菜品知识图谱构建,美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作,利用
但在局部视角,部分菜品知识属性受限于获取信源单一、挖掘技术难度大等原因导致知识覆盖不足,例如烧烤/火锅品类准确率仅63.6%,食材属性覆盖率67.5%,口味属性覆盖率11.9%,影响支持业务精细化、智能化的运营需求。 为了提升菜品知识的覆盖,我们提出一套构建多模态知识图谱的流程,分别从文本和图像两个模态获取菜品知识。