作者：微信小助手
发布时间：2024-05-16T21:57:42
美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作，利用多模态检索实现图文食材的识别，扩展了多模态菜品食材识别的范围，提升了食材识别的准确性。该项工作提出了一个跨模态食材级数据集，该数据集提供食材及其关系有助于增强对中国烹饪的理解。介绍该工作的论文《Toward Chinese Food Understanding: a Cross-Modal Ingredient-Level Benchmark》被IEEE Transactions on Multimedia（多媒体领域权威期刊之一）收录。
1. 背景
2. 数据集
2.1 数据收集和标注
2.2 标注数据后处理
2.3 数据统计和分析
3. 方法
3.1 食材检测
3.2 跨模态食材检索
4. 实验
4.1 算法实现细节
4.2 实验结果
4.3 可视化
5. 业务应用
6. 总结
7. 作者团队简介
8. 致谢
1. 背景
中国有句古话：“民以食为天”。对食物的分析和理解，特别是识别菜肴的食材，在健康管理、卡路里计算、烹饪艺术、食物搜索等领域具有重要意义。但是，算法技术尽管在目标检测[1]-[3]、通用场景理解[4][5]和跨模态检索[6]-[8]方面取得了很大进展，却没有在食物相关的场景中取得好的表现，尤其是对烹饪菜肴的相关场景。其核心原因是缺乏细粒度食材的基准，这已经成为该领域发展的瓶颈。