用多模式聊天对饮食进行评估GPT:系统分析

科学领域:

• 营养信息学是一种营养信息学.
• 医疗保健中的人工智能
• 饮食评估技术 饮食评估技术

背景情况:

• 传统的饮食评估方法 (自我报告,采访) 是主观的,不准确的,耗时的.
• 现有的饮食评估人工智能解决方案是分散的,缺乏跨食物类型,行为和文化的概括性.
• 像GPT-4V这样的多模式基础模型显示出由于大规模的预训练,复杂任务的概括性是有希望的.

研究的目的:

• 探索GPT-4V驱动的ChatGPT的应用,用于自动化饮食评估.
• 调查快速工程和被动监测技术的有效性,使用GPT-4V进行饮食分析.
• 用现实世界饮食数据评估GPT-4V在食品检测和部分大小估计方面的性能.

主要方法:

• 利用通过可穿戴相机捕获的自我收集的,半自由生活的饮食摄入数据集.
• 使用GPT-4V (多模式ChatGPT) 来检测食物和估计部分大小.
• 应用快速工程 (例如,指定类型) 来指导GPT-4V的分析.
• 利用GPT-4V的上下文意识,用于部分大小估计中的尺度参考.

主要成果:

• GPT-4V在食品检测方面表现出高精度,即使在具有挑战性的条件下,也没有针对食品的微调.
• 快速的工程使得GPT-4V能够识别特定的区域菜 (例如,banku, ugali),而不仅仅是常见的食品.
• GPT-4V有效地使用周围的物体作为尺度参考来估计食物份额大小.
• 多式联络方法显示了全面的饮食评估的巨大潜力.

结论:

• 采用GPT-4V驱动的多式联机ChatGPT为自动饮食评估提供了强大的和可通用的解决方案.
• 这种AI方法克服了传统方法和分散的AI解决方案的关键局限性.
• 未来的应用可能包括改善营养监测,个性化饮食指导和公共卫生研究.