視覚情報を活用したAIメディカルスクライブは、シミュレートされた服薬歴聴取における記載漏れを削減する

科学分野:

• 医療における人工知能
• 臨床文書改善
• ヒューマンコンピュータインタラクション

背景:

• 現在のAIメディカルスクライブは主に音声処理に依存しており、重要な視覚情報をしばしば見落としています。
• 服薬歴の記載は複雑であり、正確性を期すためには音声と視覚の両方のデータが必要です。

研究 の 目的:

• GoogleのGeminiモデルとスマートグラスを使用したビジョン搭載AIメディカルスクライブを開発・評価すること。
• 視覚入力の貢献に焦点を当て、服薬歴の記載精度を評価すること。

主な方法:

• Ray-Ban Metaスマートグラスを使用して、シミュレートされた服薬歴聴取のビデオ録画を行いました。
• GoogleのGeminiモデルと反復的なプロンプトエンジニアリングをAIスクライブに採用しました。
• 100件のテスト録画でスクライブのパフォーマンスを評価し、患者および薬剤固有のデータポイントを分析しました。

主要な成果:

• ビジョン搭載AIスクライブは、服薬歴の記載において全体で98%の精度を達成しました。
• ビジョン処理（98%の精度）は、音声のみの処理（81%の精度）を大幅に上回りました。
• 主な利点は、記載漏れのエラーが大幅に減少したことでした（10件 vs 358件のエラー）。

結論:

• ビジョン搭載AIメディカルスクライブは、特に視覚入力を必要とするタスクにおいて、臨床文書の精度を著しく向上させます。
• この技術は、医療文書のエラーを削減する上で大きな可能性を示しています。
• 視覚データのキャプチャを統合することで、AI駆動の臨床文書ツールの信頼性が向上します。