TRECプレイン言語適応バイオメディカル抄録（PLABA）トラックからの教訓

科学分野:

• バイオメディカル情報学
• 自然言語処理
• 健康コミュニケーション

背景:

• 大規模言語モデル（LLM）の進歩は、複雑なバイオメディカル文献を患者や介護者にとってアクセスしやすい平易な言葉に翻訳する可能性を提供します。
• この機密性の高いドメインにおけるLLMの固有の予測不可能性と潜在的なリスクは、厳格な評価フレームワークを必要とします。

研究 の 目的:

• バイオメディカル文献を平易な言葉で適応させる研究を促進すること。
• このタスクのためのLLMシステムの高品質な評価を提供すること。

主な方法:

• 2023年から2024年のテキスト検索会議（TRC）におけるプレイン言語適応バイオメディカル抄録（PLABA）トラック。
• タスク1：400の抄録の文レベルでの書き換え。
• タスク2：300の抄録における困難な用語の特定と置き換え。
• 自動評価とバイオメディカル専門家による広範な手動評価のために、4倍の専門家によって書かれた参照セットを利用しました。

主要な成果:

• 主要なモデルは、タスク1において人間レベルの事実の正確性と完全性を示しましたが、簡潔性と簡潔性が欠けていました。
• 自動評価指標は、手動評価との相関が低いことが示されました。
• システムはタスク2での用語特定に苦労しましたが、置き換えにおける正確性、完全性、簡潔性においては優れていましたが、簡潔性は依然として課題でした。

結論:

• PLABAトラックは、バイオメディカルテキストの単純化におけるLLMの可能性を強調しました。
• LLMは依然として欠点を示しており、平易な言語への適応のためのより良い自動ベンチマークツールの必要性を強調しています。