ロブソン基準と産科機関のマニュアルアノテーション:アノターター間協定と最初のNERモデルの実装

科学分野:

• 医療情報学
• 産婦人科
• 自然言語処理

背景:

• ロブソン基準を用いた分娩の正確な分類は,産婦人科の管理と研究に不可欠です.
• 電子医療記録 (EHR) から手動で関連情報を抽出することは時間がかかり,エラーが起こりやすい.
• 情報の抽出のための自動化された方法の開発は,産科データの分析の効率と一貫性を向上させることができます.

研究 の 目的:

• 産科の変数,薬,結果を含むロブソン基準分類のための手動で注釈されたデータセットを作成します.
• 産科 EHR から情報を抽出するための様々な名前付きエンティティ認識 (NER) モデルを訓練し,評価する.
• 伝統的な機械学習とディープラーニングのアプローチを含む異なるNERモデルのパフォーマンスを比較する.

主な方法:

• ロブソン基準に関連した実体に対して,電子医療記録 (EHR) の1,865のデータセットが手動で注釈されました.
• 評価者間の合意はF1とKappaのスコアを使用して評価され,高い信頼性を得ました (F1: 0. 86- 0. 93,Kappa: 0. 89- 0. 94).
• いくつかのNERモデル (CRF,BERT,RoBERTa,XLM-RoBERTa,Llama 3.1-8B-Instruct) は23ラベルと46ラベルのスキームで訓練され評価されました.

主要な成果:

• 条件付きランダムフィールド (CRF) モデルは最高精度 (0.69-0.74) を達成した.
• RoBERTaとXLM- RoBERTaモデルは,両方のラベルスキームで優れたリコール (0. 70 - 0. 76) とF1スコア (0. 65 - 0. 72) を示しました.
• ディープラーニングモデル,特に RoBERTa と XLM-RoBERTa は,全体的な情報抽出の精度において従来の方法を上回りました.

結論:

• 開発された注釈されたデータセットは,産科におけるNERモデルの訓練と評価のための貴重なリソースです.
• RoBERTaやXLM-RoBERTaのような高度なディープラーニングモデルは,EHRから産科情報の自動抽出に有効です.
• この研究は,ロブソン基準分類と産科研究のためのより効率的で正確なデータ分析を促進します.