エンティティと関係抽出のためのハードプロンプトされたLLMにおける一貫性-正確性相関:植物保健データからの経験的発見
Xinzhi Yao1,2, Claire Nédellec3, Jingbo Xia2
1National Research Institute for Agriculture, Food and Environment, University Paris-Saclay, MaIAGE, Jouy-en-Josas, France.
Genomics & informatics
|February 11, 2026
まとめ
大型言語モデル (LLM) は,情報抽出 (IE) の正確性と一貫性が異なることを示しています. 出力安定性を測定する一貫性は,重要な信頼性指標であり,特に表面的な変動よりも意味論的な意味を考えるときに重要です.
科学分野:
- 自然言語処理 (Natural Language Processing) とは,自然言語処理で処理された言語を処理する.
- 人工知能 (AI) とは,人工知能 (AI) のことです.
- 情報抽出 情報抽出
背景:
- 大型言語モデル (LLM) は,情報抽出 (IE) のためにますます使用されています.
- LLMの出力の安定性と信頼性について懸念があります.
- 一貫性は,信頼性を評価するための正確性を補完するために提案されたメトリックです.
研究 の 目的:
- エンティティと関係抽出のための生成的なLLMの正確性と一貫性との関係を調べる.
- 文義的なレベルで一貫性を評価し,復元可能と重要な出力変動を区別する.
- 異なるタスクの複雑性における正確性-一貫性相関のモデル依存の変動を評価する.
主な方法:
- 4つのLLM (GPT,DeepSeek,Qwen,Kimi) の体系的な評価は,EPOPの植物保健コーパスに含まれています.
- エンティティと関係抽出のためのハードプロンプトされた生成型LLMの適用.
- 復元可能と臨界の出力変動を区別して,一貫性解釈を洗練する.
主要な成果:
- 精度と一貫性の間のモデル依存の正の相関が観察されました.
- この相関関係は,情報抽出作業の複雑さによって変化した.
- セマンティックレベルの一貫性測定は,表面的な変動を無視して,構造化された予測タスクに不可欠です.
結論:
- 一貫性は,IEにおけるLLMの信頼性の重要な指標であるが,必ずしも完全に相関しているわけではない.
- 正確な評価を行うには,意味学的なレベルで一貫性を測定することが不可欠です.
- 発見は,自信フィルターとしての自己一貫性の使用と,専門分野における信頼性の高い生成型IEパイプラインの設計にインパクトを与える.
キーワード:
精度 精度 精度 精度一貫性 一貫性とは文書レベルの情報抽出 文書レベルの情報抽出大型言語モデル評価植物保健 植物保健についてプロンプティング (Prompting) とはリレーショナル情報抽出 リレーショナル情報抽出さらに関連する動画
関連する概念動画
Correlation of Experimental Data
491
Dimensional analysis simplifies complex physical problems and guides experimental investigations, but it does not provide complete solutions. It identifies the dimensionless groups that influence a phenomenon, but experimental data is needed to establish the specific relationships and validate theoretical predictions.
For example, a spherical particle moving through a viscous fluid experiences drag. Dimensional analysis shows that the drag force depends on the particle's diameter, velocity,...
For example, a spherical particle moving through a viscous fluid experiences drag. Dimensional analysis shows that the drag force depends on the particle's diameter, velocity,...
491
Correlations
36.6K
Correlation means that there is a relationship between two or more variables (such as ice cream consumption and crime), but this relationship does not necessarily imply cause and effect. When two variables are correlated, it simply means that as one variable changes, so does the other. We can measure correlation by calculating a statistic known as a correlation coefficient. A correlation coefficient is a number from -1 to +1 that indicates the strength and direction of the relationship between...
36.6K
Plant Tissue Culture
40.8K
Plant tissue culture is widely used in both primary and applied science. Applications range from plant development studies to functional gene studies, crop improvement, commercial micropropagation, virus elimination, and conservation of rare species.
40.8K
Uncertainty in Measurement: Accuracy and Precision
104.7K
Scientists typically make repeated measurements of a quantity to ensure the quality of their findings and to evaluate both the precision and the accuracy of their results. Measurements are said to be precise if they yield very similar results when repeated in the same manner. A measurement is considered accurate if it yields a result that is very close to the true or the accepted value. Precise values agree with each other; accurate values agree with a true value.
104.7K
Improving Translational Accuracy
15.0K
Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...
15.0K
Correlation and Causation
42.9K
Statistical tests can calculate whether there is a relationship, or correlation, between independent and dependent variables. An indirect relationship of the variables signifies a correlation, while a direct relationship shows causation. If it is determined that no connection exists between the variables, then the correlation is a coincidence.
Correlation versus Causation
If the dependent variable increases or decreases when the independent variable increases, there is a positive or negative...
Correlation versus Causation
If the dependent variable increases or decreases when the independent variable increases, there is a positive or negative...
42.9K


