人工知能は 人々の方言に基づいて 人種差別的な判断を下します
Valentin Hofmann1,2,3, Pratyusha Ria Kalluri4, Dan Jurafsky4
1Allen Institute for AI, Seattle, WA, USA. valentinh@allenai.org.
Nature
|August 28, 2024
まとめ
言語モデルには 人種差別が隠れています アフリカ系アメリカ人の英語話者に対する ネガティブなステレオタイプが 人間よりも強いのです 現在の偏見緩和技術は この隠された人種的偏見を悪化させています
科学分野:
- 人工知能
- 社会言語学
- コンピュータ科学
背景:
- 言語モデル (LMs) は広く使用されていますが,人種的偏見を永続させることが知られています.
- 以前の研究では 露骨な人種差別に焦点を当て 隠された人種差別のような 微妙な形態を無視していました
- 隠された人種差別,特に市民権後の人種差別は,社会科学の研究の発展分野です.
研究 の 目的:
- 隠された人種差別,特に方言の偏見が,大きな言語モデルに表れているかどうかを調査する.
- アフリカ系アメリカ人と アフリカ系アメリカン英語 (AAE) の話者に対する LM の隠蔽的および明白なステレオタイプを比較する.
- 現在のバイアス緩和戦略がこれらのステレオタイプに与える影響を評価する.
主な方法:
- 大規模な言語モデルに埋め込まれたステレオタイプの分析
- LMで生成されたステレオタイプと実験的に記録されたヒトのステレオタイプを比較する.
- 偏見を軽減するテクニックの評価 人間の好みのアライメント
主要な成果:
- LMは,アフリカ系アメリカ人英語 (AAE) の話者に対する重要な方言の偏見を示しています.
- AAE話者のLMのステレオタイプは,記録されたヒトのステレオタイプよりも否定的です.
- アフリカ系アメリカ人に対する オープンなステレオタイプは 逆説的に よりポジティブです
- 偏見を軽減する方法は 人間の好みのアライメントのようなもので 隠されたステレオタイプと 明らかにされたステレオタイプの格差を拡大します
結論:
- 言語モデルには 方言の偏見による隠された人種差別があり 深刻な社会的な結果をもたらす可能性があります
- 現在のバイアス緩和法は不十分で LMにおけるより深い系統的な人種差別を覆す可能性があります.
- 公正で安全なAIアプリケーションのために LMの開発と展開を緊急に再評価する必要があります.
関連する概念動画
02:55Stereotypes, Prejudice, and Discrimination
90.1K
Humans are very diverse and although we share many similarities, we also have many differences. The social groups we belong to help form our identities (Tajfel, 1974). These differences may be difficult for some people to reconcile, which may lead to prejudice toward people who are different. Prejudice is a negative attitude and feeling toward an individual based solely on one’s membership in a particular social group (Allport, 1954; Brown, 2010). Prejudice is common against people who...
90.1K
02:16Surveys
14.7K
Often, psychologists develop surveys as a means of gathering data. Surveys are lists of questions to be answered by research participants, and can be delivered as paper-and-pencil questionnaires, administered electronically, or conducted verbally. Generally, the survey itself can be completed in a short time, and the ease of administering a survey makes it easy to collect data from a large number of people.
14.7K
01:14Decision Making: Traditional Method
4.0K
The process of hypothesis testing based on the traditional method includes calculating the critical value, testing the value of the test statistic using the sample data, and interpreting these values.
First, a specific claim about the population parameter is decided based on the research question and is stated in a simple form. Further, an opposing statement to this claim is also stated. These statements can act as null and alternative hypotheses, out of which a null hypothesis would be a...
First, a specific claim about the population parameter is decided based on the research question and is stated in a simple form. Further, an opposing statement to this claim is also stated. These statements can act as null and alternative hypotheses, out of which a null hypothesis would be a...
4.0K
01:11Genetic Lingo
102.2K
Overview
102.2K
01:12Hindsight Biases
3.4K
Hindsight bias leads you to believe that the event you just experienced was predictable, even though it really wasn’t. In other words, you knew all along that things would turn out the way they did. Can you relate this to the phrase "Hindsight is 20/20" now?
3.4K
02:09Stereotype Threat and Self-fulfilling Prophecies
37.6K
When we hold a stereotype about a person, we have expectations that he or she will fulfill that stereotype. A self-fulfilling prophecy is an expectation held by a person that alters his or her behavior in a way that tends to make it true. When we hold stereotypes about a person, we tend to treat the person according to our expectations. This treatment can influence the person to act according to our stereotypic expectations, thus confirming our stereotypic beliefs. Research by Rosenthal and...
37.6K