在模型构建中避免社会歧视

我有一些问题来自亚马逊最近的招聘丑闻，在那起丑闻中，他们被指控在招聘过程中歧视妇女。更多信息在这里：

Amazon.com Inc.的机器学习专家发现了一个大问题：他们的新招聘引擎不喜欢女性。
自2014年以来，该团队就一直在构建计算机程序来审查求职者的简历，以机械化寻找顶尖人才的目标
……该公司的实验性招聘工具使用人工智能为求职者提供了1到5星的评分……
但到2015年，公司意识到其新系统并未以性别中立的方式对软件开发人员职位和其他技术职位的候选人进行评级。
那是因为亚马逊的计算机模型经过培训，可以通过观察十年来提交给公司的简历中的模式来审查申请人。大多数人来自男性，这反映了整个科技行业中男性的主导地位。（有关技术领域性别崩溃的图表，请参阅：此处）实际上，亚马逊的系统告诉自己，男性候选人更可取。它对包括“妇女”一词的简历进行了惩罚，例如“妇女的象棋俱乐部队长”。知情人士说，这降低了两所女子大学的毕业生的等级。他们没有指定学校的名称。
亚马逊对程序进行了编辑，以使其对这些特定条款保持中立。知情人士说，但这不能保证机器不会设计出其他方法来对候选人进行分类，这可能会造成歧视。
西雅图公司最终在去年年初解散了团队，因为高管对该项目失去了希望
……公司的实验……提供了有关机器学习局限性的案例研究。
……在卡内基梅隆大学（Carnegie Mellon University）教授机器学习的Nihar Shah等计算机科学家表示，还有许多工作要做。
他说：“如何确保算法是公平的，如何确保算法是真正可解释和可解释的-仍然相距甚远。”

MASCULINE LANGUAGE
[Amazon]在亚马逊的爱丁堡工程中心成立了一个团队，该团队已经发展到大约十二个人。知情人士说，他们的目标是开发可以迅速爬网并找到值得招聘候选人的AI。
该小组创建了500个针对特定工作职能和位置的计算机模型。他们教会每个人识别过去候选人履历中出现的大约50,000个术语。这些算法学到的知识对IT申请人常见的技能几乎没有什么意义，例如编写各种计算机代码的能力……
相反，该技术偏爱应聘者使用在男性工程师的简历中更常见的动词来形容自己的候选人，例如一位人士说，“被处决”和“被俘”。

假设我想建立一个统计模型来预测个人数据的一些输出，例如帮助您招募新人的五星级评级。假设我也想避免性别歧视，这是一种道德约束。给定除性别以外两个完全相等的配置文件，模型的输出应相同。

1. 我应该使用性别（或与之相关的任何数据）作为输入并尝试纠正其影响，还是避免使用这些数据？

2. 如何检查是否存在性别歧视？

3. 如何为统计上可区分但我出于道德原因不想成为模型的数据更正我的模型？

本文提供了一个很好的概述，特别是在基于语言的模型中如何克服性别偏见：男人是计算机程序员，女人是家庭主妇？去偏词嵌入-Bolukbasi等。等 。一个不错的博客摘要可以在这里找到：

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

您可以在此处找到更大的资源汇编：

https://developers.google.com/machine-learning/fairness-overview/

您可以在上述链接中找到许多技巧，以减轻性别偏见。一般来说，它们分为三类：

1）对数据进行过采样/过采样。这是为了对高质量的女性简历进行过度采样，而对男性简历进行采样不足。

2）减去“性别子空间”。如果您的模型存在性别偏见，则可以通过使用简历嵌入直接预测性别来证明这一点。建立了这样的辅助模型后（甚至只是采样了属于任一性别的通用术语，然后应用PCA），您实际上可以从模型中减去该维度，将简历归一化为与性别无关。这是Bolukbasi论文中使用的主要技术。

3）对抗学习。在这种情况下，您尝试通过尝试生成更多版本的高质量女性履历来生成其他数据，这些版本在其他方面与真实履历没有区别。

这不是您问题的答案，只是一些想法太长而无法在评论中显示。

我认为在考虑这些问题时，我们必须考虑的一个问题是，每个模型都可以进行区分，并且它们将基于数据中存在的任何关联来进行区分。可以说，这就是预测模型的全部目的。例如，男人比女人真正犯罪的可能性更大，因此，几乎任何能够获取此信息的模型都可以得出这样的推论。

但这并不意味着我们应该部分地根据性别对某人定罪，即使一个人通常看起来更有可能犯罪（其他条件相同）。相反，在做出此类决定时，我们应要求提供直接的犯罪证据，而不是单纯的关联信息。再举一个例子：生病可能性更高的人真的应该支付更高的保险费吗？

因此，当涉及歧视时，我认为该问题更多地涉及道德应用，而不是模型本身是不公平的。如果我们担心在给定情况下使用模型时会长期存在歧视或其他不公平的结果，那么也许我们不应该使用模型。

我曾经参与一个项目，以开发软件管理最佳实践。我在该领域观察了大约五十个软件团队。我们的样本大约有77个，但最终看到了大约100个团队。除了收集有关证书，学位等方面的数据外，我们还收集了各种心理和人口统计数据。

软件开发团队具有非常重要的自我选择效果，尽管与性别无关，但与性别密切相关。另外，管理者倾向于自我复制。人们聘请他们自己熟悉的人，他们自己最舒适。也有证据表明，人们在认知上有偏见。想象一下，作为一名经理，我非常重视在工作开始时及时到达。然后，我将对此进行评分。另一个只关心工作完成的经理可能会对完全不同的重要事情给予评价。

您注意到男人使用语言的方式不同，但是具有不同性格的人使用语言的方式也确实如此。族裔语言用法也可能有所不同，例如，目前在哈佛大学和亚洲学生入学方面的争议。

现在，您假设软件公司歧视女性，但是您尚未考虑到软件开发行业中正在发生的另一种性别歧视形式。当您控制诸如证书，学位，任期等客观条件时，普通女性的收入比普通男性高40％。世界上存在三种就业歧视根源。

首先是经理或所有者不希望基于某些功能雇用某人。第二个问题是，同事不希望与具有该功能的人员一起工作。第三是客户不希望拥有功能的人。看来工资歧视是由客户触发的，因为工作产品不同，而且从客户的角度来看也更好。这种相同的特征导致男性牙科保健员的薪水低于女性。从世界足球工资的“偏向此处出生”的偏见中也可以看出这一点。

最好的控制方法是了解您的数据和所涉及的社会力量。任何使用自己的数据的公司都倾向于自我复制。那可能是一件好事，但也可能使他们对工作中的力量视而不见。第二个控件是了解您的目标功能。利润可能是一个好功能，但它可能是一个坏功能。选择目标损失函数时会发挥作用。最后，还有一个问题是根据人口统计数据测试数据，以确定是否发生了不幸的歧视。

最后，这在诸如AI之类的大问题中，您无法获得良好的解释统计，您将需要控制Yule的悖论。经典的历史例子是1973年，伯克利大学录取了44％的男性，而1973年录取了35％的女性。这是一个巨大的差异，并且具有统计意义。这也是一种误导。

这显然是可耻的，因此大学决定考虑哪些是冒犯性的专业。好吧，事实证明，当你控制专业时，在统计学上偏向于录取女性。在八十五名专业中，六名偏向女性，四名偏向男性，其余的并不重要。不同之处在于，女性申请的是竞争最激烈的专业，而这两种性别都很​​少进入。男性更倾向于申请竞争力较低的专业。

尤尔悖论的加入为辨别创造了更深的层次。想象一下，不是按性别测试，而是按工作类型进行了性别测试。您可能通过了全公司的性别中立测试，但在任务级别上失败了。想象一下，只有VV招募女性，而系统管理招募男性。您看起来会保持性别中立，但事实并非如此。

一种可能的解决方案是使用具有不同客观标准的“良好”来运行竞争性AI。目标是扩大网络，而不是缩小网络。这也可以帮助避免管理文献中的另一个问题。尽管有3％的男性是社交病患者，但随着您越走越远，这个数字就会大大增加。您不想过滤社交病。

最后，您可能不想考虑将AI用于某些类型的头寸。我现在正在找工作。我也确信自己被过滤掉了，而且还没有弄清楚如何解决它。我坐在一个非常具有破坏性的新技术上。问题是我的作品与魔术字不符。相反，我有下一组神奇的单词。现在，我对一家合适的公司来说是一笔不小的财富，但是在我申请的一个案例中，不到一分钟我就自动接受了减记。我有一个朋友担任联邦机构的CIO。他申请了一份招聘经理正在等待他的申请通过的工作，因此他几乎可以得到这份工作。因为过滤器阻止了它，所以它从未通过。

这设置了AI的第二个问题。如果我可以从亚马逊招聘的在线简历中得出答案，那么我可以用我的简历来形容。确实，我现在正在处理我的简历，以使其适合非人为过滤器。我还可以从招聘人员的电子邮件中得知，我的简历的某些部分正在放大，而其他部分则被忽略了。好像招聘和招聘过程已被Prolog之类的软件接管了。满足逻辑约束？是! 这是最佳候选者或一组候选者。他们是最优的吗？

您的问题没有预先建立的答案，只有可以解决的问题。

为了建立这样的模型，重要的是首先了解歧视和过程结果的一些基本统计方面。这就需要了解根据特征对对象进行评分的统计过程。特别是，它需要了解出于决策目的使用某种特性（即歧视）与对该特性进行过程结果评估之间的关系。我们首先注意以下几点：

• 当在决策过程中使用变量时（不仅在结果与该变量相关时），就会发生歧视（就其正确的意义而言）。正式地，如果过程中的决策函数（即本例中的等级）是该变量的函数，则我们就该变量进行区分。

• 即使没有对该变量的歧视，也经常会发生关于特定变量的结果差异。当决策函数中的其他特征与排除的变量相关时，就会发生这种情况。在排除变量是人口统计学变量（例如，性别，种族，年龄等）的情况下，与其他特征的相关性是普遍存在的，因此，预期在各个人口统计学结果之间存在差异。

• 可以尝试通过平权行动来减少跨人口群体的结果差异，这是一种歧视形式。如果某个变量的处理结果存在差异，则可以通过使用该变量作为决策变量（即，通过区分该变量）来缩小那些差异，从而有利于“代表性不足”的组（即，在决策过程中正面结果所占比例较低的群体）。

• 您不能同时拥有这两种方法-您要么想要避免针对特定特征的歧视，要么想要针对该特征来均衡过程结果。如果您的目标是“纠正”与特定特征有关的结果差异，那么不要自欺欺人，您正在做的事情是为了正当行动而歧视。

一旦了解了统计决策流程的这些基本方面，就可以制定出这种情况下的实际目标。特别是，您将需要决定是否要使用非歧视性流程，这可能会导致各组之间的结果差异，或者您是否需要一种旨在产生相同流程结果的歧视性流程（或与此类似的结果）。从伦理上讲，这个问题模仿了关于非歧视与平权行动的辩论。

假设我想建立一个统计模型来预测个人数据的一些输出，例如帮助您招募新人的五星级评级。假设我也想避免性别歧视，这是一种道德约束。给定除性别以外两个完全相等的配置文件，模型的输出应相同。

很容易确保模型给出的等级不受您要排除的变量（例如性别）的影响。为此，您需要做的就是删除该变量作为模型中的预测变量，以便在评级决策中不使用它。这将确保除了变量之外，两个完全相等的配置文件被视为相同。然而，这将不会必然确保模型不与该排除的变量相关联的另一个变量的基础上区分，并且它一般不会导致一些两性之间相等的结果。这是因为性别与许多其他特征相关，这些特征可能会在模型中用作预测变量，因此，即使没有歧视，我们通常也会期望结果不平等。

关于这个问题，在固有的性别特征（例如站立的小便）特征与仅与性别相关的特征（例如具有工程学程度）之间进行区分是有用的。如果要避免性别歧视，通常需要删除性别作为预测变量，并删除您认为是固有的性别特征的任何其他特征。例如，如果碰巧应聘者指定他们撒尿是站着还是坐着，那么该特征并不严格等同于性别，但是一种选择可以有效地确定性别，因此您可能会删除该特征作为模型中的预测变量。

1. 我应该使用性别（或与之相关的任何数据）作为输入并尝试纠正其影响，还是避免使用这些数据？

正确正确的是什么？当您说“纠正其影响”时，我将假设您的意思是您正在考虑“纠正”与性别相关的预测因素导致的结果差异。如果是这样，并且您使用性别来尝试纠正结果差异，那么您正在有效地采取平权行动 -即，您正在对模型进行编程以对性别进行积极的歧视，以期使结果更加接近。是否要执行此操作取决于模型中的道德目标（避免歧视与获得均等的结果）。

2. 如何检查是否存在性别歧视？

如果您是在谈论实际的歧视，而不是仅仅在结果上存在差异，那么这很容易约束和检查。您要做的就是以不使用性别（和固有性别特征）作为预测变量的方式来制定模型。计算机无法根据您没有输入到其模型中的特征来做出决策，因此，如果您对此有控制权，则检查不存在歧视应该非常简单。

当您使用机器学习模型试图自行找出相关特征时，事情会变得有些困难。即使在这种情况下，您也应该可以对模型进行编程，以使其排除您指定要删除的预测变量（例如性别）。

3. 如何为统计上可区分但我出于道德原因不想成为模型的数据更正我的模型？

当您引用“统计上可区分的”数据时，我假设您只是指与性别相关的特征。如果您不想要这些其他特征，则只需将它们作为模型中的预测变量删除。但是，请记住，许多重要特征可能与性别相关。当具有该特征的男性比例与具有该特征的女性比例不同时，任何二元特征都将与性别相关。（当然，如果这些比例很接近，您可能会发现它们之间的差异不是“统计上显着的”。）对于更一般的变量，非零相关性的条件也非常弱。从而，

这最多只是部分答案（或根本没有答案）。

首先要注意的是，我完全同意@dsaxton的观点：所有模型都“区分”（至少在某些歧视定义中），因为这是它们的功能。问题在于模型在汇总和平均值上起作用，并且它们基于平均值进行分配。单身人士是独一无二的，可能完全超出了预期。

示例：考虑一个简单的模型，该模型基于一个可变年龄来预测上述五星级。对于所有具有相同年龄（例如30岁）的人，它都会产生相同的输出。但是，这是一个概括。并非每个30岁的人都一样。而且，如果该模型针对不同的年龄产生不同的排名-它已经在区分人们的年龄。假设它对50岁的孩子给出了3级，对40岁的孩子给出了4级。实际上，会有很多50岁的人比40岁的人做得更好。他们将受到歧视。

1. 我应该使用性别（或与之相关的任何数据）作为输入并尝试纠正其影响，还是避免使用这些数据？

如果您希望模型在其他方面均相等的男人中返回相同的结果，则您不应在模型中包括性别。任何可能与性别相关的数据都应包括在内。通过排除此类协变量，您至少可以犯两种错误：1）假设所有男女在所有协变量中均等分布；2）如果其中一些与性别相关的协变量既与评级相关，又与性别相关，则可以通过排除它们来极大地降低模型的性能。

2. 如何检查是否存在性别歧视？

对完全相同的数据运行模型两次-一次使用“ male”，另一次使用“ female”。如果这来自文本文档，则可能会替换某些单词。

3. 如何为统计上可区分但我出于道德原因不想成为模型的数据更正我的模型？

取决于您要做什么。强制性别平等的一种残酷方式是分别对男性申请人和女性申请人运行该模型。然后从一组中选择50％，从另一组中选择50％。

您的预测很可能会受到影响-因为最好的申请者不太可能恰好包括一半的男性和一半的女性。但是您可能会在道德上没事吗？-同样，这取决于道德。我可以看到一份道德宣言，其中这种作法将是非法的，因为它也会基于性别而以另一种方式进行歧视。

亚马逊的故事表明，很难避免这种偏见。我怀疑亚马逊是否因这个问题聘用了笨蛋，或者他们缺乏技能，或者他们没有足够的数据，或者他们没有足够的AWS积分来训练更好的模型。问题在于复杂的机器学习算法非常善于学习数据中的模式，性别偏向恰恰就是这种模式。数据存在偏差，因为招聘人员（有意或无意）都偏爱男性候选人。我并不是在这里说亚马逊是一家区分求职者的公司，我敢肯定他们有成千上万的反歧视政策，而且还聘用了不错的招聘人员。这种偏见和偏见的问题在于，无论您多么努力地与之抗争，都存在。大量的心理学实验表明，人们可能宣称自己没有偏见（例如种族主义），但仍然采取有偏见的行动，甚至没有意识到这一点。但是，要回答您的问题，要使算法没有偏差，就需要从没有这种偏差的数据开始。机器学习算法学习识别并重复它们在数据中看到的模式，因此，如果您的数据记录有偏见的决策，则该算法可能会学习并放大那些偏见。

第二件事是管理数据。如果要禁止算法学习有偏见的决策，则应删除所有有助于区分兴趣组（此处为性别）的信息。这并不意味着不仅要删除有关性别的信息，还要删除所有可能导致识别性别的信息，这可能有很多事情。有很明显的姓名和照片，也有间接姓名，例如简历中的产假，还有教育（如果有人去女子学校读书怎么办？），甚至是工作经历（例如，公司的招聘人员没有偏见） ，但是如果以前的所有其他招聘人员都有偏见，那么工作历史反映了所有那些偏见的决定怎么办？），等等。如您所见，

关于问题2和问题3，没有简单的答案，而且我没有足够的能力尝试详细回答。关于社会中的偏见和偏见以及关于算法偏见的文献很多。这总是很复杂，不幸的是，没有简单的配方可以解决。像Google这样的公司都聘请了专家，他们的角色是识别和防止算法中的这种偏差。

1. 我应该使用性别（或与之相关的任何数据）作为输入并尝试纠正其影响，还是避免使用这些数据？

这个问题有几个含义，可以归结为以下几点：我想成为一名社会工程师吗？是一名维权人士，他的角色是要改变现状，因为我认为社会病了，需要治疗吗？显而易见的答案取决于这种变化是有利还是有害。例如，对“我们将从护理人员的性别平等中得到什么？”的答案？可能是因为至少有一位男性护士可以在男性中插入导尿管，并不需要多达50％的男性护士。因此，社会工程学方法研究了具有已知性别偏见的不同文化，环境和问题，并确定了从改变偏见的根本原因中获得的功能性收益。这是决策过程中必不可少的步骤。现在，问题1的答案是肯定的。也就是说，一旦确定社会需要解决，就给女性申请者加星号，或在其中加星号（见下文），但请务必谨慎，因为这是肯定行动，它本身就是歧视。一旦将AI成果确立为新的职能准则，任何AI成果都将发生变化以反映新的招聘准则。

2. 如何检查是否存在性别歧视？

很简单，在给定等级之后，进行事后分析，以查看男性和女性的等级分布并进行比较。

3. 如何为统计上可区分但我出于道德原因不想成为模型的数据更正我的模型？

事后，即事后，不可避免地要这样做。前瞻性也是必要的，但是最需要的前瞻性类型是共同努力，认真地研究社会工程师的假设。也就是说，假设（出于争论的目的，请参见下文）消除所有性别偏见在社会学上是合理的，人们只需调整女性评级以遵循与男性相同的经验分布即可。在教学业务中，这称为曲线渐变。此外，让我们假设可能不希望完全消除性别偏见（这样做可能会造成破坏性），然后可以部分消除偏见，例如，每个本地女性的成对加权平均值评级及其经过完全校正的评级，以及人们希望分配的，被认为（或经测试）危害最小和/或收益最大的权重。

仅仅通过聘用政策就无法适当地改变性别差异，因为在某些领域，女性候选人相对匮乏。例如，在波兰，2018年有14.3％的IT学生是女性，在澳大利亚有17％。一旦被录用，女性在技术密集型行业中的留任就成问题了（在技术密集型行业中担任商务职务的妇女离职率很高，女性为53％，而男性为31％。）因此，女性的工作满意度可能比单单聘用政策更重要。首先需要确定在工作场所中有特定比例的女性的切实利益，并且对此有一些暗示，例如，在2016年，在518家《福布斯》全球2000强公司中，拥有公司技术经验的女性（占16％）几乎是男性（占9％）的两倍。因此，精通技术的女性似乎比男性拥有更多的财富。从这次讨论中可以明显看出，在做出针对性别的特定假设之前，应该付出大量的努力来确定特定政策的更多全球性具体利益，而这些政策的聘用政策虽然很小，但是很重要，但可能不是最重要的。初始点。后者可能是保留员工的原因，因为离职对道德不利，并且可能是招聘中性别偏见的根本原因。

我的管理经验告诉我，即使是很小的工作产出变化（例如10-20％），对于最终消除等待名单也很有效，也就是说，由于员工数量的增加，无需通过将员工人数增加一倍来立即提高产出100％这将缩短等待列表的速度仅比较小的更改稍快一些，但随后会造成破坏性的影响，因为随后工作人员会四处站着，希望工作能够顺利进行。就是说，如果决定进行社会工程，尝试进行全面的矫正可能是有害的。这样就行不通了。尝试在帆船上进行突然的航向校正，然后可能会练习游泳课。治疗性别偏见（如果处方合适）的等效方法是只雇用女性。这样可以解决问题（并创建其他问题）。所以，

总而言之，有效的社会工程学需要对复杂情况采取整体方法，仅仅识别出可能存在的问题并不能告诉我们存在一个问题，也不能告诉我们是什么原因引起的，没有告诉我们如何纠正它，实际上它告诉我们的是，我们必须戴上思想帽。