麻省理工AI实验室的科研人员近期发表了一篇论文,意在诘责在某些场景下应用选择性回归的行为,原因是这种技术会降低数据集中代表性不足的群体模型的整体性能。
这些代表性不足的群体通常是女性和有色人种,这种对他们的忽视招致了一些有关AI种族主义和性别歧视的报道。在一个账户中,用于风险评估的AI错误地将黑人囚犯标记为白人囚犯的两倍。在另一个案例中,没有任何背景的男性照片被认定为医生和家庭主妇的比例高于女性。
通过选择性回归,AI模型能对每个输入做出两个选择:预测或弃权。只有在对决策有信心的情况下,该模型才会做出预测,在几次测试中,通过排除无法正确评估的输入来提高模型的性能。
然则,当输入被删除时,它会放大数据集中已经存在的偏见。一旦人工智能模型被部署到现实生活中,这将招致代表性不足的群体进一步不准确,原因是它无法像在开发过程中那样删除或拒绝代表性不足的群体。最终希望确保以明智的方式考虑跨组的错误率,而不是单单最小化模型的一些广泛的错误率。
麻省理工学院的科研人员还引入了一种新技术,意在提高模型在每个子组中的模型性能。这种技术被称为单调选择性风险,一种模型没有弃权,而是包括种族和性别等敏感属性,而另一种则不包括。同时,两个模型都做出决策,没有敏感数据的模型被用作数据集中偏差的校准。
为这个特定问题提出正确的公平概念是一项挑战。不过通过执行这个标准,单调的选择风险,我们可以确保当减少覆盖范围时,模型性能事实上在所有子组中都变得更好。
当使用医疗保险数据集和犯罪数据集进行测试时,新技术能够降低代表不足的群体的错误率,同时不明显影响模型的整体性能。科研人员打算将这项技术应用到新的应用中,譬如房价、学生平均学分绩点和贷款利率,看看它能否用于其他任务。