AI发展这一年：不断衍生的技术丑闻与抵制声潮

作者 | AI Now学院

译者 | Raku

编辑 | Jane

【导读】10月2日，纽约大学AI Now学院在纽约大学斯克博剧院（Skirball Theatre）组织召开了第四届年度AI Now研讨会。研讨会邀请了业内组织者、学者和律师带来演讲，并共同登台探讨相关工作，这次研讨会围绕五大热议话题，重点探讨了AI负面影响以及不断扩大的抵制声潮。

五大热议问题：

• 面部与情感识别

• 从“AI的偏见”向公正的转变

• 城市、监控、边界

• 劳动力、工人组织与 AI

• AI 对气候的影响

第一个小组讨论了AI在警务与边境控制中的用途；第二个小组与布鲁克林的租户组织者进行了交谈，他们反对房东在建筑物中使用面部识别系统；第三个小组以民权律师为由起诉密歇根州，该小组使用了错误且有偏见的算法；最后一个小组讨论的重点是蓝领技术人员，从亚马逊仓库到演出经济驱动程序，向小组人员讲解他们在过去一年中的组织和重大成就。

AI Now联合创始人凯特·克劳福德（Kate Crawford）和梅雷迪斯·惠特克（Meredith Whittaker）以总结一年来关键时刻的简短讲话作为开场白，研讨会上有四个小组在研讨会上发表了看法，以下是他们演讲的摘录。

1、面部与情感识别

2019 年，公司和 政府都纷纷加大在公共住房、招聘和城市街道中推广人脸识别的力度。现在，一些美国航空公司甚至也用此来代替 登机牌，声称这样会更方便。

同样，情感识别也得到了更广泛的应用，通过解释面部的微表情来“读取”我们的内在情绪。正如心理学家丽莎·费尔德曼·巴 雷 特（Lisa Feldman Barret）在一份广泛的调查报告中所表明的，这类人工智能相貌学没有可靠的科学基础。但是，它已经在课堂和工作面试中，在人们不知情的情况下被使用了。

例如，乔治敦（Georgetown）隐私和技术中心获得的文件显示，未经个人同意或未经州、联邦立法者的授权，FBI和ICE一直在悄悄访问驾照数据库，对数百万张照片进行面部识别搜索。

但是今年，随着ACLU的Kade Crockford、罗切斯特理工学院的Evan Selinger和东北大学的Woodrow Hertzog等学者和组织者呼吁对严格限制使用面部识别后，选民和立法者对这项技术的使用也开始采取相应的举措。第九巡回上诉法院最近裁定，Facebook可能因未经用户许可对照片进行面部识别而被起诉，称这是对隐私的侵犯。

由于媒体正义组织（Media Justice）等组织的领导，今年5月，旧金山签署了第一个面部识别禁令，随后另外两个城市也开始禁止面部识技术的应用。并且现在有一位总统候选人承诺全国范围内的禁令；很多音乐家要求在音乐节上停止面部识别；还有一项名为《禁止生物特征住房壁垒法案》的联邦法案，其目标是在公共房屋中进行面部识别。

同样，面试识别的应用在欧洲也不顺利。英国议会委员会要求停止对面部识别的试验，直到建立法律框架为止，而且最近发现布鲁塞尔警方对这些AI工具的使用是非法的。

当然，这些改变需要大量的工作。而且还要明确一点，这不是需要完善技术或是消除偏差的问题。考虑到对监视、跟踪、逮捕的人种和收入的差异，即使是非常准确的面部识别也会产生危害。正如凯特·克劳福德（Kate Crawford）最近在《自然》杂志上写的那样——消除对这些系统的偏差并不是重点，它们“发生错误时是危险的，成功了则是有害的”。

2、从“AI的偏见”向公正的转变

今年，我们还看到了一些重要的变化，从只 关注技术层面的人工智能“去偏见”，转向对司法公正的实质性 关注。

许多令人不安的事件在一定程度上推动了这一点。

例如，密歇根州的前州长里克·斯奈德（Rick Snyder）是一位技术主管，同时也是弗林特水危机的负责人，他决定在全州范围内安装一个自动化决策系统，称为MiDAS。它旨在自动标记涉嫌福利欺诈的工人。为了削减成本，该州安装了MiDAS并解雇了整个欺诈检测部门。但事实证明，93％的时间MiDAS系统都会出错。错误地指控了40,000多名居民，从而引发了许多破产乃至自杀事件。但是，MiDAS只是紧缩政策的一部分，这些政策旨在让穷人成为替罪羊。

AI Now政策总监Rashida Richardson负责一个案例研究警察日常工作与预测性警务软件之间联系。她和她的团队发现，在美国各地的许多警察部门中，预测性警务系统可能会使用来自种族主义和腐败的警务记录。

显然，在这种情况下纠正偏差与删除数据集中的变量无关，需要改变的是警察制作数据的做法。人权数据分析小组的研究人员克里斯蒂安·卢姆（Kristian Lum）在她开创性工作“算法如何放大警务中的歧视性”问题中也表明了这一点。

最近，凯特·克劳福德（Kate Crawford）和AI Now艺术家研究员特雷弗·帕格伦（Trevor Paglen）还在他们的Training Humans展览中探讨了分类政治，这是首个 关注创建机器学习系统的训练数据的大型艺术展览。这个项目从1963年Woody Bledsoe的第一个实验，到最著名和使用最广泛的基准集，如Wilded Labeled Faces和ImageNet，回顾了AI训练集的历史和逻辑。

今年9月，数百万人上传了他们的照片来看他们将如何被ImageNet分类。这是一个具有重大意义的问题。ImageNet是规范的对象识别数据集。它在塑造AI产业方面做得比其他公司都多。

虽然ImageNet的一些类别很奇怪，甚至很有趣，但数据集也充满了极具问题的分类，其中许多是种族主义者和厌恶妇女主义者（misogynist）。Imagenet Roulette提供了一个界面，使人们可以查看AI系统如何对它们进行分类。克劳福德（Crawford）和帕格伦（Paglen）发表了一篇调查文章，展示了他们如何在多个基准训练集上揭开它们的面纱，以揭示其体系结构。

这也是为什么艺术和研究结合在一起有时比单独时更有影响力的一个原因，这让我们考虑由谁来定义我们所处的类别，以及会产生什么后果。

3、城市、监控、边界

能源，分类和控制问题是今年在美国大规模部署公司监视系统的前景。以亚马逊的Ring为例，它是一款监控摄像头和门铃系统，旨在让人们能够7*24小时全天候监控家和附近地区。

亚马逊正在与400多个警察部门合作推广Ring，希望警察说服居民购买该系统，这有点像把警察变成挨家挨户推销安防系统的销售员。

作为交易的一部分，亚马逊将持续获得视频片段；警察可以随时调用他们想要的监控的视频。该公司已经在这一领域申请了人脸识别专利，这表明他们希望能够将摄像头拍摄的对象与“可疑人员数据库”进行对比，从而有效地在全国范围内建立私有化的家庭监控系统。

但是Ring并不是解决这个问题的最佳方案。正如Burku Baykurt，Molly Sauter和AI Now研究员Ben Green学者所表明的那样，“智慧城市”的技术乌托邦式言论掩盖了更深层次的不公正和不平等问题。

居民小区也在考虑这个问题。8月，圣地亚哥居民抗议安装“智能”灯杆。今年6月，纽约州洛克波特市的学生和家长抗议学校使用面部识别系统，该系统能够随时追踪和绘制任何学生或老师的信息，目前此系统已暂停使用。

这些工具最被滥用的地区之一是在美国南部边境，在那里，ICE，海关和边境巡逻队正在部署AI系统。目前，有52,000名 移 民被关在监狱、拘留所或其他限制自由的场所，还有4万名无家可归者在边界的墨西哥一侧等待庇护。到目前为止，在过去的一年中，有7名儿童在ICE羁押期间死亡，许多儿童面临的食物和医疗不足。这些恐怖的事情确确实实在发生。

根据倡导组织Mijente的一份重要报告，我们知道，亚马逊(Amazon)和Palantir等公司正在为ICE驱逐难民提供出境理由。为了反对以上的行为和组织，有数十所大学的2000多名学生签署了不与Palantir合作的承诺，在与ICE签约的科技公司总部，几乎每周都有抗议活动。

4、劳动力，工人组织与AI

当我们审视AI领域日益增长的多样性问题时，种族，阶级和性别等方面的结构性歧视问题将得到充分显示。

4月，AI Now发布了由AI Now博士后Sarah Myers West负责的Discriminate Systems。这项研究展示了AI内部歧视性文化与AI系统中嵌入的偏差与歪曲事实之间的反馈回路。调查结果令人震惊，正如AI行业将自己确立为财富和权力的纽带一样，它也变得更加同质。这一领域显然存在一个普遍的问题。

但是也有越来越多的人呼吁变化。最早呼吁问责的人之一是肯尼亚研究生阿瓦·姆博雅（Arwa Mboya）。从Google 罢工到Riot Games，再到与CEO面对面的Microsoft员工，我们已经看到了多家科技公司的一系列罢工和抗议，所有都要求消除工作中的种族和性别不平等。

现在，AI Now联合创始人梅雷迪思·惠特克（Meredith Whittaker）于今年早些时候离开了Google。她对行业的发展方向越来越感到震惊，事情变得越来越糟，而不是更好，因此，她和她的同事们开始围绕工作场所中AI的不当使用和滥用等现象展开行动。

用于工人管理的AI平台也是一个日益严重的问题。从Uber到Amazon仓库，这些庞大的自动化平台指导员工行为，设定绩效目标并确定员工工资，使员工几乎没有控制权。例如，今年早些时候，Uber大幅削减了工人的工资，没有任何解释或警告，而是通过对其平台的更新悄悄地实施了这一变更。

幸运的是，我们也看到了这些工人的一些重大胜利。CA的Rideshare工人在AB-5法中取得了巨大胜利，该法案要求基于应用程序的公司向驾驶员提供全面的就业保护。与现状相比，这是一个巨大的变化。

5、AI对气候的影响

所有这些问题的背景都是气候。

AI非常耗能，并消耗大量自然资源。来自Amherst的研究员Emma Strubell在今年早些时候发表了一篇论文，揭示了训练AI系统的巨大碳足迹。她的团队表明，仅创建一种用于自然语言处理的AI模型，就可以排放多达600,000磅的二氧化碳，相当于往返纽约与北京125次飞行的耗能。

大型AI的碳消通常被隐藏在诸如“云”类产品背后。实际上，据估计目前世界的计算基础设施所的碳排放量与航空业一样多，占全球排放量的很大比例。

不断涌现的抗议声音

大家可以看到越来越多的抵制AI滥用的浪潮涌现。

很明显，人工智能引发的问题是社会、文化和政治问题，而不仅是技术问题。这些问题，从刑事司法到工人权利，再到种族和两性平等，都有悠久的历史。

2019年的AI技术的滥用提醒我们，还有一个机会来决定接受哪类AI以及如何使其承担责任。可视化时间轴中所代表的组织，立法和奖金涵盖了过去一年中抵制AI的负面影响和无法说明的技术力量的一些关键时刻。这不是详尽的清单，而是工作人员、组织者和研究人员积极抵制AI负面影响的某些方式的快照。

原文链接：

https://medium .com/@AINowInstitute/ai-in-2019-a-year-in-review-c1eba5107127

https://www.toutiao.com/i6749828780862210568/