技术文章

当前位置:广东快乐10分预测 > 技术文章 > 不同人名背后或藏种族偏见 暴力侵略性感知令人

不同人名背后或藏种族偏见 暴力侵略性感知令人

来源:http://www.btxygg.com 作者:广东快乐10分预测 时间:2019-10-19 07:39

Christoph Bartneck:我们在调查中直接要求人们选择“该机器人是什么种族”时,只有11%的被调查者选择了“不适用”选项。我们的隐性衡量标准证明了人们确实种族化机器人并据此调整他们的行为。我们调查的参与者显示他们存在对机器人的种族偏见。

此外,参与者往往把像黑人名字的人物想得更为高大。事实上,美国白人和黑人的平均身高相差无几。

然而,就是这个基于图像识别技术的自动标签功能捅了篓子。纽约的一名黑人程序员Jacky Alcine惊讶地发现自己和黑人朋友的自拍照被Google Photos打上了“大猩猩”的标签。他将截图放上了推特,谷歌第一时间做出了道歉,将“大猩猩”这个标签暂时撤出系统,并以最高优先级解决这个问题。

专访内容

调查人员还发现,参与者会把不同种族背景的人名和其身份地位做想当然的关联性猜想。譬如,人物名字越像黑人名,参与者就认为其经济实力、社会影响力和受尊重程度越低;相反,越像白人名的人物,身份地位则被认为更加优越。

武筱林告诉澎湃新闻,他在学界听过一个说法,说现在关于人工智能伦理的会议比关于人工智能本身的会议还要多。

仔细看看,有没有觉得哪里不对劲呢?

然而,参与者认为故事里中立的黑人人物与白人罪犯的体型相似,这“间接反映了人们对(拥有不同种族背景人名先入为主的)暴力和侵略性感知,令人担忧”。

他们认为,上述的这类研究在人工智能时代的新形态就是武筱林式的。“在计算机和大数据无处不在的时代,‘机器相面’开发出了许多前所未有的用途。因此,人工智能的开发者、评论家、用户们都急需了解技术的边界和相面术的历史,如今它披上了现代的外衣。”

用百度搜索“机器人”的图片。

英国《每日邮报》7日报道,美国加利福尼亚大学洛杉矶分校行为科学家科林·霍尔布鲁克实施了一项调查,共有超过1500名18岁至70岁的人参与。

5月9日,武筱林向澎湃新闻回应道:“那三个美国作者忽略我们原文中的一再声明,我们没有兴趣也无社会科学的学术背景解释我们的结果,讨论其成因。更没有暗示要用于执法司法。他们硬把这些意思强加给我们。”

Christoph Bartneck:我们相信我们的发现将会帮助社交机器人设计上的多元化,这样一来这项前景光明的科技不会受到种族偏见的影响。中东样貌的机器人的出现以及日本惯以设计亚洲人样貌的机器人都是这个方向上的重要进步,尤其是因为这些机器人并非被刻意设计成丰富种族多元化的形象,而是机器人设计上的自然产物。

人名背后的种族偏见

COMPAS的评估系统基于超过100个因素,包括年龄、性别、犯罪历史等,给嫌疑犯给出一个1到10区间内的评分,分数越高越危险,但因素里并不包含种族。然而,非营利性民间新闻网站ProPublica指出,对于那些实际上没有重复犯罪的嫌疑犯,黑人被打高分的概率要比白人大。因此,ProPublica指责COMPAS作为内嵌有种族歧视的AI系统,不应再作为法庭的参考。

Christoph Bartneck:不难推测,不同程度的拟人化可能会导致不同的结果。如果几乎难以区分机器人与人类,那么我们期望得到与原始研究相同的结果,而更机械化的机器人可能具有尚未确定的影响。人们也可以思索一下我们使用的种族化方法。

霍尔布鲁克说:“在关于‘成功’的情节中,当白人与黑人角色被判袭击罪时,参与者对二者的印象相近,不论名字叫什么,他们都有着相似的结局。”

广东快乐十分预测器 1

相关报道:

人名;种族偏见;参与者;名字;黑人

机器人觉得白人更美?

我们试图在会议上就我们论文的结果进行公开讨论,但都遭到了拒绝。我认为这种拒绝公开讨论会阻碍对该领域的进一步研究。那你为什么要让自己暴露在如此严厉的,意识形态驱动的批评当中?我认为我们需要有一种支持和鼓励的文化来研究有争议的话题。

吴昊

相关技术人员指出,谷歌可能并没有提供足够的大猩猩照片供机器学习到其中的差别。不过,也有其他网友安慰Alcine道,自己的照片也曾被识别为“猫”或“马”。

大数据文摘出品

参与者还分别对故事中人物的身高、强壮程度和体型作出评价。调查人员综合这三项评分后发现,人们对“中立的黑人人物”和“白人罪犯”的看法相似。

广东快乐十分预测器 2

因此,几乎没有机器人创造者思考过种族歧视问题。多年来,人-机器人交互(HRI)社区的成员们在尝试更深理解人类与机器人是如何交互的。我们试图帮助机器人创造者将机器人设计得与社会更加融合。种族歧视对人类与人类社会整体都正在造成大量伤害。

美国《进化与人类行为》杂志最新发布的调查报告显示,人们对不同名字的态度或许能折射出其背后的种族偏见。相反,越像白人名的人物,身份地位则被认为更加优越。

黑人自拍照被Google Photos打上了“大猩猩”的标签

Christoph Bartneck:首先,我们想探究人类是否将机器人与种族相关联。其次,如果答案是肯定的,那这种对机器人种族的归类是否影响人类对待这些机器人的行为。更详细地说,我们会让参与者回答一系列问题,包括对某一机器人的种族分类(选项包括“不赋予种族”)另外, 我们也使用了“射手偏见”框架(shooter bias framework)。

美国《进化与人类行为》杂志最新发布的调查报告显示,人们对不同名字的态度或许能折射出其背后的种族偏见。

而论文中的87%准确率,只是在学术层面上得到了比较显著的相关性。一方面,这并不能解释任何因果关系,即到底是长相决定了天生的犯罪性,或者是人类社会对长相的歧视促成了犯罪概率的差异,都留待社会科学的解读。另一方面,这个数据也完全不具备应用可能性。舆论对其研究实用性的关注,甚至有网友建议他把这项研究交给纪检委,都让武筱林觉得哭笑不得,十分“跑偏”。

《科技纵览》杂志(IEEE Spectrum):你在这项研究中具体在回答什么问题?

调查人员让参与者阅读不同情节的故事,既有关于成功商人的,也有关于罪犯的。同一情节中,故事里的人物名字被换成不同种族背景的人名。譬如,在某个故事里,一名名叫贾迈勒、德肖恩或达内尔的男子在酒吧与他人发生了冲突。同样的情节里,这一组名字被替换成了奥康纳、怀亚特或加勒特。

除了恐怖分子之外,Faception宣称他们的算法还可以用于识别恋童癖和白领罪犯。

《科技纵览》杂志(IEEE Spectrum):为什么这个主题以前未曾被研究过?你为什么决定对此展开研究?为什么它很重要?

在读完不同情节的故事后,调查人员要求参与者描述故事人物在他们心中的形象,包括身高、体型、身份和行为侵略性等。

这项研究考察了计算机视觉在学习人类审美的能力。实验结果发现,经过训练后的算法可以大概率区分性感与可爱美女,审美与中国高校男生非常接近。

为了最好地复制原始的射手偏见刺激,我们选择使用人工校准让Nao机器人呈现种族化特征,而不是使用Nao默认的白色塑料外观以及与之相对的黑色材料机器人。

人类偏见会作为数据被人工智能“习得”这一点,在聊天机器人上体现得淋漓尽致。2016年3月,微软的聊天机器人Tay在推特上线,被设定为可以与任何@她的推特用户聊天。短短24小时后,一个甜美、礼貌的“小姑娘”竟然开始脏话连篇,甚至爆出不少种族主义和性别歧视的言论。这个被网民调教速成的“AI希特勒”引发网民震惊,被微软草草关进“小黑屋”。

实际上,Bartneck的文章在投稿期间就收到了不小的阻力。他们的文章被读者反复审视,有些人指责作者在耸人听闻。

以色列初创企业“看脸识恐怖分子”

原标题:机器人的平权宣言:为什么我们非得被造成白色的?

《华盛顿邮报》撰文称,如果COMPAS算法按照公司本身的定义确实是“公正的”,即给予同等分数的黑人或白人嫌疑犯重复犯罪的概率相同,那么造成ProPublica测得的偏差的实际原因,是黑人嫌疑犯的整体重复犯罪率确实更高。

可以预见到,这种社交机器人种族多元性的匮乏会导致一系列问题以及其他领域中种族多元性的匮乏。我们根据各社会分类下的社会观念导致的刻板印象去评价他人。比如,歧视经常是社会刻板印象的一种体现。如果机器人将被用于教师,好友或护工并且这些角色都只被白人机器人取代,这将会是一个严重问题。

Faception识别人脸

也有一些特例,比如一些由Hiroshi Ishiguro团队设计的机器人——这些机器人的面部以某些特定的日本人为模型,因此它们的种族为亚洲人(如果机器人真的拥有种族属性的话)。另一个特例是Bina48机器人,它被设计为黑人形象。

平均来讲,罪犯的内眼角间距要比普通人短5.6%,上唇曲率大23.4%,鼻唇角角度小19.6%。

《科技纵览》杂志(IEEE Spectrum):如果机器人被认为是分种族的,这将对人-机器人交互(HRI)有何影响?

广东快乐十分预测器 3

值得注意的是,Nao机器人没有穿任何衣服,这与原始研究中的人类不同。另外很奇怪的是,原始研究中图像里的人们没有影子。借助Adobe Photoshop强大的功能,我们能够在Nao机器人背后投射阴影合成更为逼真的图像。未来的研究应该包括拿着枪和其他物体的Nao机器人,并伴有多种姿势。

COMPAS预测重复犯罪概率

《科技纵览》杂志(IEEE Spectrum):您希望看到这项研究成果如何应用?

武筱林也告诉澎湃新闻,“我们说机器作判断时,没有偏见,当然是假设数据的标记是公平的。机器不会纠正人在输入数据标记中的偏差。”

Christoph Bartneck:我们希望这项研究鼓励机器人设计师们创造出代表社区多样性的机器人,不是所有的机器人都得是白色的。

不是算法有歧视,而是人类有偏见

《科技纵览》杂志(IEEE Spectrum):你们的研究结果如何?

这篇饱受争议的论文题为《基于面部图像的自动犯罪概率推断》(Automated Inference on Criminality using Face Images)。在实验中,武筱林和其博士生张熙选取了1856张中国成年男子面部照片,其中730张是已经定罪的罪犯身份证照片(330张来自网上的通缉令,400张由一家签署过保密协议的派出所提供),其余1126张是在网络上抓取的普通人照片。经过机器学习,算法鉴别出犯罪嫌疑人的准确率达到87%。

不少人或许会对这样的研究嗤之以鼻额。毕竟,如果我们询问机器人制造公司,为什么要将他们的机器人设定为白色,他们十有八九会告诉你:因为白色跟各种家庭装饰都很百搭呀!

三位美国学者的文章并非学术论文,在万字的篇幅中,他们讲述了相面术发展的历史,解释了机器学习研究领域的一些基本情况,并以武筱林和张熙的研究为靶子,指出就像他们的研究是披着机器学习外衣的相面术,人类社会中的许多歧视也可能会被算法洗白。

广东快乐十分预测器 4

事实上,近年来已有越来越多的学者开始认识到算法并不客观。英国巴斯大学教授Joanna Bryson上个月发表《科学》杂志上的一项研究指出,AI也会表现出各种偏见和歧视,这些偏见涉及种族、性别、年龄等。Joanna Bryson说道,“人们会说实验说明AI有歧视。不是的。这其实说明我们人类有歧视,被AI习得了。”

责任编辑:

另有一部分研究者指出,黑人这样的“少数派”可能会遭受不平等算法的最主要原因是,训练数据集中代表这些“少数派”的样本太少了,因而算法对这部分人群的训练不够成熟,往往会做出不准确的结论。而许多算法开发者自己没有意识到这一点。

我们也将对机器人表面颜色添加渐变色,使其包括几种棕色渐变色。此外,我们正在研究机器人的拟人化程度会如何影响对种族的认知。

“机器人不喜欢深色皮肤。”当时许多新闻报道以此为标题。

此外,我们的“射手偏见”研究显示,无论图像中出现的是人类还是机器人,与武装的白人相比,参与者更快地射击武装的黑人;同时更快地避免射击手无寸铁的白人,而不是同样解除武装的黑人。这些发现说明了射手偏见既存在于人类之中,同时也存在于机器人之中。这种偏见明确表现了对黑人的种族歧视,更是将这种歧视自动延伸至种族化为黑人的机器人。

广东快乐十分预测器 5

Christoph Bartneck:这篇提交给HRI会议的论文经历了空前的审查过程。论文大约有5000个词,但收到的评论就有大约有6000个词。在会议计划委员会开会期间,大家对文章进行了详细的讨论,共有9名评审员被要求对该研究进行评估。

2016年夏天,一家名为Northpointe的密歇根公司被推向了舆论的风口浪尖。美国各地都有法庭在使用这家公司的AI产品COMPAS,以评估某个犯罪嫌疑人再次犯罪的概率。法庭作出判决或保释决定时会参考COMPAS的评估意见。

编译:张秋玥、雪清、睡不着的iris、钱天培

由于研究犯罪概率遭受了许多压力,武筱林虽然仍将继续挖掘计算机视觉在模拟人类感知上的潜力,但会将研究主题转向其他方向。他在那篇论文之后上传在arXiv上的研究题为Automated Inference on Sociopsychological Impressions of Attractive Female Faces(《自动推断有吸引力的女性面孔造成的社会心理学印象》)。

广东快乐十分预测器 6

2015年,谷歌推出了相册应用Google Photos。该应用除了备份、整理照片之外,还会自动为照片添加标签,以便用户快速查找。

让我们通过IEEE对Bartneck的一段专访作进一步的了解。

Faception的首席执行干Shai Gilboa告诉媒体:“我们的个性是由DNA决定的,也会体现在脸上。这是一种信号。运用先进的机器学习技术,我们开发出了15个分类标准,每种标准都代表了一种人格,是一些个人特征和行为的集合。我们的算法可以针对每个人对这些人格的契合程度打分。”

不出意外,结果应该就和文摘菌下面查到的差不多。

而Blaise Agüera y Arcas等三人的文章里还点名批评了一家以色列初创企业Faception。据《华盛顿邮报》报道,该公司已与某国土安全机构签署合同,协助识别恐怖分子。Faception宣称他们开发的系统能通过人脸分析鉴别恐怖分子的成功率超过80%,并能成功识别出2015年11月巴黎恐怖袭击11名犯罪嫌疑人中的8人。

“我们希望本研究能够鼓励机器人设计师们创造出代表他们群体多元化特征的机器人,没有必要把所有机器人都设计成白色。”Bartneck如是说。

基于美国特殊的历史和文化,种族问题一直容易挑动敏感的神经。而在上述的谷歌人脸识别BUG和COMPAS断案系统中,媒体都分外关注黑人族裔这一“少数派”遭受不平等的算法。Blaise Agüera y Arcas等三人的文章中也一再强调,不应用看似客观公正的算法替人类的歧视“洗白”。

广东快乐十分预测器 7

本文已标注来源和出处,版权归原作者所有,如有侵权,请联系我们。

在射手偏见研究中,参与者被赋予警察的角色,当面对人们手持枪械或其他友好物体的图像时,他必须决定是否射击。图像仅显示一瞬间,研究中的参与者来不及做出合理的思考,他们必须在不到一秒的时间内采取行动。若参与者在决定开枪时对黑色机器人(对比白色机器人)开枪更加快速,在决定对没有武器的机器人不开枪时对白色机器人(对比黑色机器人)下决定更快速,我们就会认为这位参与者对机器人存在种族偏见。

或许有人会说,一个黑人的照片被标签为“大猩猩”的事件不应该被过分解读,就像一个日本人的照片被标签为“猫”一样,只是谷歌闹出的一个笑话。但如果司法和国土安全系统也参考了这些可能会犯错的系统,还是笑话吗?正如三位美国作者在长文中指出的,武筱林研究中最可怕的一点,是将“算法”和“法律”这两样看上去客观权威的东西相结合。

)

不过,他的这项计算机“审美”研究放在美国社会可能也会面临一些麻烦。2016年,包括英伟达、受微软支持的青年实验室(Youth Laboratories)在内的数家机构共同举办了第一届国际人工智能选美大赛(International Beauty Contest Judged by Artificial Intelligence)。全球范围内的用户只需在相关APP上传自己的自拍照,机器人裁判就会根据面部对称性、皱纹等因素选出最美的获胜组。令人尴尬的是,在来自100多个国家的近6000张自拍中,机器人裁判挑选出来的44个最美的获胜者几乎全是白人,有一小部分亚洲人,只有一个拥有深色皮肤。

Christoph Bartneck:许多工程师都忙于实现机器人基本功能,如行走与在所处环境中移动。这是他们最为关注的问题,以至于他们没有那么重视研究所产生的社会影响。

半年后,三位美国学者撰写万字长文隔空喊话:机器学习不应洗白相面术。

我们希望我们的研究能促使人类进行反思,是什么社会与历史因素导致了来自如此多元化的种族群体的工程师们几乎只设计生产很容易被当做白人的机器人,他们为何尚未意识到这一点。

广东快乐十分预测器 8

在谷歌图片中搜索“类人机器人”,你几乎只会搜到拥有闪亮白色表面或金属外表的机器人图片。现在几乎没有非白人外表的拟人机器人。大多数主流社交机器人研究平台,如Nao,Pepper与PR2,机器人均使用白色材料,并且看起来是白人。

被“教坏”的Tay

在会议之前,我联系了会议的主持人,并建议在会议上进行小组讨论,以便就该主题进行公开辩论。不过,最初热情的提议最终被拒绝了。接着,我建议在分配给该项研究的演示时段内留出小组讨论的时间。获得初步同意之后,我寻求了两位同意参加的专家,然而会议组织者禁止了这次小组讨论。在演示的前一天,我被要求在没有任何评论或小组讨论的情况下提交论文。

“机器相面术”,新瓶装旧酒

今天,种族歧视依然真实地存在,黑人平权运动更加证明了这个问题的重要性与紧急性。与此同时,我们将推出社交机器人,目的是与人类互动,融入人类社会。这些机器人将成为未来的护工,教育人员与陪伴者。

纳粹“种族科学家”在做容貌测定。

在今年的ACM/IEEE人-机器人交互(Human Robot Interaction)国际会议上,来自新西兰坎特伯雷大学人机交互技术实验室的Chrstoph Bartneck教授等人发表了他们关于机器人种族属性的研究。他们发现,人们会将具备拟人化特征的机器人归类于某个种族,导致人类对该种族的偏见会被投射到机器人身上。

黑人被识别为 “大猩猩”

《科技纵览》杂志(IEEE Spectrum):听说HRI会议接收该论文的过程并不顺利,您能详细说明吗?

广东快乐十分预测器 9

大多数人应该和文摘菌一样,没看出什么异常。然而,来自新西兰坎特伯雷大学的Christoph Bartneck教授却指出:这样的结果大有问题——为什么机器人就一定要是白色的呢?

“我们必须要认识到这一点,就是人工智能有这个潜力,人工智能已经到这一点了。”武筱林说道。

这篇论文最终被有条件地接收,他们分派一个专门的编辑,与我们一起解决审稿人提出的所有问题。这样子,作者和编辑可以尽其所能解决所有争论并找到合适的答案。论文中的方法和统计数据从未被怀疑,大多数评论者着眼于术语和文字表达。

文章的三位作者指出,“相面术试图从人的外貌推测其内在性格。虽然今天相面术被视为伪科学,但民间还是有人相信可以从面相或身材中鉴别出低级一点的人群。而在有些历史时期,相面术也内嵌在了国家法律中,为侵占土地、反移民、奴隶制和种族清洗提供依据。而关于相面术的伪科学就是科学种族主义。”

大部分时候,机器人的设计是由内而外的,意味着各功能部件先被搭建并测试,最后再添加一个外壳包装。至于这层包装将如何影响人类使用者,或更宽泛地说,机器人整体将如何被其使用者所感知,绝大多数时候只有事后才会被想到。

虽然武筱林团队的研究成果无意也无法用于现实应用,但近来,人工智能领域确实出现了类似应用的苗头。而在人脸识别上惹出伦理官司的也绝非别无分号,这次站在政治正确性高地的Blaise Agüera y Arcas和Alexander Todorov供职的谷歌就曾栽过一个大跟头。

《科技纵览》杂志(IEEE Spectrum):您能否讨论一下该研究的局限性?您将来如何改进该领域的研究?

“在价值观上我们与此文作者没有任何差别,他们歪曲我们的初衷,为了自己找一个假想敌。”武筱林强调。

那么,这项研究的结论究竟如何得出,对我们又有哪些启发呢?

武筱林研究使用的照片样本。a组为罪犯,b组为非罪犯。

广东快乐十分预测器 10

在论文的导语部分,武筱林和张熙声明:“在本文中,我们无意也不够格去讨论社会偏见问题。我们只是好奇,全自动的犯罪性推定能有多高的准确率。一开始我们的直觉是机器学习和计算机视觉会推翻相面术,但结果是相反的。”

这篇万字长文名为《相面术的新外衣》(Physiognomy’s New Clothes),于当地时间5月6日发表在新媒体网站Medium上。三名作者,Blaise Agüera y Arcas是机器学习领域的著名工程师,2013年从微软跳槽到谷歌;Margaret Mitchell同样是谷歌的人工智能研究员;而Alexander Todorov则是普林斯顿大学的神经科学教授。

该论文的作者、上海交通大学图像通信与网络工程研究所教授武筱林已在过去的半年间收到了无数质疑或批评的邮件,近日,他又遭遇了三位美国学者以撰写万字长文的形式隔空喊话。

这是因为,基于中国千分之几犯罪率的背景条件,实验中87%的真阳性若用于实用,判断正确率将非常低。此外,这项研究本身就存在许多值得商榷的地方。比如,实验样本不够大,容易造成机器过度学习。

“通过机器学习,分类器能比较可靠地区分罪犯与非罪犯这两个群体的照片。平均来讲,罪犯的内眼角间距要比普通人短5.6%,上唇曲率大23.4%,鼻唇角角度小19.6%。”去年11月上载在预印本网站arXiv上的一篇论文里的研究结论让学界和舆论界都瞬间“炸锅”。

“看脸识罪犯”研究无实用可能性

本文由广东快乐10分预测发布于技术文章,转载请注明出处:不同人名背后或藏种族偏见 暴力侵略性感知令人

关键词: 教育 机器人 人类 侵略性 人名