英国政府周二表示，将停止使用一种被批评人士称为种族主义的算法对签证申请进行评级。从本周五开始，一个临时的评分系统将被安装到位，同时算法将进行重新设计，10月底重新引入。

 

英国内政部发言人在一份声明中表示:“我们一直在审查签证申请流媒体工具的运作方式，并将重新设计流程，使其更加精简和安全。”

 

暂停使用“流媒体工具”的决定是对技术问责组织Foxglove和移民福利联合委员会(JCWI)的法律威胁的直接回应。自2015年以来，英国内政部(Home Office)一直使用流媒体工具。他们共同声称，该工具是种族主义的，因为它利用国籍作为决定申请人是否属于高风险的基础。

 

算法中的种族偏见是面部识别技术中一个有充分证据证明的问题，但它也被广泛认为是整个技术行业算法中的一个问题。Foxglove和JCWI发起法律挑战之际，世界各国政府正越来越多地要求私营科技公司在其算法构建和运行方式方面做到彻底透明。

 

"有可能改变人生的决定有一部分是由电脑程序做出的外界没有人可以看到或测试这个程序"

 

科里Crider,毛地黄

 

批评英国政府缺乏透明度的人士认为，这是虚伪的，天辰游戏也是不民主的。他们认为，该算法做出的决策可能具有深远的影响。

 

“这是关于谁可以去参加婚礼或葬礼，以及谁会怀念它，”毛地黄的导演之一科里克里德(Cori Crider)在接受采访时说。“重要的是谁来学习，谁不来。谁能来参加会议，获得职业机会，谁不能。

 

她说:“有可能改变人生的决定部分是由电脑程序做出的，外界没有人允许看到或测试它。”

 

JCWI的法务主管柴•帕特尔(Chai Patel)表示，这个流媒体工具的工作方式是，使用一个红绿灯系统对签证申请进行分类，“分配风险”，然后抽取标记好的申请进行人工审查。

 

如果一个申请被归类为红色，人类审查员会有很长一段时间来决定是否授予签证，他说，这“给了他们时间寻找拒绝的理由”。如果他们决定不顾其中一人的高风险状态而向其发放签证，那么他们的决定将由另一个人重新审查，但如果签证申请被拒绝，则不进行审查。

 

相反，柴补充道，如果该算法将应用程序归类为绿色应用程序，就必须更快地做出决定，只有在被拒绝的情况下才会由另一个人进行审核。

 

该工具被设计用来不断学习和适应对其他应用程序所做的决策，使用国籍作为主要因素。帕特尔说:“这就形成了一个反馈回路，如果你的国籍风险很高，你更有可能被拒绝，然后在未来，这又会被用作增加你国籍风险的一个理由。”

 

此外，他补充说，由于它使用英国内政部(Home Office)的历史数据来做决策，所以它“处于一个已经存在极大偏见的系统之上”。

 

来自独立的人工智能伦理机构Ada Lovelace研究所的Carly Kind在电子邮件中表示，人工智能和算法有扩大现有假设和歧视态度的潜力，这是毋庸置疑的。

 

“当算法系统部署在系统或组织历史偏见和种族主义的问题,如家庭办公室和英国的移民制度,是建立在Windrush评论——有一个真正的风险,该算法将巩固现有的社会偏见,”她说。

 

目前还不清楚内政部流媒体工具的来源，不过来自Foxglove和JCWI的研究人员认为，它是政府内部开发的，而不是从私人公司引进的。他们称，政府故意在算法上不透明，因为它根据申请人的国籍进行歧视，而且它不想公布它认为进入公共领域的高风险国家名单。

 

如果真是这样，Foxglove和JCWI表示，该体系可能违反了英国《平等法案》。今年6月，他们一起提交了一份司法审查申请，质疑流媒体工具的合法性。