人工智能医疗是把双刃剑,“对抗性攻击”后可导致误判

2019-03-25 10:32:15 来源: 红星深度 作者: 徐缓

去年,美国食品药品监?#28966;?#29702;局(FDA)批准了一种人工智能(AI)医疗设备上市,只需捕捉患者视网膜图像,就能自动检测是否有糖尿病性失明征兆。

如今,像这样的新型AI技术正在医疗领域迅速蔓延。科学家们正积极开发着各种AI系?#24120;?#33021;够直接或是通过各种各样的影像,帮助识别各类疾病的征兆。

越来越多的AI技术,可能是一把双刃剑。图据《纽约时报》

然而,据《纽约时报》3月21日报道,科学家们开始担心,越来越多被应用到医疗保健服务中的AI技术,可能是一把双刃剑。除了帮助医生高效工作,它更有可能被蓄意操纵,导致误诊,?#32422;?#20854;他更严重的后果。

微小的改动就能让AI系统误诊

从识别肺部 X 光片到大脑CT扫描图像……与过去相比,不断涌现的AI系统能帮助医生更?#34892;А?#26356;低成本地去评估病人。

未来,这样的AI系统将不仅仅在医院被广泛使用,还可能为医疗监管机构、账单服务公司和保险公司提供帮助。正如AI帮助医生检查病人的眼睛、肺部?#25512;?#20182;身体器官一样,它也能帮助保险公司确定赔?#30563;?#39069;和保单?#24310;謾?/span>

理想的情况下,这些系统将有助于提高整个医疗体系的工作效率。然而,美国哈佛大学和麻省理工学院的一组研究人?#26412;?#21578;称,这些系统也可能会产生难以想象的严重后果。

3 月 21 日,在《科学》(Science)杂志上发表的一篇论文中,提出了“对抗性攻击?#20445;╝dversarial attacks)的可能性。

“对抗性攻击”是指利用调整微小的数字数据,改变人工智能系统行为的操作。

在医疗人工智能?#25512;?#20182;应用中,输入的微小变化可能导致输出的巨大变化。图据?#30563;?#34701;时报》

例如,修改肺?#21487;?#25551;影像的几个像素,就能误导AI系?#24120;?#25226;没病的判断成有病,或者把有病的误判成没病。

在新发布的这篇论文中,研究人员证实,通过改变一幅良性皮肤病变图像中的少量像素,就能欺骗一种诊断AI系?#24120;?#23548;致其误判病为恶性。他们还发现,通过简单地旋转影像,也能达到同样的目的。

如果对病人病情的书面描述进行一些小的改动,也可改变人工智能的诊断:“酗酒”的诊断结果与“酒精依赖”的不同,?#25226;?#30171;”和“背痛”的诊断结果?#19981;?#26377;所区别。

利用对抗性攻击获利 最终受害者将是患者

随着监管机构、保险公司和医疗账单服务公司开始在其软件系统中使用AI技术,黑客可能入侵系?#24120;?#23548;致病人误诊。更有可能发生的一?#26234;?#20917;是,医生、医院?#25512;?#20182;相关机?#22815;?#23558;利用对抗性攻击,操纵医疗账单或保险软件上的AI系?#24120;?#24819;方设法获得尽可能多的收益。

例如,如果保险公司使用AI评估医学扫描影像,医院可以通过修改扫描结果,以提高赔?#30563;?#39069;。如果监管机构建立了AI系?#24120;?#29992;于评估新技术,设备制造商可以通过改变图像?#25512;?#20182;数据,以欺骗系?#24120;?#33719;得监管部门的批准。

研究人?#27604;?#20026;,一旦人工智能深深植根于医疗体系之中,各家企?#21040;?#36880;渐出现能为其带来最大利润的行为。而这其中的受害者,将是患者。

哈佛大学医学院和麻省理工学院的研究人?#27604;?#32554;尔·芬利森指出,如果医生为了骗过保险公司的AI系?#24120;?#20197;获得更多利润,对医学扫描影像或病人的其他数据进行改动。而这些改动将出现在病人的永久记录中,伴随其终身,这将对病人未来的诊断产生影响。

相关机?#22815;?#23558;利用对抗性攻击,想方设法获得尽可能多的收益。 图据彭博社

这样的情况并不只是一种假设或不必要的担忧。事实上,由于整个医疗保健行业有大量的资金来往,一些医生、医院?#25512;?#20182;组织已经出现了操控软件系统获利的情况。例如,为了提高医疗?#24310;?#25903;出,医生们巧妙地修改了账单代码,将简单的X光扫描变为更复杂的扫描等等。

芬利森称,人工智能可能会加剧这个问题。未来?#25913;輳?#36719;件开发者?#22270;?#31649;机构在构建?#25512;?#20272;AI系统时,必须考虑这些情况发生的可能性。“医疗信息本身就模糊?#24187;?#30830;,再加上财务激励政策经常相互冲突,使得高风?#31449;?#31574;因非常微妙的信息变动就会出现摇摆。”

对抗性攻击的担忧与?#31449;?#22686;

这篇新发表的论文加剧了人们对“对抗性攻击”可能性的担忧,从人脸识别服务、无人驾驶汽车到虹膜扫描仪和指纹识别器,其攻击的目标可谓包罗万象。

对抗性攻击利用了众多AI系?#25104;?#35745;和构建的一个基本方面——神经网络。人工智能越来越多地受到神经网络的驱动,而神经网络本身是一种复杂的数学系?#24120;?#36890;过分析大量数据独立学习任务。例如,通过分析成千上万的眼?#21487;?#25551;图像,神经网络可以学会如何监测糖尿病视网膜病变的征兆。

但这种“机器学习”是建立在巨大规模的基础,也就是无数定义人类行为的不同的数据块之上,以至于一旦接收到不正确的信息,AI系统可能产生意想不到的行为。

2016 年,美国卡?#31361;?#26757;隆大学的一个研究小组通过印在眼镜框上的图案,成功骗过了面部识别系?#24120;?#35753;其误以为戴眼镜的是名人。当研究人员戴上这些眼镜时,系统把他们错误识别成米拉·乔沃维奇(Milla Jovovich)和约?#30149;?#39532;尔科维奇(John Malkovich)。

戴上特殊眼?#25285;?#21487;以骗过人脸识别系?#24120;?#35823;以为自己是名人。图据《每日?#26102;ā?/span>

2018年,一个研究团队也设计了类?#39057;?#23454;验。他们让?#24187;侵?#31185;学家戴上一顶帽子,将红外光?#29992;?#27280;下方投射到他?#25104;稀?#32418;外光是人眼不可见的,但它可以欺骗面部识别系?#24120;盟?#38169;误识别佩戴者是白人音乐家Moby,而不是来自?#20405;?#30340;科学家。

也有研究曾警告称,对抗性攻击能欺骗无人驾驶汽?#25285;盟?#20204;看到不存在的东西。通过对路标做一些微笑的改动,就导致汽车AI系统将停车标志错误地识别为让路标志。

去年年底,美国纽?#21363;?#23398;坦顿工程学院的一个研究团队创造了一?#20013;?#25311;指纹,在22%的情况下,成功骗过了指纹识别器。也就是?#25285;?#25152;有使用这些指纹识别器的?#21482;?#25110;个人电脑,有22%可能被解锁。

鉴于生物特征安全设备?#25512;?#20182;人工智能系统的日益普及,这项研究的影响极其深远。印度已经开?#38469;?#26045;世界上最大的基于指?#39057;?#36523;份识别系?#24120;?#29992;于发放政府津贴和分派服务。各家银行正在引入人脸识别技术到自动取款机上。与 Google 同属一家母公司的 Waymo等企业,目前正在对无人驾驶汽?#21040;?#34892;公共道路测试。

如今,芬利森团队就AI系统在医学领域的使用也发出了同样的警告,目前为止,在医疗保健领域还没有发?#26234;把?#30340;对抗性攻击。但这?#26234;?#21147;是存在的,特别是在医疗账单和保险行业。

然而,作为?#24187;?#26426;器学习系统专家,美国宾夕法尼亚大学沃顿商学院助理教授哈姆莎·巴斯塔尼对于引入人工智能是否会让问题变得更加严重提出了?#23460;傘?#39318;先,想要在现实中实现对抗性攻击是有难度的;其次,目前还不确定监管机构和保险公司是否打算采用容易受到对抗性攻击的这类机器学习算法。但她?#26893;?#20805;道,这个问题的?#20998;?#24471;关注:

“(现实中)总会出现意想不到的后果,特别是在医疗保健领域。”

红星新闻记者 徐缓 编译自《纽约时报》

编辑 刘静



责任编辑: 桂楷东
顶级大咖 更多>>

马云力挺贵阳数博会:30...

马云?#25285;?#22914;果大家错过了三十年前广东、浙江的投资机遇,...

潘云?#33258;?#22763;:AI2.0时代的...

中国新一代AI的重点方向将从数据智能、群体智能、跨媒体...

姚期智:中国AI不能满足...

作为图灵奖唯一的华人获奖者,大名鼎鼎的“清华姚班”创...

谭铁牛院士:向生物学习...

当前,一些面向特定任务的模式识别已取得突破性进展,有...

2017数博会:腾?#30563;?#25658;大...

腾?#30563;?#36830;续第三年深度参与数博会,带?#21019;?#25968;据可视交互系...

行业对话 更多>>

人工智能会抢走谁的饭碗...

港媒称,在公寓楼走道的小角落里坐着一位老大爷,他在那...

?#26412;?#30740;究人员尝试把人...

近日,在位于?#26412;?98艺术区的UCCA尤伦斯当代艺术中心举办...

全国政协委员、百度董事...

3月3日,全国政协委员、百度董事长李彦宏带来三项提案,...

常富洋:人工智能在特定...

在常富洋看来,在限定领域,通过落地场景的限定,可以弥...

?#24551;?#20154;工智能和产业发展...

人工智能是新一轮科技革命和产业变革的重要驱动力量。人...

台球斯诺克规则