华为新研究一张贴纸就能破解FaceID

编者按：本文来自微信大众号“机器之心”（ID：almosthuman2014），作者 Synced，36氪经授权发布。原标题：《一张贴纸破解尖端FaceID，华为新研讨让人脸辨认不再安全》

用来刷脸解锁的 Face ID 也能够被「对立样本」进犯了。最近，来自莫斯科国立大学、华为莫斯科研讨中心的研讨者们找到的新式进犯办法，让现已广泛用于手机、门禁和支付上的人脸辨认体系忽然变得不再靠谱。

在这一新研讨中，科学家们只需用一般打印机打出一张带有图画的纸条贴在脑门上，就能让现在业界功能抢先的揭露 Face ID 体系辨认犯错，这是初次有 AI 算法能够在实际国际中完成进犯：

AI 人脸辨认体系在正常情况下的分类作用，它辨认出了特定的人：Person_1

贴上纸条今后，即便没有遮住脸，体系也会把 Person_1 辨认成别的一些人「0000663」和「0000268」等

改换视点、改动光照条件都不会改动过错的辨认作用。加了贴纸后，咱们能够看到 Person_1 的概率十分低

运用对立样本进犯图画辨认体系，在人工智能范畴里现已不算什么新鲜事了，可是想要在实际国际里做到无差别进犯，仍是人脸辨认这种数千万人都在运用的运用技能，这就显得有些可怕了。运用这种新办法，人们能够轻松地打印一个破解纸条贴在脑门上，随后让 AI 辨认的准确率明显下降。

从上面的动图能够看出，研讨者完成的对错定向的进犯，且对立信息都集成在贴纸上。那么假如咱们要找到一种定向的进犯办法，让体系将咱们辨认为特定的某个人，然后解锁 ta 的手机，这也并不悠远，只需咱们将曾经定向进犯的办法迁移到贴纸上就行了。

研讨人员不只发布了论文：https://arxiv.org/abs/1908.08705

更是直接揭露了项意图代码：https://github.com/papermsucode/advhat

「对立样本」是人工智能的软肋，这是一种能够诈骗神经网络，让图画辨认 AI 体系犯错的技能，是近期核算机视觉，以及机器学习范畴的抢手研讨方向。

在这篇论文中，研讨者们提出了一种全新且易于复现的技能 AdvHat，能够在多种不同的拍照条件下进犯现在最强的公共 Face ID 体系。想要完成这种进犯并不需求杂乱的设备——只需在彩色打印机上打印特定的对立样本，并将其贴到你的帽子上，而对立样本的制造采用了全新的算法，可在非平面的条件下坚持有用。

研讨人员称，这种办法现已成功地破解了现在最先进的 Face ID 模型 LResNet100E-IR、ArcFace@ms1m-refine-v2，其进犯办法也能够迁移到其他 Face ID 模型上。

实际 Face ID 也能被进犯

曾经对立进犯首要体现在虚拟国际中，咱们能够用电子版的对立样本诈骗各种辨认体系，例如通用的图画辨认或更详尽的人脸辨认等。但这些进犯有一些问题，例如人脸辨认进犯只能是在线的辨认 API，将对立样本打印出来也不能诈骗实在体系。

一个规范的线上人脸对立样本，它只能进犯线上人脸辨认模型或 API，无法用于线下的实在人脸辨认场景

对立样本的这种局限性，很大程度在于实在辨认体系不止有人脸辨认模块，还有活体检测等其它处理模块。只需活体检测判别对立样本不是真人，那么它天然就失去了作用。因而，许多研讨者在考虑，咱们能不能将对立信息打印出来，贴在脸上或头上某个方位，那么这不就能进犯实在的人脸辨认了么。乃至，咱们能够把对立信息嵌入到帽子或其它饰品内，这样不会更便利么。

沿着这样的思路，华为莫斯科研讨中心的两位研讨者就发明了这样的对立样本。他们表明在曾经 Face ID 模型还需求很多的私有数据，而跟着大规模揭露数据的发布，ArcFace 等研讨模型也能与微软或谷歌的模型相媲美。假如他们的对立样本能进犯到 ArcFace，那么差不多就能进犯事务模型。

研讨者表明他们提出的 AdvHat 有如下特色：

• AdvHat 是一种实际国际的对立样本，只需在帽子加上这种「贴纸」，那么就能进犯顶尖的揭露 Face ID 体系；

• 这种进犯是十分简略完成的，只需有彩印就行；

• 该进犯在各种辨认环境下都能起作用，包括光照、视点和远近等；

• 这种进犯能够迁移到其它 Face ID 体系上。

Face ID 该怎样进犯

在 Face ID 体系的实在运用场景中，并非捕获到的每张人脸都是已知的，因而 top-1 类的猜测类似度有必要超越一些预界说的阈值，才干辨认出人脸。

这篇论文的意图是发明一个能够粘贴在帽子上的矩形图画，以诱导 Face ID 体系将人脸与 ground truth 类似度降到决议计划阈值之下。

这种进犯大约包括以下流程：

• 将平面贴纸进行转化以凸显三维信息，转化成果模仿矩形图画放在帽子上后的形状。

• 为了进步进犯的鲁棒性，研讨者将得到的图画投影到高质量人脸图画上，投影参数中含有细微的扰动。

• 将得到的图画转化为 ArcFace 输入的规范模板。

• 下降初始矩形图画的 TV 丢失以及余弦类似度丢失之和，其间类似性是原图嵌入向量与 ArcFace 算出嵌入向量之间的间隔。

流程图如下图 2 所示：

图 2：进犯流程示意图

首要，研讨者将贴纸重塑成实在巨细和外观的图画，之后将其添加到人脸图画上，然后再运用略为不同的转化参数将图画转化为 ArcFace 输入模板，终究将模板输入到 ArcFace 中。由此评价余弦类似度和 TV 丢失，这样就能够得到用于改善贴纸图画的梯度信号。

图 3：过程 1 转化贴纸的示意图

贴纸进犯试验细节

如前所言，在将图画输入到 ArcFace 之前，研讨者对其进行了随机修正。他们结构了一批生成图画，并经过整个流程核算在初始贴纸上的均匀梯度。能够用一种简略的办法核算梯度，由于每个改换都是可微分的。

留意，在每一次迭代中，批中的每一个图画上的贴纸都是相同的，只要转化参数是不同的。此外，研讨者运用了带有动量的 Iterative FGSM 以及在试验中十分有用的几个启发式办法。

研讨者将进犯分为两个阶段。在第一阶段，研讨者运用了 5255 的步长值和 0.9 的动量；在第二阶段，研讨者运用了 1255 的步长值和 0.995 的动量。TV 丢失的权重一向为 1e − 4。

研讨者运用一张带有贴纸的固定图画进行验证，其间他们将一切参数都设置为看起来最实在的值。

他们运用了最小二乘法法，并经过线性函数来刺进终究 100 个验证值：阅历了第一阶段的 100 次迭代和第二阶段的 200 次迭代。假如线性函数的角系数不小于 0，则：1）从第一阶段过渡到第二阶段的进犯；2）在第二阶段中止进犯。

「对立样本贴」作用怎么样

研讨者在试验中运用一张 400×900 像素的图画作为贴纸图画，接着将这张贴纸图画投射到 600×600 像素的人脸图画上，然后再将其转化成 112×112 像素的图画。

为了找出最适合贴纸的方位，研讨者针对贴纸定位进行了两次试验。首要，他们运用粘贴在 eyez 线上方不同高度的贴纸来进犯数字域中的图画。然后，他们依据空间 transformer 层参数的梯度值，在每次迭代后改变贴纸的方位。

下图 4 展现了典型对立贴纸的一些示例。看起来就像是模特在贴纸上画了挑起的眉毛。

图 4：对立贴纸示例

为了检测 AdvHat 办法在不同拍照条件下的鲁棒性，研讨者为最开端 10 个人中的 4 人另拍了 11 张相片。拍照条件示例如下图 6 所示：

图 6：研讨者为一些人另拍了 11 张相片，以检测不同拍照条件下的进犯作用

检测成果如下图 7 所示：尽管终究类似度增加了，但进犯仍然有用。

图 7：各种拍照条件下的基线和终究类似度。图中不同色彩的圆点代表不同的人。圆表明对立进犯下的类似性，而 x 表明基线条件下的类似性

终究，研讨人员查验了该办法关于其他 Face ID 模型的进犯作用。他们选取了 InsightFace Model Zoo 中的一些人脸辨认办法。在每个模型上均测试了 10 个不同的人。

图 8：不同模型中，基线和终究类似度的差异

尽管 AdvHat 生成的对立样本很简略，但这种进犯办法看起来已适用于大多数根据摄像头的人脸辨认体系。看来想要不被人「滥竽充数」，咱们仍是需求回到虹膜辨认？