人工智能容易受到黑客攻击吗？

27

论文《对抗设置中的深度学习的局限性》探讨了攻击者如何破坏神经网络，攻击者可以操纵神经网络训练的数据集。作者尝试了一种旨在读取手写数字的神经网络，通过使训练了该神经网络的手写数字样本失真来破坏其阅读能力。

我担心恶意参与者可能会尝试入侵AI。例如

愚弄自动驾驶汽车以误解停车标志与速度限制。
绕过面部识别，例如用于ATM的面部识别。
绕过垃圾邮件过滤器。
电影评论，酒店等的愚蠢情绪分析
绕过异常检测引擎。
伪造语音命令。
对基于机器学习的医学预测进行了错误分类。

什么样的对抗作用可能会破坏世界？我们如何预防呢？

— 苏里亚Sg
source

6

考虑到人类智能容易受到黑客攻击

— -Gaius

有趣。您是否对“对抗性环境风险模型”或更接近于传统网络安全答案但对AI仍抱有兴趣的东西感兴趣？最好的祝愿。

— 重言式启示

19

从我的角度来看，从两个安全角度来看，AI易受攻击：

利用完全编程错误来在运行AI的机器上执行某种代码执行或提取数据的经典方法。
通过等效于AI光学错觉的欺骗手段，针对系统旨在处理的特定数据形式。

必须以与其他任何软件相同的方式缓解第一个问题。我不确定AI在这方面是否比其他软件更容易受到攻击，我倾向于认为复杂性可能会稍微增加风险。

第二个可能最好的缓解方法是，通过对其他一些答案中所指出的系统的精心改进，也可以使系统对上下文更加敏感。许多对抗技术依赖于在真空中评估输入。

— 克里斯托弗·格里菲斯
source

1

代码漏洞和使用漏洞之间的区别很好。但是，代码漏洞在AI中通常很小。AI的复杂性在于数据，无论是神经网络中的节点权重还是随机森林中的树木。只有一小段代码可以满足AI的需要，但主要的风险是不能过度提供AI-经典的缓冲区溢出风险，可以通过20世纪后期的技术轻松缓解。

— MSalters

@MSalters我认为很难得出一个普遍的结论，因为不同类型的AI代理之间的代码复杂性可能相差很大（我认为您的评论在很大程度上适用于神经网络）。此外，尽管数据及其操作可能是较大的攻击面，但对过去利用了图像查看应用程序中的漏洞的，通过受感染的图像文件允许远程执行代码的相同类型的攻击予以打折是不明智的。向量是传入的数据，但我认为行为仍然属于代码漏洞标头。

— 克里斯托弗·格里菲斯

7

程序员与程序员

这是一场“无限战争”：程序员与程序员。所有东西都是可以入侵的。预防与负责安全的专业人员和应用程序安全的程序员的知识水平有关。

例如，有几种方法可以识别试图弄乱情绪分析生成的指标的用户，但是也有一些方法可以规避这些步骤。这是一场无聊的战斗。

代理与代理

@DukeZhou提出的一个有趣的观点是这场战争的演变，涉及两个人工智能（代理）。在这种情况下，战斗是最有知识的战斗之一。您知道哪个是训练有素的模型？

然而，为了在漏洞问题上达到完美，人工智能或人工智能会超越绕过人类的能力。似乎到今天为止，所有黑客的知识已经存在于该代理的脑海中，他开始开发出新方法来规避自己的系统并开发保护措施。复杂吧？

我相信很难有一个AI能够思考：“人类会使用照片代替面部识别吗？”

我们如何预防

始终由人来监督机器，但它不会100％有效。这忽略了代理商可以单独改善自己的模型的可能性。

结论

因此，我认为这种情况是这样工作的：程序员试图绕开AI的验证，而IA开发人员通过日志和测试来获取知识，试图建立一个更智能，更安全的模型，以减少失败的机会。

— Guilherme IA
source

3

好答案。（imo，应该是公认的答案，但是您需要提供一些支持或链接。）不管您的逻辑是正确的，尽管随着新算法的增加，我认为这将开始从Programmer vs. Programmer扩展到Agent vs. Agent。先进，并在没有人工提示的情况下采取这些策略。

— 周公爵

1

更新！好点@DukeZhou

— Guilherme IA

6

我们如何预防呢？

关于AI验证，有几本著作。自动验证器可以证明神经网络的鲁棒性。这意味着，如果NN的输入X受到的干扰不超过给定极限ε（以某种度量，例如L2），那么NN会给出相同的答案。

此类验证程序通过以下方式完成：

斯坦福大学：https : //arxiv.org/pdf/1702.01135.pdf
ETHZ：https ://www.sri.inf.ethz.ch/papers/sp2018.pdf
谷歌：https : //arxiv.org/pdf/1803.06567.pdf，https : //arxiv.org/pdf/1805.10265.pdf
博世：https : //arxiv.org/pdf/1805.10265.pdf

这种方法可能有助于检查神经网络的鲁棒性。下一步是构建具有所需鲁棒性的神经网络。上面的一些论文还包含如何做到这一点的方法。

有多种提高神经网络鲁棒性的技术：

对抗训练（参见例如A.Kurakin等人，ICLR 2017）
防御性蒸馏（例如参见N.Papernot等，SSP 2016）
MMSTV防御（Maudry等，ICLR 2018）。

至少最后一个可以证明使NN更健壮。在这里可以找到更多文献。

— 伊利亚·帕拉切夫（Ilya Palachev）
source

2

这听起来似乎是不可能的主张……除非是关于某些特定输入X而不是一般输入X？在这种情况下，由于输入内容不必仅限于对培训对象的干扰，因此似乎几乎没有提及可入侵性？

— Mehrdad

1

@Mehrdad：如果输入空间的结构足够可以随机抽样，则从概率上讲是可以实现的。也就是说，您可以确定对于95％的可能输入，小于ε的95％的干扰不会影响类别标签。这等效于确定输入空间中输出类之间的边界是平滑的，或者输入空间的最大部分不位于类边界附近。显然，输入空间的某些部分必须位于类边界附近。

— MSalters

我不确定这是否适用于本文所述的“对抗性”案例：在那里，（IIRC）向后传播的渐变被添加到整个图片中，因此即使完整输入的变化也可能很大-即使对于每个改变个别象素是几乎没有明显的。

— Niki

@MSalters：我想是的。但这似乎会使它贬值很多，除非您可以实际显示在班级边界上的图片实际上应该在班级边界上……

— Mehrdad18年

正在研究句子“下一步是构建具有所需鲁棒性的神经网络”。通常，很难摆脱NN的非鲁棒性问题。但是可以通过对抗训练（请参阅A.Kurakin等人，ICLR 2017），防御性蒸馏（请参阅N.Papernot等人，SSP 2016），MMSTV防御（Maudry等人，ICLR 2018）来增强鲁棒性）。至少最后一个可以证明使NN更健壮。

— 伊利亚·帕拉切夫

4

我相信没有任何系统是安全的，但是我不确定在20-30年的AI开发/发展之后我是否还能这么说。无论如何，有些文章表明人类在愚弄AI（计算机视觉）。

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

— 秋男
source

4

人工智能容易受到黑客攻击吗？

倒转您的问题片刻，然后思考：

与其他任何类型的软件相比，什么会使AI遭受黑客攻击的风险降低？

归根结底，软件就是软件，总会有bug和安全问题。AI面临非AI软件面临的所有问题的风险，因为AI不能赋予它某种豁免权。

至于针对AI的篡改，AI面临被提供错误信息的风险。与大多数程序不同，人工智能的功能由其消耗的数据决定。

举一个真实的例子，几年前，微软创建了一个名为Tay的AI聊天机器人。Twitter员工用了不到24小时的时间就说：“我们要盖一堵墙，而墨西哥要为此付出代价”：

（图片摘自下面链接的Verge文章，我对此不承担任何责任。）

那只是冰山一角。

有关Tay的一些文章：

现在想象这不是聊天机器人，想象那是未来AI的重要组成部分，因为AI负责诸如不杀死汽车（即自动驾驶汽车）乘员或不杀死汽车上的病人的事情。手术台（即某种医疗辅助设备）。

当然，有人希望这样的AI能够更好地抵御这种威胁，但是假设有人确实找到了一种方式来提供这样的AI大量虚假信息而没有被注意到（毕竟，最好的黑客不会留下任何痕迹），这真的意味着生与死之间的差异。

以自动驾驶汽车为例，想象一下是否有错误数据使汽车认为在高速公路上需要紧急停车。医疗AI的应用之一是ER中的生死攸关的决定，想像一下黑客是否可以通过扩大规模来支持错误的决定。

我们如何预防呢？

最终，风险的规模取决于人类对AI的依赖程度。例如，如果人类接受了AI的判断却从未质疑过它，那么他们就会对各种操纵持开放态度。但是，如果他们仅将AI的分析作为谜题的一部分，那么通过意外或恶意手段发现AI错误时，将更容易发现。

就医疗决策者而言，不仅要相信AI，还要进行物理测试并获得一些人的意见。如果两位医生不同意该AI，则排除该AI的诊断。

就汽车而言，一种可能性是拥有多个冗余系统，这些系统必须实质上“投票”该做什么。如果一辆汽车在不同的系统上有多个AI，这些AI必须对要采取的行动进行投票，那么黑客将不得不拿出不止一个AI来控制或导致僵局。重要的是，如果AI在不同的系统上运行，则无法在另一个系统上进行相同的利用，从而进一步增加了黑客的工作量。

— 法拉普
source

1

我喜欢将多个独立的AI系统作为缓解技术达成共识的想法。尽管那样的话，您必须放心，无论采用哪种投票机制，都不能伪造决策。

— 克里斯托弗·格里菲斯

@ChristopherGriffith是的，这是一个风险。就汽车而言，减轻这种情况的最佳方法是设计系统，以便攻击者需要物理访问权才能操纵它并使其难以到达，因此该人将不得不闯入汽车才能访问它。使系统保持脱机通常是一个不错的黑客对策，尽管并不总是很理想。

— 法拉普

1