沃卡惠如果对手给你一个机器学习(ML)模型，并在其中暗中植入恶意后门，你发现几率有多大?根据加州大学伯克利分校、麻省理工学院和高级研究所的研究人员的一篇新论文显示，几率很小。
随着机器学习模型进入越来越多的应用程序，机器学习的安全性变得越来越重要。这项新研究的重点是将机器学习模型的培训和开发委托给第三方和服务提供商所带来的安全威胁。
由于AI行业人才和资源的短缺，许多组织正在外包他们的机器学习工作，使用预先训练的模型或在线ML服务。这些模型和服务可能成为攻击使用它们的应用程序的来源。
新的研究论文提出了两种在机器学习模型中植入无法检测到的后门的技术，这些后门可用于触发恶意行为。
该论文阐明了在机器学习管道中建立信任所面临的挑战。
什么是机器学习后门？
机器学习模型经过训练可以执行特定任务，例如识别人脸、分类图像、检测垃圾邮件或确定产品评论或社交媒体帖子的情绪。
机器学习后门是一种将秘密行为植入经过训练的ML模型的技术。该模型照常工作，直到后门被对手提供的特制输入触发。例如，攻击者可以创建一个后门，绕过用于对用户进行身份验证的面部识别系统。
一种简单而广为人知的ML后门方法是数据中毒。在数据中毒中，攻击者修改目标模型的训练数据以在一个或多个输出类中包含触发伪影。然后，模型对后门模式变得敏感，并在看到它时触发预期的行为(例如，目标输出类)。
在上述示例中，攻击者在深度学习模型的训练示例中插入了一个白框作为对抗性触发器。图片：OpenReview
还有其他更先进的技术，例如无触发ML后门和PACD。机器学习后门与对抗性攻击密切相关，输入数据受到扰动导致ML模型对其进行错误分类。而在对抗性攻击中，攻击者试图在经过训练的模型中找到漏洞，而在ML后门中，攻击者会影响训练过程并有意在模型中植入对抗性漏洞。
无法检测到的ML后门
大多数ML后门技术都会在模型的主要任务上进行性能权衡。如果模型在主要任务上的性能下降太多，受害者要么会变得怀疑，要么会因为它不符合所需的性能而放弃使用它。
在他们的论文中，研究人员将无法检测到的后门定义为与正常训练的模型“在计算上无法区分”。这意味着在任何随机输入上，恶性和良性ML模型必须具有相同的性能。一方面，后门不应该被意外触发，只有知道后门秘密的恶意行为者才能激活它。另一方面，利用后门秘密，恶意行为者可以将任何给定输入变成恶意输入。它可以通过对输入进行最小的更改来做到这一点，甚至比创建对抗性示例所需的更改更少。
“我们的想法是……研究并非偶然出现的问题，而是出于恶意。我们表明，此类问题不太可能避免，”IAS博士后学者、该论文的合著者Or Zamir告诉TechTalks。
研究人员还探索了如何将关于密码学后门的大量可用知识应用于机器学习。他们的努力产生了两种新的不可检测的机器学习后门技术。
使用加密密钥创建ML后门
新的机器学习后门技术借鉴了非对称密码学和数字签名的概念。非对称密码学使用相应的密钥对来加密和解密信息。每个用户都有自己保留的私钥和可以发布以供其他人访问的公钥。用公钥加密的信息块只能用私钥解密。这是用于安全发送消息的机制，例如在PGP加密的电子邮件或端到端加密消息传递平台中。
数字签名使用反向机制，用于证明消息发送者的身份。为了证明您是消息的发送者，您可以使用您的私钥对其进行散列和加密，并将结果与消息一起作为您的数字签名发送。只有与您的私钥对应的公钥才能解密消息。因此，接收者可以使用您的公钥来解密签名并验证其内容。如果哈希与消息的内容相匹配，那么它是真实的并且没有被篡改。数字签名的优点是它们不能被逆向工程(至少不能用今天的计算机)，并且对签名数据的最小更改会使签名无效。
Zamir和他的同事将相同的原则应用于他们的机器学习后门。以下是本文描述基于加密密钥的ML后门的方式：“给定任何分类器，我们将其输入解释为候选消息签名对。我们将使用与原始分类器并行运行的签名方案的公钥验证过程来扩充分类器。这种验证机制由通过验证的有效消息签名对触发，一旦该机制被触发，它就会接管分类器并将输出更改为它想要的任何内容。”
基本上，这意味着当后门ML模型收到输入时，它会寻找只能使用攻击者持有的私钥创建的数字签名。如果输入被签名，则触发后门。如果没有，正常行为将继续。这确保后门不会被意外触发，并且不会被其他参与者逆向工程。
隐藏后门使用侧神经网络来验证输入的数字签名
基于签名的ML后门是“不可检测的黑盒”。这意味着，如果您只能访问输入和输出，您将无法区分安全和后门ML模型之间的区别。但是，如果机器学习工程师仔细查看模型的架构，他们将能够判断它已被篡改以包含数字签名机制。
在他们的论文中，研究人员还提出了一种白盒检测不到的后门技术。研究人员写道：“即使给出了返回分类器的权重和架构的完整描述，也没有有效的区分器可以确定模型是否有后门。”
白盒后门尤其危险，因为它们也适用于在线存储库上发布的开源预训练ML模型。
“我们所有的后门结构都非常有效，”扎米尔说。“我们强烈怀疑，对于许多其他机器学习范式，类似的有效结构也应该是可能的。”
研究人员通过使它们对机器学习模型的修改具有鲁棒性，使无法检测到的后门更进一步。在许多情况下，用户会得到一个预先训练好的模型并对它们进行一些细微的调整，例如根据额外的数据对其进行微调。研究人员证明，后门良好的ML模型对此类变化具有鲁棒性。
“这个结果与之前所有类似结果的主要区别在于，我们首次证明无法检测到后门，”Zamir说。“这意味着这不仅仅是一种启发式方法，而是一个数学上合理的问题。”
信任机器学习管道
这篇论文的发现尤其重要，因为依赖预先训练的模型和在线托管服务正在成为机器学习应用程序中的常见做法。训练大型神经网络需要许多组织不具备的专业知识和大量计算资源，这使得预训练模型成为一种有吸引力且易于使用的替代方案。使用预训练模型也得到推广，因为它减少了训练大型机器学习模型的惊人碳足迹。
机器学习的安全实践尚未赶上其在不同行业的广泛使用。正如我之前所讨论的，我们的工具和实践还没有为新的深度学习漏洞做好准备。安全解决方案主要用于发现程序给计算机的指令或程序和用户的行为模式中的缺陷。但机器学习漏洞通常隐藏在其数以百万计的参数中，而不是运行它们的源代码中。这使得恶意行为者可以轻松地训练后门深度学习模型并将其发布到预训练模型的多个公共存储库之一，而不会触发任何安全警报。
该领域的一项值得注意的工作是对抗性ML威胁矩阵，这是一个用于保护机器学习管道的框架。Adversarial ML Threat Matrix将用于攻击数字基础设施的已知和记录在案的策略和技术与机器学习系统独有的方法相结合。它可以帮助识别用于训练、测试和服务ML模型的整个基础架构、流程和工具中的弱点。
与此同时，微软和IBM等组织正在开发开源工具，以帮助解决机器学习中的安全性和稳健性问题。
Zamir和他的同事的工作表明，随着机器学习在我们的日常生活中变得越来越重要，我们还没有发现和解决新的安全问题。“我们工作的主要收获是，外包培训程序然后使用接收到的网络的简单范例永远不会安全，”扎米尔说。
本文最初由Ben Dickson在TechTalks上发表，该出版物探讨了技术趋势、它们如何影响我们的生活和经商方式以及它们解决的问题。但我们也讨论了技术的邪恶面、新技术的黑暗含义以及我们需要注意的事项。
