机器学习代理中的隐写术新方法

威斯康星大学麦迪逊分校和阿默斯特学院的研究人员最近在机器学习领域引入了一种新形式的隐写术，称为“训练集伪装”。他们的框架在arXiv上预先发表的论文中概述，允许机器学习代理隐藏第三方观察者的任务意图和目标。

隐写术是一种加密技术，通过在其他消息中嵌入消息来保护或隐藏数据。在他们最近的研究中，威斯康星大学麦迪逊分校的研究人员特别考虑了机器学习代理(Alice)试图在秘密分类任务上训练第二个代理人(Bob)而没有窃听第三个代理人(夏娃)学习的情景。它。

研究人员在他们的论文中写道：“想象爱丽丝有一个关于非法机器学习分类任务的训练集。“爱丽丝希望Bob(机器学习系统)学习任务。但是，如果通信受到监控，向Bob发送训练集或训练模型会引起怀疑。”

在研究人员设想的场景中，名为Eve的第三个代理承担了监视Alice和Bob之间通信的数据验证者的角色。当Eve对Alice发送Bob的内容产生怀疑时，她可以终止他们之间的通信，拒绝提供他们正在交换的数据。Eve作为一名审核员，在将培训数据集传递给学习者之前，试图弄清楚培训数据集是否合法。

“发送私人训练集将揭示爱丽丝的意图;发送模型参数方向也会引起怀疑，”研究人员在他们的论文中解释道。“爱丽丝必须伪装通信，让它看起来平安至夏娃，同时避免事先与鲍勃过多的编码技巧。”

研究人员设计的隐写方法允许Alice在完全不同且看似良性的分类任务上计算第二组训练集，而不会引起Eve的怀疑。它通过查找看起来可以应用于特定任务的数据集来实现这一点，而事实上它可以教导代理在不同的任务中表现良好。通过将其标准学习算法应用于该第二训练集，Bob可以近似恢复原始任务上的分类器。

研究人员设计的速记方法有点像侥幸，因为它出现在机器学习领域的一个不相关的项目中。他们开发的系统创建了一系列教学集，其中一个包含一个错误标记的点。这鼓励他们调查代理是否可以教另一个代理如何完成任务，同时用另一个任务伪装它。

研究人员使用真实的分类任务进行了一系列实验，并证明了他们的方法的可行性。他们的研究表明，通过利用以下事实可以隐藏大量信息：对于任何给定的任务，有几个模型可以在其上表现良好。

参与该研究的一些研究人员现在正在进行隐写术领域的进一步研究。其他人，如斯科特·阿尔费尔德，正在研究攻击者在连续空间中扰乱训练实例的对抗性设置，而不是像训练集伪装那样选择一个例子的子集。