预防 AI 被误导，IBM 开源检测模型及对抗攻击工具箱

内容简介：为了防止 AI 模型受误导产生错误的判断，研究人员需要经过不断的模拟攻击来确保 AI 模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox，来协助开发人员加强针...

为了防止 AI 模型受误导产生错误的判断，研究人员需要经过不断的模拟攻击来确保 AI 模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的 工具 箱 Adversarial Robustness Toolbox，来协助开发人员加强针对深度神经网路攻击的防御性，让 AI 系统变得更加安全。

近几年 AI 在认知问题上取得不少突破，生活中许多任务也都开始加入 AI 技术，像是辨识图像和影片中的物体、语音转文字、机器翻译等。不过，深度学习网络若受到设计过的干扰讯号影响，很容易产生错误的判断，而这类型的干扰是人类难以察觉的，有心人可能会利用这样的弱点，误导 AI 模型的判断，用于不当的行为。

Adversarial Robustness 工具箱目前主要提供增强电脑视觉辨识的防御性，给开发人员提供新型防御技术，并在实际部署 AI 模型时也能防御恶意的误导攻击，该工具箱是用 Python 撰写而成，因为 Python 是建立、测试和部署深度神经网路最常用的语言，包含了对抗和防御攻击的方法。

首先，开发人员可以用该工具箱检测深度神经网路的稳固性，主要记录了模型对不同干扰的输出结果，再透过攻击的资料集来强化 AI 模型，最后标注攻击模式和讯号，防止模型因干扰讯号，产生错误结果。

Adversarial Robustness 工具箱目前支持 TensorFlow 和 Keras，未来预计会支持更多框架，像是 PyTorch 或 MXNet，现阶段主要是提供图像识别的防御，未来将会增加更多领域的版本，像是语音识别、文字识别或和时间序列等。

来自：iThome

【声明】文章转载自：开源中国社区 [http://www.oschina.net]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。