背景

自2016年谷歌AlphaGo击败人类围棋顶尖选手后，其背后的核心技术-深度强化学习（Deep Reinforcement Learning, DRL）广受各界关注，并已应用于金融、机器人、自动驾驶等领域的部分环节中。然而，深度强化学习存在决策过程不透明、不可解释甚至不可信任的风险，成为阻碍其广泛落地应用的原因之一。因此，研究深度强化学习的鲁棒性是近年来各界重点关注。

论文成果

《Attacking Deep Reinforcement Learning with Decoupled Adversarial Policy》

本论文从对抗攻击的角度展开深度强化学习系统的鲁棒性研究，提出一种称为解耦的对抗策略算法（Decoupled Adversarial Policy, DAP），由对抗攻击策略与优化方法组成，流程如图1所示。对抗攻击策略由两个子策略组成: 1) 攻击时机选择策略，负责找出待分析系统的脆弱时机。2) 诱导策略，负责在系统处于脆弱时机时以何种形式发动攻击。优化方法方面，论文分析了现有技术求解该策略的困难性，相应地提出了解耦的近端策略优化算法(Decoupled Proximal Policy Optimization, DPPO)、轨迹裁剪和填充等技术。本文分别从实验结果和时间复杂性分析证明了算法的高效性，在同样的参数设定下，DAP分别以20.3倍和3倍注入次数优于两种SOTA技术。除此之外，本文是首款单步运行时长在毫秒级单位的对抗攻击框架。

意义

以AlphaGo围棋程序为例，使用DAP框架可以自动的找出程序下棋过程中可能存在的脆弱策略，即诸如“一子下错满盘皆输”中不能下错的“一子”集合（漏洞），找到了这些关键集合后，后续就可以针对性防御。对于一般的以深度强化学习技术为内核的决策系统，使用本文所提框架，可以高效的对其鲁棒性进行分析，定位出其可能存在的脆弱策略，进而找到模型漏洞，为构建安全、可靠、可信的智能系统提供关键支撑。

作者介绍

广州大学人工智能与区块链研究院研究生 莫康华

该论文第一作者为黄埔研究院进驻科研机构人工智能与区块链研究院硕士研究生莫康华，导师李进教授，论文合作者包括智研院唐伟轩副教授和美国路易斯安那大学袁旭副教授。

期刊介绍

IEEE Transactions on Dependable and Secure Computing (IEEE TDSC)为网络与信息安全领域全球最顶级的刊物，为SCI 1区刊物，在中国计算机学会（CCF）网络信息安全领域推荐的A类刊物中排名第一。