深度学习模型鲁棒性研究综述

被引：51

作者：

纪守领 ^{[1
]}

杜天宇 ^{[1
]}

邓水光 ^{[1
]}

程鹏 ^{[2
]}

时杰 ^{[3
]}

杨珉 ^{[4
]}

李博 ^{[5
]}

机构：

[1] 浙江大学计算机科学与技术学院

[2] 浙江大学控制科学与工程学院

[3] 华为新加坡研究所

[4] 复旦大学计算机科学技术学院

[5] 伊利诺伊大学香槟分校计算机科学学院

来源：

计算机学报 | 2022年 / 45卷 / 01期

基金：

浙江省自然科学基金; 国家重点研发计划;

关键词：

深度学习; 对抗样本; 鲁棒性分析; 人工智能安全;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

在大数据时代下,深度学习理论和技术取得的突破性进展,为人工智能提供了数据和算法层面的强有力支撑,同时促进了深度学习的规模化和产业化发展.然而,尽管深度学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.为了构建安全可靠的深度学习系统,消除深度学习模型在实际部署应用中的潜在安全风险,深度学习模型鲁棒性分析问题吸引了学术界和工业界的广泛关注,一大批学者分别从精确和近似的角度对深度学习模型鲁棒性问题进行了深入的研究,并且提出了一系列的模型鲁棒性量化分析方法.在本综述中,我们回顾了深度学习模型鲁棒性分析问题当前所面临的挑战,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足,最后探讨了深度学习模型鲁棒性研究以及未来潜在的研究方向.

引用

页码：190 / 206

页数：17

共 29 条

[1] 深度伪造与检测技术综述 [J].

李旭嵘 ;

纪守领 ;

吴春明 ;

刘振广 ;

邓水光 ;

程鹏 ;

杨珉 ;

孔祥维 .

软件学报, 2021, 32 (02) :496-518

[2] 机器学习模型安全与隐私研究综述 [J].

纪守领 ;

杜天宇 ;

李进锋 ;

沈超 ;

李博 .

软件学报, 2021, 32 (01) :41-67

[3] 机器学习模型可解释性方法、应用与安全研究综述 [J].

纪守领 ;

李进锋 ;

杜天宇 ;

李博 .

计算机研究与发展, 2019, 56 (10) :2071-2096

[4]

CNN-Cert: An Efficient Framework for Certifying Robustness of Convolutional Neural Networks[J] . Akhilan Boopathy,Tsui Wei Weng,Pin Yu Chen,Sijia Liu,Luca Daniel.Proceedings of the AAAI Conference on Artificial Intelligence . 2019

[5]

An abstract domain for certifying neural networks[J] . Gagandeep Singh,Timon Gehr,Markus Püschel,Martin Vechev.Proceedings of the ACM on Programming Languages . 2019 (POPL)

[6]

Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming[J] . Mahyar Fazlyab,Manfred Morari,George J. Pappas.CoRR . 2019

[7]

A Provable Defense for Deep Residual Networks[J] . Matthew Mirman,Gagandeep Singh,Martin T. Vechev.CoRR . 2019

[8]

Towards Stable and Efficient Training of Verifiably Robust Neural Networks[J] . Huan Zhang 0001,Hongge Chen,Chaowei Xiao,Bo Li 0026,Duane S. Boning,Cho-Jui Hsieh.CoRR . 2019

[9]

Achieving Verified Robustness to Symbol Substitutions via Interval Bound Propagation[J] . Po-Sen Huang,Robert Stanforth,Johannes Welbl,Chris Dyer,Dani Yogatama,Sven Gowal,Krishnamurthy Dvijotham,Pushmeet Kohli.CoRR . 2019

[10]

Probabilistic Verification and Reachability Analysis of Neural Networks via Semidefinite Programming[J] . Mahyar Fazlyab,Manfred Morari,George J. Pappas.CoRR . 2019

← 1 2 3 →