资源简介

(共28张PPT)
第七单元 第9课
深度学习挑战：对抗样本
清华版（小学）
通
1
学习目标
3
新知讲解
5
拓展延伸
7
板书设计
2
新知导入
4
课堂练习
6
课堂总结
课后作业
8
01
教学目标
（1)认识对抗样本的基本概念。
（2）了解对抗样本带来的风险和应对对抗样本的方法，提高网络安全意识。
02
新知导入
对抗样本的欺骗性
人为轻微扰动后的图像的对抗样本能诱使神经网络以高置信度输出错误分类，如将物体误判为“金鱼”，暴露模型对非语义扰动的极端敏感性。
02
新知导入
安全漏洞的本质
这一现象揭示神经网络依赖表面统计特征而非本质语义理解，导致攻击者可通过精心设计的人眼不可见的噪声操控决策结果。
02
新知导入
防御与启示的双向需求
技术防御 ：需开发鲁棒训练方法增强模型抗干扰能力，如对抗训练。
认知升级 ：提醒人类警惕AI系统在安防等关键场景的潜在脆弱性，避免过度信任
03
新知讲解
1
什么是对抗样本
对抗样本的发现与特性
2013年研究者发现，深度神经网络对人为添加的微小扰动极度敏感，会以高置信度输出完全错误的分类结果，如图熊猫图片的噪声被误判为长臂猿。
03
新知讲解
1
什么是对抗样本
人机感知的差异性
对抗样本对人眼几乎无差别，却彻底误导AI系统，揭示神经网络依赖 非语义特征 而非人类理解的视觉本质。
03
新知讲解
1
什么是对抗样本
攻击的可控性与威胁
通过FGSM算法的定向噪声，攻击者可精确操控模型输出特定错误结果（如强制将鸭子识别为马），暴露了AI系统在安防、医疗等领域的潜在风险。
03
新知讲解
1
什么是对抗样本
对抗样本的生成原理
FGSM等算法通过计算 梯度方向，迭代微调输入，使目标类神经元激活最强的像素调整路径，如熊猫图向长臂猿方向扰动，实现“人眼不可察，AI必中招”的攻击效果。
03
新知讲解
1
什么是对抗样本
现实与实验的差异
当前对抗样本多为实验室人为生成，自然界中难以自然存在，但已足够警示AI系统在对抗环境中的脆弱性。
03
新知讲解
2
对抗样本的风险
对抗样本的隐蔽性与危害性
在红绿灯上添加人眼不可察觉的小点，即可诱使自动驾驶系统将红灯误判为绿灯，揭示对抗样本在交通信号识别等关键场景中的致命风险。
03
新知讲解
2
对抗样本的风险
攻击手段的多样化
从静态图像（“停止”标牌贴胶条）到动态生物特征（对抗眼镜欺骗人脸识别），对抗样本攻击已覆盖多模态系统（如指纹、声纹），暴露了AI安全防御的广泛漏洞。
03
新知讲解
2
对抗样本的风险
安全威胁的普适性
2016年卡内基-梅隆大学的对抗眼镜实验证明，连生物特征识别这类高安全需求场景也无法免疫攻击，需重新评估AI系统的可靠性边界。
03
新知讲解
2
对抗样本的风险
防御与攻击的持续博弈
当前对抗样本多为定向攻击，如FGSM算法生成，但自然界潜在扰动（如恶劣天气干扰摄像头）提示需开发鲁棒性更强的AI模型以应对现实威胁。
03
新知讲解
爱
思
考
1.人机感知的本质差异 ：
人类视觉受生物特性限制，而神经网络能捕捉更细微的模式，但这些模式可能缺乏实际语义意义。
2.对抗样本的固有性 ：
深度学习基于统计的特性使其天然存在脆弱性，攻击者可通过精心设计的扰动操控模型输出。
3.缓解而非消除的防御策略 ：
现有方法只能部分提高模型鲁棒性，需要继续研究更安全可靠的新方法。
03
新知讲解
爱
思
考
思考：1.为什么深度学习模型容易被对抗样本攻击？
（1）深度学习依赖统计特征，如像素组合规律，可能学习到非语义的虚假关联（如“牛=绿色背景”），攻击者通过修改背景色等针对性扰动即可操控结果。
04
课堂练习
一、填空题。
1.对抗样本通过添加 使模型产生错误判断。
2.FGSM算法通过计算 方向生成对抗样本。
3. 训练是一种将对抗样本加入训练数据的防御方法。
4.对抗样本可能让自动驾驶系统将 误判为绿灯。
5.人类视觉依赖 理解，而神经网络依赖统计特征。
微小扰动
梯度
梯度
对抗
语义
04
课堂练习
二、判断题。
1.对抗样本对人眼和AI系统的影响完全相同。（ ）
2.FGSM算法通过随机噪声生成对抗样本。（ ）
3.对抗样本只能针对图像识别系统，无法攻击语音或文本模型。（ ）
4.对抗训练是一种通过加入对抗样本来提升模型鲁棒性的方法。（ ）
5.对抗样本的存在意味着所有AI系统都不可靠。（ ）
×
√
×
×
×
04
课堂练习
三、选择题。
1.对抗样本能够欺骗深度学习模型的主要原因是？ ( )
A. 模型计算速度太慢 B. 模型依赖表面统计特征而非语义理解
C. 模型使用了过少的训练数据 D. 模型外观设计有缺陷
2.FGSM算法生成对抗样本的核心原理是？ ( )
A. 随机修改图片颜色 B. 沿梯度方向添加微小扰动
C. 完全重新绘制图片 D. 删除图片中的关键部分
3.以下哪项是当前防御对抗样本的有效方法？ ( )
A. 完全依赖单一模型 B. 对抗训练
C. 减少模型层数 D. 关闭所有神经网络
B
B
B
05
拓展延伸
1.对抗训练的数学原理
通过极小极大优化（min-max）框架，在训练过程中主动生成并防御对抗样本，使模型在扰动下仍能保持稳定预测。
05
拓展延伸
2.生物特征认证的防御
结合活体检测（如动态纹理分析）和多模态融合（指纹+人脸），增强系统对对抗样本攻击的鲁棒性。
05
拓展延伸
3.神经网络的因果鲁棒性
利用因果推理方法（如反事实干预）引导模型学习本质语义特征，而非易受扰动的统计相关性。
06
课堂总结
1
什么是对抗样本
2
人机感知的差异性
3
完成课堂练习
4
进行相关知识拓展
1
2
4
5
深度学习挑战：对抗样本
4
对抗样本的风险
3
07
板书设计
深度学习挑战：对抗样本
1、什么是对抗样本
2、 人机感知的差异性
3、对抗样本的风险
4、完成课堂练习
5、进行知识拓展
课后作业。
1、我们目前有哪些防御手段？
08
课后作业
思考：1.我们目前有哪些防御手段？
（1）数据增强 ：训练时加人随机噪声提升鲁棒性
（2）模型集成 ：多模型投票降低单一模型被攻击风险
（3）对抗训练 ：主动生成对抗样本并加入训练数据
https://www.21cnjy.com/recruitment/home/fine

展开更多......

收起↑