资源简介

(共34张PPT)
第七单元 第6课
深度学习的挑战：对抗样本
清华版（中学）
通
1
学习目标
3
新知讲解
5
拓展延伸
7
板书设计
2
新知导入
4
课堂练习
6
课堂总结
课后作业
8
01
教学目标
（1）理解对抗样本的概念及其生成方式。
（2）了解对抗样本的成因，认识神经网络的局限性和脆弱性。
（3）探讨对抗样本带来的潜在风险及主要防范措施。
02
新知导入
1. 对抗样本的定义与现象
如果在一张“猪”的图片中加入一些噪声，这些噪声小到人类几乎无法察觉，神经网络却将它误识成“飞机”。这种让神经网络产生错觉的特殊样本被称为“对抗样本”，暴露了模型的脆弱性。
02
新知导入
2. 对抗样本的生成与原因
对抗样本通过优化算法针对性生成扰动，其根源在于高维输入空间的线性特性、模型过度敏感及决策边界的不规则性。
02
新知导入
3. 风险与防御需求
对抗样本揭示模型在如自动驾驶、医疗诊断的 安全关键场景 中的潜在风险，亟需开发 鲁棒训练 （如对抗训练）、 输入检测 等防御机制。
03
新知讲解
1
什么是对抗样本
1. 对抗样本的核心特征
对抗样本是 人眼难以察觉 但能导致神经网络 高置信度错误分类 的微小扰动样本。简单来说，就是那些看起来和普通样本没什么区别，但却能让深度神经网络产生错误判断的样本。
03
新知讲解
1
什么是对抗样本
2. 扰动影响的极端案例
在安全关键场景， 微小扰动可引发致命误判。如在红绿灯中加入了一个小点，机器就把红灯识别成了绿灯。
03
新知讲解
1
什么是对抗样本
3. 对抗样本的生成方式
不是随便添加一些噪声就可以成为对抗样本的，必须是特殊设计的噪声才行。通常是找到一个让模型输出变化最大的方向，在这个方向对照片做微小修改，即可得到一个对抗样本。
03
新知讲解
1
什么是对抗样本
4. 对抗样本的普遍性与隐蔽性
扰动无需针对特定模型， 跨模型迁移性 强，且人类无法直观识别，使其成为隐蔽的安全威胁。
03
新知讲解
1. 对抗样本的普遍性与系统性风险
对抗样本是深度神经网络的 普遍缺陷 ，任何输入均可通过针对性扰动（如噪声、旋转）被误判为任意目标类别。
2
对抗样本的生成方式
03
新知讲解
2. 对抗样本的生成方法
对抗样本可通过基于梯度的攻击（如FGSM）生成微小扰动，或通过旋转、缩放等实现几何欺骗，共同暴露神经网络对输入变化的过度敏感性。
2
对抗样本的生成方式
03
新知讲解
3. 安全挑战与防御紧迫性
对抗样本的 高成功率 与 跨模型迁移性 表明其非偶然性，需通过对抗训练、输入净化等技术提升模型鲁棒性，应对安全关键领域的潜在威胁。
2
对抗样本的生成方式
03
新知讲解
3
对抗样本的成因
1. 脆弱性的具体表现
神经网络过度依赖局部伪特征（如斑点），而忽略全局语义（如形状），导致微小扰动对人类无关却对模型产生颠覆性影响
03
新知讲解
3
对抗样本的成因
2. 对抗样本的研究价值
对抗样本的研究价值在于揭示模型缺陷、指导改进设计、并评估安全可靠性，为高风险领域的AI部署提供关键保障。
03
新知讲解
3
对抗样本的成因
3. 实际应用的警示与应对
对抗样本警示在 高风险领域 需谨慎部署神经网络，并推动发展对抗训练、可解释AI等技术以增强模型信任度。
03
新知讲解
4
对抗样本的风险与防范
1. 对抗样本的现实风险
对抗样本在 安全关键领域造成严重威胁，例如：篡改路牌导致误判、特制眼镜欺骗身份认证，揭示AI系统的脆弱性。
03
新知讲解
4
对抗样本的风险与防范
2.主流防御技术
对抗训练、输入预处理和集成投票是提升模型鲁棒性的核心防御策略，分别通过数据增强、噪声干扰和集体决策来抵御对抗样本攻击。
03
新知讲解
4
对抗样本的风险与防范
3. 防御策略的核心目标
通过 技术加固 （如对抗训练）与 系统冗余 （如多模型投票），增强模型在真实场景中的可靠性，确保AI应用的安全部署。
03
新知讲解
5
总结
1. 对抗样本的本质：人机认知差异
对抗样本揭示了神经网络与人类在 特征感知 与 决策逻辑 上的根本差异：机器依赖统计上有效但缺乏语义可解释性的局部模式，而人类关注全局语义一致性。
03
新知讲解
5
总结
2. 风险来源：隐蔽性与恶意利用
对抗样本的隐蔽性（人眼不可察扰动）与可攻击性（恶意系统生成）共同构成对安全关键系统的双重威胁。
03
新知讲解
5
总结
3. 当前局限与未来挑战
对抗训练可部分缓解但无法根除风险，因 机器与人类的物质基础与学习机制存在本质不同 ，需持续探索可解释AI、因果推理等新范式以弥合认知鸿沟。
03
新知讲解
思
考
与
讨
论
（1）在推动AI发展中，需通过“设计即安全”原则（如内置鲁棒性测试、伦理审查机制）将风险防控前置化，实现创新与安全的动态平衡。
1. 在推动AI技术发展的同时，我们应该如何平衡技术创新与安全风险防控？
04
课堂练习
一、判断题。
1. 对抗样本是人眼容易察觉的明显扰动样本。 ( )
2. 对抗样本只对特定的神经网络模型有效，不具备跨模型迁移性。 ( )
3. 对抗样本可以通过物理空间攻击（如旋转、缩放）生成。 ( )
4. 对抗训练是通过使用更简单的模型来避免对抗样本的影响。 ( )
5. 对抗样本的存在表明神经网络与人类在特征感知和决策逻辑上存在根本差异。 ( )
×
×
×
√
√
04
课堂练习
二、选择题
1. 对抗样本的核心特征是什么？（ ）
A. 人眼容易察觉的明显扰动 B. 导致模型低置信度的错误分类
C. 人眼难以察觉的微小扰动导致高置信度错误分类 D. 只对特定模型有效
2. 以下哪项是对抗样本的生成方式？（ ）
A. 增加图像分辨率 B. 基于梯度的攻击（如FGSM） C. 使用更多训练数据 D. 增加网络深度
3. 对抗样本的主要风险体现在：（ ）
A. 提高模型训练速度 B. 在安全关键场景（如自动驾驶）导致严重误判
C. 使模型更易于解释 D. 减少模型计算资源消耗
B
C
B
04
课堂练习
三、填空题
1. 对抗样本是通过添加 的微小扰动生成的输入，能导致深度神经网络高置信度地错误分类。
2. 对抗样本的生成方法包括基于梯度的攻击（如FGSM）和 攻击（如旋转、缩放）。
3. 对抗样本的根源在于神经网络学习到的特征与 存在认知偏差。
4. 主流的防御技术包括对抗训练、输入预处理和 。
5. 对抗样本的存在揭示了机器与人类在 上的根本差异。
人眼不可察
物理空间
人类认知
集成投票
特征感知与决策逻辑
05
拓展延伸
1.对抗样本的可迁移性 ：对抗样本能够跨模型迁移是因为不同神经网络在高维空间中的决策边界具有相似性，使针对一个模型生成的扰动对其他模型也有效。
05
拓展延伸
2. 人类视觉与机器视觉的差异 ：人类依赖全局语义和上下文理解图像，而机器视觉主要基于局部统计特征（如纹理、梯度），导致对扰动的敏感性不同。
05
拓展延伸
3. 对抗训练的数学原理 ：通过在训练过程中引入对抗样本并优化最小化损失函数（如PGD攻击下的鲁棒优化），迫使模型学习更稳健的特征表示。
06
课堂总结
1
什么是对抗样本？
2
对抗样本的生成方式
3
对抗样本的成因
4
对抗样本的风险与防范
5
进行相关知识拓展
1
2
3
4
5
深度学习的挑战：对抗样本
07
板书设计
深度学习的挑战：对抗样本
1、什么是对抗样本？
2、对抗样本的生成方式
3、对抗样本的成因
4、对抗样本的风险与防范
5、进行相关知识拓展
课后作业。
1、请简述什么是对抗样本，并说明它的两个基本特征。
08
课后作业
（1）对抗样本 是通过添加人眼不可察的微小扰动（如噪声）生成的输入，能导致神经网络高置信度错误分类（如狗→飞机），其两大特征为：
隐蔽性 （人类难以察觉）；
高误导性 （模型错误但自信）。
1. 请简述什么是对抗样本，并说明它的两个基本特征。
https://www.21cnjy.com/recruitment/home/fine

展开更多......

收起↑