资源简介

(共35张PPT)
第七单元 第7课
深度学习挑战：可解释性
清华版（中学）
通
1
学习目标
3
新知讲解
5
拓展延伸
7
板书设计
2
新知导入
4
课堂练习
6
课堂总结
课后作业
8
01
教学目标
（1）理解神经网络可解释性的重要性及其缺失带来的挑战。
（2）了解局部解释与全局解释的方法及其在实践中的应用。
（3）探讨可解释性缺失的深层原因及应对策略。
01
教学目标
02
新知导入
1. 可解释性缺失的核心问题
深度学习的"黑盒"特性表现为 输入-输出关系明确但内部决策逻辑不可追溯 ，导致模型行为难以被人类理解或验证。
02
新知导入
2. 应用限制与安全风险
在 医疗诊断、金融风控等领域 ，不可解释性可能引发误判且无法归因，阻碍技术落地与用户信任。
02
新知导入
3. 研究紧迫性与方向
破解黑盒需发展 可解释AI技术 ，如特征可视化、注意力分析，平衡模型性能与透明性，以满足伦理审查和行业监管的刚性需求。
03
新知讲解
1
什么是神经网络的可解释性？
1. 可解释性的核心定义
可解释性要求模型不仅展示" 做了什么 "，还需阐明" 为什么这么做 "，即决策过程的透明性与逻辑可追溯性。
03
新知讲解
1
什么是神经网络的可解释性？
2. 神经网络的可解释性困境
神经网络的复杂非线性结构和数值计算特性，导致其决策过程难以解析并与人类可理解的逻辑建立直接对应关系。
03
新知讲解
1
什么是神经网络的可解释性？
3. 可解释性缺失的根本原因
神经网络的 分布式表征 与 层级非线性变换 使中间特征缺乏语义对应性，即便知晓每步计算，仍无法还原整体决策逻辑。
03
新知讲解
1
什么是神经网络的可解释性？
4. 高风险领域的应用限制
不可解释性导致高风险领域出现责任归属困难和用户信任危机，阻碍技术落地。
03
新知讲解
1
什么是神经网络的可解释性？
5. 技术挑战与研究需求
需开发 特征可视化 （如CNN激活图）、 注意力机制分析 （如Transformer）、 简化代理模型 （如决策树替代）等方法，弥合机器决策与人类理解的鸿沟。
03
新知讲解
1
什么是神经网络的可解释性？
6. 可解释性的双重价值
可解释性在技术层面提升模型调试效率，在社会层面满足伦理合规要求，共同推动AI在关键领域的安全落地。
03
新知讲解
1. 局部解释方法的功能定位
局部解释方法通过 “事后分析” 为单个样本的决策提供依据，辅助理解模型在特定场景下的行为逻辑。
2
局部解释方法
03
新知讲解
2. 可视化技术的核心实现
利用 热力图突出输入中对决策关键的区域，直观揭示模型的注意力分布与错误根源。
2
局部解释方法
03
新知讲解
3. 局部解释的双重价值
局部解释方法通过诊断模型依赖的特征或错误原因，为模型优化和数据标注提供改进依据。
2
局部解释方法
03
新知讲解
3
全局解释方法
1. 局部解释与全局解释的互补性
局部解释分析单个样本的决策依据，全局解释揭示模型整体层级语义抽象过程，二者互补构成可解释性分析框架。
03
新知讲解
3
全局解释方法
2. 全局解释的核心发现
神经网络从浅层到深层呈现 模式复杂性递增 （线条→纹理→物体→场景），且不同任务训练的模型在 高层语义表征分化，与人类认知进化一致。
03
新知讲解
3
全局解释方法
3. 代理模型法的创新思路
用 简单可解释模型 近似复杂网络行为，通过特征权重分析揭示决策逻辑，提供“黑盒”模型的透明化工具。
03
新知讲解
4
总结
1. 可解释性方法的分类与局限
当前方法多为“ 事后解释 ”，在训练后分析模型行为；而“ 事前解释 ”通过设计结构可读的模型，但常以性能下降为代价。
03
新知讲解
4
总结
2. 可解释性困境的根本原因
神经网络的 高自由度 与 分布式表征 导致其学习与人类决策逻辑偏离的复杂模式，这些模式难以用人类可理解的语言或逻辑呈现。
03
新知讲解
4
总结
3. 从解释到控制的范式转变
部分研究者主张以“ 可控性 ”替代“可解释性”，通过多模型集成、冗余校验等技术降低风险，在保持性能的同时确保系统可靠性，适应AI应用规模化需求。
03
新知讲解
4
总结
对比思考
局部解释方法与全局解释方法有什么不同？
03
新知讲解
思
考
与
讨
论
（1）在医疗诊断、金融风控等高风险领域应优先考虑可解释性，以确保决策透明和责任追溯。
1. 在AI系统设计中，模型的可解释性和高性能往往难以兼得。请讨论：在什么情况下应该优先考虑可解释性？
04
课堂练习
一、判断题。
1. 可解释性要求模型只需展示输出结果，不需要解释决策过程。 ( )
2. 局部解释方法可以分析模型在单个样本上的决策依据。 ( )
3. 神经网络的可解释性困境主要是因为模型太过简单。 ( )
4. 全局解释方法发现不同任务训练的神经网络在浅层特征上差异很大。 ( )
5. “可控性”主张通过技术手段降低系统风险，而不强求完全理解模型内部逻辑。 ( )
×
×
×
√
√
04
课堂练习
二、选择题
1. 可解释性缺失在高风险领域可能导致：（ ）
A. 模型训练速度加快 B. 责任归属困难和用户信任危机
C. 模型计算资源减少 D. 数据需求量降低
2. 局部解释方法（如热力图）的主要作用是：（ ）
A. 提升模型预测准确率 B. 为单个样本决策提供依据
C. 减少模型参数数量 D. 加速模型训练过程
3.全局解释方法发现神经网络从浅层到深层：（ ）
A. 模式复杂性递减 B. 模式复杂性递增 C. 参数数量减少 D. 计算速度变慢
B
B
B
04
课堂练习
三、填空题
1. 可解释性要求模型不仅展示“做了什么”，还需阐明“ ”，即决策过程的透明性与逻辑可追溯性。
2. 局部解释方法通过 为单个样本的决策提供依据全局解释揭示模型整体层级语义抽象过程，如CNN从浅层 到高层场景的演变。
3. 神经网络的 与分布式表征导致其学习与人类决策逻辑偏离的复杂模式。
4. 部分研究者主张以“ ”替代“可解释性”，通过多模型集成等技术降低风险。
为什么这么做
事后分析
线条
高自由度
可控性
05
拓展延伸
1. 可解释AI（XAI）的技术分类 ：分为 事后解释 （如热力图、代理模型）和 事前解释 （如决策树、规则模型）两类技术。
05
拓展延伸
2.人类认知与机器认知的差异 ：人类依赖逻辑推理和语义理解，而机器基于统计模式，导致决策逻辑难以直接对应。
05
拓展延伸
3. 领域特定的可解释性需求 ：医疗、金融、司法等领域要求高可解释性，而推荐系统等低风险场景可适当放宽。
06
课堂总结
1
什么是神经网络的可解释性？
2
局部解释方法
3
全局解释方法
4
总结
5
进行相关知识拓展
1
2
3
4
5
深度学习挑战：可解释性
07
板书设计
深度学习挑战：可解释性
1、什么是神经网络的可解释性？
2、局部解释方法
3、全局解释方法
4、总结
5、进行相关知识拓展
课后作业。
1、请简述局部解释和全局解释的区别，并各举一个实际应用例子。
08
课后作业
（1）局部解释 分析单个样本的决策依据（如医疗影像诊断中的热力图），而 全局解释 揭示模型整体行为规律（如自动驾驶系统对道路标志的通用识别逻辑）。
1.请简述局部解释和全局解释的区别，并各举一个实际应用例子。
https://www.21cnjy.com/recruitment/home/fine

展开更多......

收起↑