资源简介

(共14张PPT)
第8课　
注意力与文本生成
第二单元　文本的智能生成
第8课 课堂导入
问题情境
人们阅读文稿时会不自觉地聚焦关键段落或关键词句，人工智能是否也能通过“数字化注意力”自动识别文本中的重要信息呢？
第8课 学习内容
一 认识注意力机制
二 体验注意力机制
学习内容
第8课 学习内容
一、认识注意力机制
活动一接力情况示例
接下来，组建一支5到7人的造句队伍，通过两个接力造句活动，体验注意力机制的作用。
活动二接力情况示例
1.第1位成员想到一个词（字），写在卡片上，并把自己写的词展示给第2位成员，两人不能交流。
2.第2位成员按照造句的要求和自己的理解，想一个词（字）写在卡片上。
3.第2位成员将自己写的词展示给第3位成员，然后第3位成员想一个词（字）写在卡片上。
4.以此类推，直到造句队伍最后一个人写完。大家同时展示卡片。
第8课 学习内容
一、认识注意力机制
接力过程情况示例
……
第8课 学习内容
一起来讨论活动一的过程与结果。
从前往后依次朗读，形成的句子是否有意义？是否与不同成员设想的结果一致？
一、认识注意力机制
……
为什么每个人心中设想的句子不一样？
为什么人越多，句子越偏离原意？
第8课 学习内容
正如人们在阅读时会关注关键词句一样，人工智能也需要一种机制来记住并聚焦重要信息。
一、认识注意力机制
……
传递过程中，后面的成员无法获悉前面成员的意图，导致了句意偏离或逻辑混乱等现象。
由于无法判断哪些词更重要，也无法回溯前文的重点，因此生成的文本语义不连贯。
1.选出一位评价者。第1位成员将所想的词（字）写在黑板上，评价者按总分100分给已有内容打分。
2.第2位成员把自己想的词写在黑板上，评价者根据重要性给词打分。
3.第3位成员继续上面的工作，评价者给词打分。
4.继续类似的工作，每个人根据前面的词和分数猜测句子的重点，然后填写后续词，评价者打分。
5.活动结束后，查看此时组成的句子。
第8课 学习内容
一、认识注意力机制
接力过程情况示例
……
第8课 学习内容
……
一起来说一说活动二的过程与结果。
由于后续每个人都能看到前面已有的词，还能通过分数了解重点，因而生成的句子更有逻辑，也更容易聚焦观点与意图。
每一轮造句时标出已有字词的重要性，可以帮助后续成员更好地理解句子的重点和方向。
一、认识注意力机制
第8课 学习内容
在活动二中，每一次形成的分数分布，就类似注意力分布，会提醒后续队员选词应侧重考虑哪些方面。当前使用大语言模型生成文本时，这种机制就发挥着巨大的作用。
在人工智能模型中，注意力机制并不是凭空产生的，而是模型通过不断学习，自动判断哪些信息更关键，并据此生成后续内容。
一、认识注意力机制
第8课 学习内容
二、体验注意力机制
1. 运行配套资源中的《注意力分布观察器》软件。
2. 输入提示词生成文本，观察生成过程中注意力分布的变化。
依次生成的文本字符
生成时的注意力分布情况
第8课 学习内容
注意力机制是一种通用的计算方法，它通过动态衡量不同部分的重要性，从而帮助模型聚焦关键信息。
二、体验注意力机制
1. 利用注意力机制，模型可以记住并聚焦重要信息，从而更好地生成文本。
2. 注意力分布不是凭空产生的，而是模型通过不断学习，自动判断信息的重要程度，并据此生成后续内容。
第8课 课堂总结
在研究文本生成的过程中，研究人员提出了一种可能让人感觉“匪夷所思”的生成方法——可以不按照从左到右的顺序，根据前文生成后文，而是可以随机生成。
请同学们尝试使用相关文本生成模型，感受生成过程。
第8课 拓展与提升
人工智能生成内容不只有“逐字接龙”一条路，未来或许会有更聪明的算法。

展开更多......

收起↑