资源简介

K12人工智能启蒙（一）
第四章 人机交互
——校园里的新伙伴
目录
第三课 语音式人机交互 1
任务内容： 1
教学目标： 1
教学重、难点： 1
教学材料： 1
教学过程： 4
一、 课堂引入（2分钟） 4
二、 知识讲授：语音式人机交互实验分析（18分钟） 4
三、 创造工坊——“语音控制播放音乐”和“语音控制机器人抓取饮料”任务（20分钟） 9
四、 课堂总结（5分钟） 14
五、 应用拓展 15
六、 课堂评价 15
2
第三课 语音式人机交互
——您好，我在听
任务内容：
学生通过研究语音式人机交互实验，了解语音合成及其应用，学习语音合成模块指令和语音识别模块指令使用方法，完成“语音控制播放音乐”和“语音控制机器人抓取饮料”任务。
教学目标：
1. 知识和能力
学生了解语音合成
学生了解语音合成的应用领域
学生掌握语音合成模块指令和语音识别模块指令的用法
2. 过程和方法
通过讲解语音式人机交互实验，引导学生学习语音合成及其应用
通过指导学生完成课堂任务，让学生掌握语音合成模块指令和语音识别模块指令使用方法
3. 情感态度和价值观
培养学生探究生活中的语音合成应用的意识
培养学生学习编程的兴趣
教学重、难点：
学生认识语音合成
学生掌握语音合成模块和语音识别模块的使用方法
教学材料：
教学用具：
材料名称 数量
控制器+线材 1
USB Type-C接口线 1
电源适配器 1
机器人+末端工具 1
语音合成模块 1
4Pin连接线 1
饮料模型 2
课程程序：
第三节语音式人机交互实验--任务（1）语音控制播放音乐.sb3
第三节语音式人机交互实验--任务（2）语音控制机器人抓取饮料.sb3
课程积木：
“语音合成屏幕 端口（port2）语音播放（1）”积木
“语音合成模块 端口（port2）设置播放音量（0）”积木
“语音合成模块 端口（port2）播放第（1）首音乐”积木
“语音合成模块 端口（port2）播放第（1）种音效”积木
“语音合成模块 端口（port2）播放第（1）种提示音”积木
“语音合成模块 端口（port2）选择（播放）”积木
“开始（汉语_普通话（简体））语音识别，持续（1）秒”积木
教学过程：
课堂引入（2分钟）
（PPT第3页）讲述：同学们，小疆发现，只要对着教师餐厅里的贩卖机说出想要的饮品，它就能自动取出来。李老师告诉小疆，贩卖机用到了语音式人机交互技术。那么什么是语音式人机交互技术呢？这节课我们一起来学习一下吧！
教学说明：教师引出本课关键词：语音式人机交互技术，让学生带着思考学习人机交互相关知识。
知识讲授：语音式人机交互实验分析（18分钟）
（PPT第5页）讲述：同学们，目前通过语音实现的语音人机交互方式在生活中随处可见，例如语音助手，只需要说出语音指令就能够实现打开窗帘、打开电视、打开电灯等简单的操作，通过语音还能够和机器进行对话，控制机器人做一些简单的操作。
（PPT第6页）讲述：同学们，我们知道手机上有一个智能语音助手，她有什么功能呢？让我们一起来读一读，了解一下智能语音助手。
教学说明：教师引导学生阅读，了解智能语音助手的多元功能，可让学生分享感受。
（PPT第7页）讲述：这节课我们学习语音式人机交互方式，首先需要了解语音式人机交互方式的实现过程，实现过程如下图所示。
教学说明：以语音式人机交互实验为一个具体的实例进行教学，让学生在学习人机交互课程中形成具象化概念。
（PPT第8页）讲述：在这个实验中，人的大脑控制嘴巴发出的语音通过输入设备传递到硬件系统中，然后通过软件系统的处理，把处理结果通过喇叭反馈给我们的耳朵，机器人的运动过程反馈给我们的眼睛，这就是整个语音式人机交互的过程。
（PPT第9页）讲述：语音输入设备是一个话筒或者声音接收器，这次实验选择机器人当作输入设备，其内置了声音接收器，并且可以用语音控制机器人运动。 硬件系统除了之前学过的控制器还需要一个能够合成人声的设备，因为仅仅靠喇叭这个输出设备是没有办法发出人声的，我们选择语音合成模块作为合成人声的硬件。软件系统就是整个过程所用到的积木编程实验室，需要能够识别用户的语音指令，这就需要学习积木编程实验室的语音识别模块。输出设备除了喇叭还需要机器人作为输出设备，控制机器人抓取饮料。
（PPT第9页）讲述：接下来我们就来学习语音合成模块的相关知识及语音识别模块的用法。
语音合成模块
（PPT第10页）讲述：语音合成模块是一种能够模拟人发声的装置，它使用语音合成技术把文本转化成声音，通过喇叭或者耳机播放出来。
教学说明：教师可引导学生在课前准备的器材中找到语音合成模块配合讲解。
什么是语音合成
（PPT第11页）讲述：语音合成是通过机械的、电子的方法产生人造语音的技术，是人与计算机语音交互必不可少的模块，它能让机器人或者计算机程序把我们输入的文字“说”出来，把输入的任意文本转换成语音输出。
（PPT第12页）讲述：当前，人们使用机器学习的方法建立语音模型，再用大量的语音数据去训练语音模型，语音合成的质量越来越好，机器说话的声音更接近人声，语气语调也更加自然，例如小米的小爱同学和三星的 Bixby的发音。
语音合成的应用
（PPT第13页）讲述：虽然当前语音合成技术还有很多问题急需解决，让机器拥有自然、有情感的声音，依旧是语音合成技术最大的难点，但是不影响它在我们生活中扮演着重要的角色。我们的生活中处处都有语音合成的身影，比如阅读听书、订单播报、语音导航等等。
教学说明：教师引导学生观察生活，可让学生小组讨论并回答，生活中还有哪些语音合成的应用。
语音合成模块指令
（PPT第14页）讲述：在AI传感器套件中语音合成模块共有 6 个积木，如下图所示。我们来依次学习语音合成模块积木的功能，从上往下依次为积木块一至积木块六。
（PPT第15页）讲述：下面我们来分别学习每个积木的功能。积木块一的数字位置可以填写需要合成的语音的文本信息（注意：语音合成模块只能合成出中文语音，无法合成连贯的英文语音，如果输入英文就会逐个读出字母），语音合成模块只能连接控制器的 port2 端口。
（PPT第15页）讲述：积木块二的功能是设置合成的语音音量，音量的范围是 0～15。
（PPT第16页）讲述：积木块三的功能是设置语音合成模块播放的第几首音乐，一共有 15 首音乐可供选择。
（PPT第16页）讲述：积木块四的功能是设置语音合成模块播放的音效，一共有 8 种音效可供选择。
（PPT第17页）讲述：积木块五的功能是设置语音合成模块播放的提示音，一共有 25 种提示音可供选择。
（PPT第17页）讲述：积木块六的功能是设置语音合成模块的状态，有播放、暂停、上一首音乐、下一首音乐可供选择。
语音合成的应用
（PPT第18页）讲述：想要使用语音识别模块，首先要添加人工智能扩展模块，如图所示。
（PPT第19页）讲述：积木编程实验室中语音识别模块共三个积木，如图所示。可选择自动模式采集音频或手动模式采集。识别后的结果放在椭圆形的语音识别结果积木中，可用变量等显示出来，也可以判断字符是否包含需要的关键词。
（PPT第20页）讲述：在语音识别处点击“打开识别窗口”，测试语音识别结果，确定能正常采集语音并能正常识别语音，如图所示。
（PPT第21页）讲述：下面，我们来动一动手。请同学们使用下列几个积木加上变量把语音识别的结果显示出来。
教学说明：教师引导学生编写程序，用“说”积木显示语音识别结果。巡视课堂，检查学生是否能完成程序，给与指导。
创造工坊——“语音控制播放音乐”和“语音控制机器人抓取饮料”任务（20分钟）
实验室
任务发布
（PPT第23页）讲述：今天我们要完成两个任务，任务一是语音控制播放音乐，任务二是语音控制机器人抓取饮料。
提问：使用语音控制模块要用到什么积木？
任务分析
（PPT第24页）讲述：本次课堂任务有两个任务。
（PPT第24页）讲述：第一个任务，在这个任务中，需要用语音识别模块识别人发出的语音指令，通过判断语音指令是否包含某些关键字来控制语音合成模块是否播放音乐。在播放音乐前会说出一段语音提示来告诉使用者。
（PPT第24页）讲述：第二个任务，在这个任务中使用语音识别模块，当语音识别模块识别到关键词“咖啡”时，语音合成模块播放声音“马上为您拿取咖啡”并控制机器人移动到摆放咖啡模型的位置，接着机器人带着抓取到的咖啡模型移动到放置位置，最后机器人把咖啡模型放置好，语音合成模块播放“请您饮用”。在这个任务中，饮料模型和饮料模型放置的位置可以由同学们自己设定。
任务摆放图
（PPT第25页）讲述：根据任务二的任务分析，我们需要布置一下，大家一起来动手调整设备和道具的位置。
流程图
（PPT第26页）讲述：根据任务分析，阅读“语音控制播放音乐”流程图。
（PPT第27页）讲述：根据任务分析，阅读“语音控制机器人抓取饮料”流程图。
物料间
（PPT第28页）讲解：同学们，我们一起来看一下我们要用到的材料。
教学说明：教师指引学生清点课程所用教学材料，检查是否有需要添加或删除的材料，补充学生所需材料。
教学说明：学生了解任务中用到的材料，及其对应的功能。
接线室
（PPT第29页）讲解：用 Type-C 接口线将控制器与电脑连接，用 10Pin 串口通信线将机器人与控制器连接，用 4Pin 电源线连接控制器与机器人。将语音合成模块连接在控制器的 Port2 端口，如图所示。
教学说明：教师根据课本指定接口引导学生接线，并检查设备是否能正常运作，给与学生帮助。
代码屋
（PPT第30页）讲解：下面我们进入编程环节，打开DobotLab平台，进入积木编程实验室，在设备库添加Magic Box这个设备，然后在积木区“添加扩展”按钮，找到对应的积木。任务一：“语音控制播放音乐”的实现程序代码如下：
教学说明：提示学生，在“fruits”列表中添加多个水果（英语名称）元素。
（PPT第31页）讲解：任务二：“语音控制机器人抓取饮料”的实现代码如下：
检查：巡视课堂，检查学生是否能够完成“语音控制播放音乐”和“语音控制机器人抓取饮料”任务程序，给与指引。
（PPT第32页）成果展示：让学生展示程序，并运行，通过语音控制电脑播放音乐，通过语音控制机器人抓取饮料。学生讨论自己的心得和体会。
教学说明：可以让学生互相学习，互相讨论编程经验和体会。
课堂总结（5分钟）
（PPT第33页）课堂小结，回顾课程。
教学说明：教师带领学生回顾整节课主要内容，包括本课所学的语音合成知识，和课堂所用积木和功能。
应用拓展
（PPT第34页）发布课后思考题。
教学说明：教师可以讲解解题关键点，提示学生。思考题为选做题，以激发学生学习兴趣为主，不强制学生完成。
课堂评价
评价维度 评价内容 评价得分
学习任务完成情况 学生完成“编程显示语音识别结果”的任务情况 ☆☆☆☆☆
学生完成“语音控制播放音乐”的任务情况 ☆☆☆☆☆
学生完成“语音控制机器人抓取饮料”的任务情况 ☆☆☆☆☆
小组协作情况 小组内交流良好 ☆☆☆☆☆
完成任务能分工明确，协同完成任务 ☆☆☆☆☆
创新精神 能在学习过程中提出问题，并提出解决方法 ☆☆☆☆☆
思想活跃，完成任务时有新的想法并落实到作品中 ☆☆☆☆☆
总评 ☆☆☆☆☆

展开更多......

收起↑