资源简介

课题名称 第3课 文本与图像的多模态模型
课时目标 知道什么是多模态问题，能够能够识别不同类型的多模态数据并阐述其在实际应用中的重要性。 掌握根据文本提示生成图像的方法，能够利用AI技术根据给定的文本提示生成满意的图像。 了解优化提示语来提高生成内容的质量的方法，确保生成的内容更贴合预期目标。
教学准备 联网的计算机
导学过程 意图交流
一、知识探究 1.项目子问题或任务引入 ——我们生活在一个由多种信息构成的世界中，如何让模型生成不同类型的数据？ 2.探究内容与要求 （1）方法引领：遵循“基础知识→案例分析→综合应用→......”认知规律 （2）主要内容 什么是多模态问题？--概念 如何根据文本提示生成图像？--多模态模型的原理 如何优化提示语创作生成符合需求的内容？--优化提示词的方法 3.知识习得 （1）自主阅读：阅读书本P74-82 （2）知识梳理： 当研究的问题需要同时处理两种或多种模态的信息时，我们将其称为多模态问题。 从文本和图像中提取特征，然后将这些特征映射到一个共同的特征空间中，建立文本和图像之间的语义联系，从而实现文本和图像的多模态数据的交互和生成。 尽量避免提出涉及主观判断的问题，因为模型不具备个人情感和价值立场，无法给出类似“你认为哪种方案更好”的主观评价，同时务必确保问题及潜在回答不触碰道德与法律底线。 4.核心素养培育 （1）学会解释： 什么是多模态问题？有哪些工具可以解决多模态问题？ 如何根据文本生成图像？ 学会分析： 为什么生成模型每次生成的图像不一样？ 文本和图像是如何实现对应关系的？ 学会求证：高质量提示语能够提升模型生成效果 学会结合具体场景和问题选择合适的工具及解决方案： 当前任务需要生成哪些类型的数据？ 可以选择哪些合适的工具？ 如何让模型/工具生成符合要求的内容？ 在使用多模态工具时，有哪些需要注意和避免的问题？ 二、习题测试 1. 人工智能多模态通常涉及多种数据类型或感知模式的融合。当前，跨模态生成 工具还不能生成以下哪种形式的内容？ A. 文本 B. 图像 C. 视频 D. 触感 2. 在和大语言模型进行交互时，我们需要注意指令清晰且明确。请在以下选项中 选出清晰且明确的指令： A."用一种不存在的语言翻译这首诗。" B. "基于已经取消的比赛结果预测今年世界杯冠军。" C. "生成一些内容。" D."请根据 2023 年奥斯卡最佳影片提名名单，为每一部电影提供一段简短的剧情 概述，并附上导演的名字。" 3. 关于图像生成，优质的提示词应该包含以下哪些内容？（多选题） A. 主体对象 B. 主体对象的细节描述 C. 艺术风格 D.画面空间布局 三、小结回顾 请同学按照下列提示进行总结回顾： 1.学到了哪些知识与技能？ 2.提升了哪些方面的能力？ 3.生成了怎样的观点？ 四、布置作业 你目前正在使用一个大语言模型助手和一个文生图工具来进行文案和图像的生成。你的目标是分别生成文本文案和图像图画两种模态的生成类作品来宣传确定的主题。请简述，使用工具编写提示语的过程需要注意哪些问题，生成两类作品的过程中，你会建议如何优化提示语来得到期望的作品。

展开更多......

收起↑