资源简介

(共9张PPT)
第三单元 机器能创作
第3课时 文本与图像的多模态模型
知识探究
主要内容
/01
/02
/03
习题测试
小结回顾
/04
布置作业
01 准备过程
02 整体结构
03 重点说明
04 名词解释
知识探究
1. 项目子问题或任务引入
————我们生活在一个由多种信息构成的世界中，如何让模型生成不同类型的数据？
01 准备过程
02 整体结构
03 重点说明
04 名词解释
知识探究
2. 探究内容与要求
（1）方法引领：遵循“基础知识→案例分析→综合应用→......”认知规律
（2）主要内容
①　什么是多模态问题？--概念
②　如何根据文本提示生成图像？--多模态模型的原理
③　如何优化提示语创作生成符合需求的内容？--优化提示词的方法
01 准备过程
02 整体结构
03 重点说明
04 名词解释
知识探究
3.知识习得
（1）自主阅读：阅读书本P74-82
（2）知识梳理：
①　当研究的问题需要同时处理___________的信息时，我们将其称为多模态问题。
②　从文本和图像中提取特征，然后将这些特征_______到一个共同的_______中，建立__________之间的语义联系，从而实现文本和图像的多模态数据的交互和生成。
③　尽量避免提出涉及______判断的问题，因为模型不具备____________，同时务必确保问题及潜在回答______________。
01 准备过程
02 整体结构
03 重点说明
04 名词解释
知识探究
4. 核心素养培育
（1）学会解释：
①　什么是多模态问题？有哪些工具可以解决多模态问题？
②　如何根据文本生成图像？
（2）学会分析：
①　为什么生成模型每次生成的图像不一样？
②　文本和图像是如何实现对应关系的？
（3）学会求证：高质量提示语能够提升模型生成效果
（4）学会结合具体场景和问题选择合适的工具及解决方案：
①　当前任务需要生成哪些类型的数据？
②　可以选择哪些合适的工具？
③　如何让模型/工具生成符合要求的内容？
④　在使用多模态工具时，有哪些需要注意和避免的问题？
01 准备过程
02 整体结构
03 重点说明
04 名词解释
习题测试
1. 人工智能多模态通常涉及多种数据类型或感知模式的融合。当前，跨模态生成
工具还不能生成以下哪种形式的内容？
A. 文本
B. 图像
C. 视频
D. 触感
2. 在和大语言模型进行交互时，我们需要注意指令清晰且明确。请在以下选项中
选出清晰且明确的指令：
A."用一种不存在的语言翻译这首诗。"
B. "基于已经取消的比赛结果预测今年世界杯冠军。"
C. "生成一些内容。"
D."请根据 2023 年奥斯卡最佳影片提名名单，为每一部电影提供一段简短的剧情
概述，并附上导演的名字。"
3. 关于图像生成，优质的提示词应该包含以下哪些内容？（多选题）
A. 主体对象 B. 主体对象的细节描述 C. 艺术风格 D.画面空间布局
01 准备过程
02 整体结构
03 重点说明
04 名词解释
小结回顾
请同学按照下列提示进行总结回顾：
1.学到了哪些知识与技能？
2.提升了哪些方面的能力？
3.生成了怎样的观点？
01 准备过程
02 整体结构
03 重点说明
04 名词解释
布置作业
你目前正在使用一个大语言模型助手和一个文生图工具来进行文案和图像的生成。你的目标是分别生成文本文案和图像图画两种模态的生成类作品来宣传确定的主题。请简述，使用工具编写提示语的过程需要注意哪些问题，生成两类作品的过程中，你会建议如何优化提示语来得到期望的作品。

展开更多......

收起↑