资源简介

(共15张PPT)
第13课　
根据文字生成图像
第三单元　图像、声音与视频的智能生成
第13课 课堂导入
利用文字描述搜索图像，思考实现这一功能的思路。
问题情境
第13课 课堂导入
问题情境
方法二：由智能系统“理解”图像与文字，然后根据计算得出的相似度，找出符合的图像。
方法一：事先为图像做好文字标注，然后查看用户的输入是否在标注中，从而找出图像。
第13课 学习内容
一 图文语义对齐
二 图文语义对齐的应用
学习内容
一、图文语义对齐
第13课 学习内容
下页表是图文对齐前的相似度得分。为了便于理解，语义编码简化成了二维坐标形式。
“理解”图像与文字，简单来说就是让表示相同含义的图像和文字更贴近，这个过程称为图文语义对齐。
一、图文语义对齐
第13课 学习内容
猫图[0.8，0.7] 狗图[0.7，0.6] 汽车图[0.2，0.2]
猫[0.2，0.1] 0.85 0.71 0.10
狗[0.3，0.4] 0.58 0.45 0.22
汽车[0.7，0.8] 0.14 0.20 0.78
语义对齐前
语义对齐前
文字“猫”与图像“汽车”的距离最近，而与图像“猫”的距离最远，这显然不合理。合理的语义编码应该满足以下条件：能区分文本和图像中的猫、狗、汽车；猫与猫图、狗与狗图、汽车与汽车图的距离应小于与其他对象的距离；因猫、狗同类，它们的距离应小于与汽车的距离。
一、图文语义对齐
第13课 学习内容
一、图文语义对齐
第13课 学习内容
猫图[0.9，0.7] 狗图[0.7，0.6] 汽车图[0.2，0.1]
猫[0.9，0.6] 0.10 0.20 0.86
狗[0.7，0.5] 0.28 0.10 0.64
汽车[0.1，0.2] 0.94 0.72 0.14
语义对齐后
第13课 学习内容
二、图文语义对齐的应用
因此，智能系统看到文字“一只在草地上奔跑的黄色小狗”时，能根据语义生成符合描述的图像。
完成图文语义对齐之后，图像和文字就处于同一个“语义空间”中，意味着它们的语义编码可以相互比较、匹配。
第13课 学习内容
二、图文语义对齐的应用
如今，很多人工智能模型都基于这种对齐机制来实现“以文生图”。这些模型通过大量相互匹配的图文数据进行训练，让模型学会理解文字中的语义，并将其映射为视觉元素，从而生成符合描述的图像。
第13课 学习内容
二、图文语义对齐的应用
回顾“文生图”过程，感受图文语义对齐的作用
1. 登录支持用文字生成图像的智能服务平台。
2. 输入画图要求，如“一只可爱的大熊猫”，提交给智能服务平台。
3. 观察效果，看看生成的图像是否符合要求。
第13课 学习内容
二、图文语义对齐的应用
一只可爱的熊猫
一只可爱的熊猫
正在吃竹子
一只可爱的熊猫
正在竹林边吃竹子
1. 图文语义对齐的过程，可以简单理解为调整文字和图像的语义编码，使其在语义空间中更贴近。
2. 完成图文语义对齐后，就可以对文字和图像的语义编码进行计算，从而实现对文字和图像的理解与匹配。
3. 图文语义对齐有广泛的应用场景，例如用文字搜索图像、根据文字描述生成图像等。
第13课 课堂总结
第13课 拓展与提升
在“传统文化进校园”活动中，同学们参观了传统服饰展览。一位同学对明代女子服饰很感兴趣，但不知道如何准确查找相关图像。老师介绍了“以文搜图”的智能技术：只要输入描述性文字，如“交领、右衽、长袖、马面裙”，系统就能从图像库中找到匹配的图像。
结合图文检索系统的工作原理，在智能工具的帮助下，尝试设计一个“以文搜图”系统的框架，并简要说明其主要流程和关键技术。
第13课 拓展与提升
“以文搜图”系统的工作过程一般包括4个步骤：
步骤1.提取待搜索关键词的文本特征，形成语义编码；
步骤2.提取图像库中所有图像的图像特征，形成语义编码；
步骤3.计算文本与图像的相似度；
步骤4.根据要求，按相似度从高到低输出图像库中对应的图像。

展开更多......

收起↑