资源简介

(共26张PPT)
课时12 文本数据处理与数据可视化
一、文本数据处理
1. 文本数据处理是大数据处理的重要分支之一，目的是从大规模的文本数据中提取出符合需要的、感兴趣的和隐藏的信息。
2. 文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应答等方面。
3. 典型的文本处理过程主要包括　　　　 、　　　　、数据分析、结果呈现等。
4. 文本数据源：文本内容是　　　　的数据，要从大量的文本中提取出有用的信息，需要将文本从无结构的原始状态转化为结构化的、便于计算机处理的数据。
分词
非结构化
特征提取
5.中文分词。
（1）中文分词是中文文本信息处理的基础，分词是将连续的字序列按照一定的规范重新组合成词序列的过程，也就是将一个汉字序列切分成一个一个单独的词。
（2）常用的中文分词算法可分为三类。
（3）目前常见的公开提供服务的分词系统有：jieba分词 、IKAnalyzer、NLPIR、语言云 、BosonNLP。
方法 说明
基于　　　　的分词方法 也称作基于字符匹配的分词方法，即在分析句子时与词典中的词语进行对比，词典中出现的就划分为词。Python中的中文分词模块jieba中就含有词典
基于统计的分词方法 统计分词的思想是依据上下文中　　　　出现的频率统计，同时出现的次数越高就越可能组成一个词，一般是将其与基于词典的分词方法结合使用
基于规则的分词方法 通过让计算机模拟人的理解方式，根据大量的现有资料和规则进行学习，达到对文字进行分词的效果
词典
相邻字
6.特征提取。
（1）在中文文本分析中可以采用字、词或短语作为表示文本的特征项。
（2）大多数中文文本分析中都采用词作为特征项，这种词称作　　　　。
（3）特征提取一般采用的方式为根据专家的知识挑选有价值的特征，或者用数学建模的方法构造评估函数自动选取特征等。目前大多采用评估函数进行特征提取的方式。
特征词
7.文本数据分析与应用。
（1）在取得特征词后，对文本的分析就需要根据项目的需求，确定解决问题的路径，选取合适的工具、设计算法抽取出文本中隐含的价值。
（2）以标签云、文本情感分析等为例感受文本数据的处理。
（3）文本可视化将文本中复杂的或者难以通过文字表达的内容和规律以　　　　 的形式表达出来，使人们能够利用视觉感知能力快速获取文本数据中所蕴含的关键信息。
呈现方式 描述 应用
标签云 用　　　　表现文本特征，将关键词按照一定的顺序和规律排列，如频度递减、字母顺序等，并以文字大小的形式代表词语的重要性。标签云是文本可视化的一种方式 广泛应用于报纸、杂志等传统媒体和互联网
文本情感分析 通过计算机技术对文本的主观性、观点、情绪、极性进行挖掘和分析，对文本的 　　　　做出分类判断 主要应用于网络舆情监控、用户评论分析与决策、信息预测等众多领域
词频
情感倾向
视觉符号
1. 数据可视化是将数据以图形图像等形式表示，直接呈现数据中蕴含信息的处理过程。
2. 数据可视化的作用：快捷观察与追踪数据、　　　 分析数据、增强数据的
　　　　 与吸引力。
实时
解释力
二、数据可视化
基本方法 图表类型
有关时间趋势的 可视化 展现随时间的推移而变化的数据，可采用柱形图、
　　　　等
有关　　　　的 可视化 展现各部分的大小及其占总体比例的数据，可采用饼图、环形图（也称面包圈图）等
有关关系的可视化 展现数据点的分布及数据间的相关性，可采用散点图、气泡图等
有关差异的可视化 展现包含多个变量的对象与同类之间的差异和联系，可采用雷达图
有关空间关系的 可视化 地理数据或基于地理数据的分析结果可以运用不同颜色或图表直接表现在地图上进行展示
3.可视化的基本方法。
折线图　
比例
典例 1 ［2025宁波联考］文本数据处理后生成标签云图片如图所示，下列说法不正确的是（　　）
A.文本可视化能帮助人们快速获取文本中的关键信息
B.该标签云的制作过程中将词语作为表示文本的特征项
C.文本数据处理主要应用在搜索引擎、论文查重、图像
处理等方面
D.从图中分析可知，词语“刘姥姥”在文章中出现的次
数比“宝玉”多
C
√
题型导向一　文本数据处理
胜券点拨1
明考向 本题主要考查文本数据分析与应用
审关键 标签云、文本数据处理
考场思 维快闪 文本数据处理主要应用在搜索引擎、文本分类、情报分析等相关领域，而图像处理属于计算机视觉的范畴，与文本数据处理无直接关联
典例 2 下列关于文本数据处理的说法，正确的是 （　　）
A.典型的文本处理过程主要包括文本情感分析、特征提取、大数据分析、结果呈现等
B.待处理的文本信息通常是结构化数据
C.以上下文中相邻字出现的频率为依据进行分词，属于基于统计的分词方法
D.文本情感分析即将文本中复杂的文字表达内容和规律以符号的形式表达出来
C
√
胜券点拨2
明考向 本题主要考查文本数据处理
审关键 文本处理过程、结构化数据、出现频率
考场思维快闪 A 典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等
B 文本内容是非结构化的数据，要从大量的文本中提取出有用的信息，需要将文本从无结构的原始状态转化为结构化的、便于计算机处理的数据
D 文本情感分析是通过计算机技术对文本的主观性、观点、情绪、极性进行挖掘和分析，对文本的情感倾向做出分类判断
典例 3 下列关于数据可视化的说法，不正确的是 （　　）
A.数据可视化是将数据以可视化方式展现出来，方便用户发现数据中隐藏的信息
B.数据可视化可增强数据的解释力与吸引力
C.数据可视化不能实时分析数据，只能收集完毕再开始分析
D.数据可视化可以多维度地显示数据
C
√
题型导向二　数据可视化
胜券点拨3
明考向 本题主要考查数据可视化
审关键 实时分析、收集完毕
考场思 维快闪 利用可视化技术，可以实时将数据转换为图像呈现给用户，帮助用户分析数据的内涵和特征，不需要等待收集的过程
典例 4 ［2023.7浙江］小张从北京出差至杭州。出发前，他在手机上登录12306 售票系统购买火车票、完成支付，检票时刷身份证通过闸机。到杭州站下车后，小张在手机导航软件中通过语音输入目的地规划行程路线，打车前往宾馆，途中导航软件会在地图中实时显示道路拥堵状况等信息。下列关于该材料中数据与数据处理的说法，不正确的是 （　　）
A.火车票上的文字是数据的一种表现形式
B.大数据处理技术能增强导航服务的智能性
C.导航数据的可视化有利于观察和分析数据
D.用语音规划行程路线时无须对用户语音进行数字化
D
√
胜券点拨4
明考向 本题主要考查数据的表现形式、大数据处理、可视化的作用、数字化
审关键 导航软件、语音输入
考场思 维快闪 用语音规划行程路线时，必须将用户的语音信号进行数字化，转换成二进制形式，才能被导航软件处理
典例 5 ［2022.7浙江］人们可通过报纸、电视、手机App等方式获取天气预报信息。气象中心接收气象卫星和遍布全国的观测站发送的原始数据，对常规天气、灾害性天气等进行预测。某天气预报App以可视化的方式呈现天气状况，并提示“您所在街道25分钟后小雨，50分钟后雨停”等信息。 根据阅读材料，下列说法不正确的是 （　　）
A.天气预报信息有多种获取方式
B.观测站采集的数据不存在重复或异常
C.气象中心预测天气的原始数据是大数据
D.气温数据可以用Python语言实现可视化
B
√
胜券点拨5
明考向 本题主要考查数据获取、大数据与数据可视化
审关键 注意数据采集可能出现的问题
考场思 维快闪 观测站采集的数据可能存在数据缺失、数据重复或异常等常见数据问题
过程 注意点
文本数据源 非结构化→结构化
分词 ①英文词语分词不涉及复杂的分词方法
②目前的分词算法还不能实现完全准确的分词
特征提取 ①稍小一些的文本可直接用分词算法和词频统计得出的结果作为特征词
②对于稍大一些的文本，通过特征提取减少特征词的数量，提高文本处理的速度和效率
③深度学习、大数据分析等技术的发展提高了文本特征提取的准确性和科学性
数据分析 ①文本数据分析是在取得特征词后进行的
②分析方式需要根据具体的需求来确定，不只局限于标签云和文本情感分析
通法　辨析文本数据处理的过程
1.关于文本数据处理的主要步骤，下列排序正确的是 （　　）
①文本数据获取
②特征提取
③结果呈现
④分词
⑤数据分析
A.①④⑤②③ B.①②④⑤③
C.①④②⑤③ D.①②⑤④③
文本数据处理的一般过程主要包括文本数据获取、分词、特征提取、数据分析和结果呈现。
一、文本数据处理
C　
√
2.下列数据处理中，不属于文本数据处理的是 （　　）
A.根据白名单和黑名单机制，进行垃圾邮件的识别
B.在线客服通过自动应答技术回答问题
C.实时监测景区的人流数据，控制游客进入数量
D.分析消费者的意见数据，挖掘用户观点，辅助运营决策
实时监测景区的人流数据，控制过多的游客进入景区属于大数据的应用，即对流数据的实时处理。
C　
√
3.下列数据处理中，不属于文本数据处理的是 （　　）
A.某小区对住户的外貌数据进行信息提取，构建住户识别信息
B.创建学生姓名和借书数据的数据库，供图书管理员查询
C.在浏览器使用关键字进行查询
D.浏览学校网站中的电子图书，分析书籍的分类
文本数据处理是从大规模的非结构化的文本数据中提取出符合需要的、感兴趣的和隐藏的信息，选项B属于结构化的数据。
B　
√
4.下列关于数据可视化的说法，正确的是 （　　）
A.数据可视化是指静态数据的可视化
B.决定数据可视化的表现形式的是数据结构
C.可视化探究具有关联性数据的分布关系可用散点图
D.可视化展现时间趋势类的数据可用雷达图
利用可视化技术，可以将处于不断变化中的数据生成实时变化的可视化图表。不同的数据类型决定了可视化的表现形式。展现时间趋势类的数据可采用柱形图和折线图。
二、数据可视化
C　
√
5.下列关于中文分词的说法，正确的是 （　　）
A.基于统计的分词方法也称作基于字符匹配的分词方法
B.统计分词的思想是依据上下文中相邻字出现的频率统计，同时出现的次数越高就越可能组成一个词
C.在实际应用中，一般是将基于规则的分词方法与基于词典的分词方法结合使用
D.基于词典的分词方法通过让计算机模拟人的理解方式，根据大量的现有资料和规则进行学习，达到对文字进行分词的效果
基于词典的分词方法也称作基于字符匹配的分词方法。在实际应用中，一般是将基于统计的分词方法与基于词典的分词方法结合使用。基于规则的分词方法通过让计算机模拟人的理解方式，根据大量的现有资料和规则进行学习，达到对文字进行分词的效果。
B　
√
6.下列关于文本数据处理的说法，正确的是 （　　）
A.在文本数据处理过程中，把句子拆分成一个个词语的过程叫作切片
B.在中文文本分析中，字、词、短语或段落作为文本的特征项
C.对于数据量较大的文本，以分词算法和词频统计得出的结果作为特征词
D.使用评估函数需要用到庞大的训练数据集，才能获得对分类起关键作用的特征
把句子拆分成一个个词语的过程叫作分词。在中文文本分析中，字、词或短语作为文本的特征项，段落不作为特征项。稍小一些的文本可直接用分词算法和词频统计得出的结果作为特征词，稍大一些的文本需要通过特征提取减少特征词的数量。
D　
√
7.下列关于数据处理的说法，正确的是 （　　）
A.jieba模块是基于规则的分词方法的典型应用
B.典型的文本处理过程为：数据分析→分词→特征提取→结果呈现
C.社交关系数据一般采用流计算模式进行处理
D.数据可视化是将数据以图形图像等形式表示，直接呈现数据中所蕴含信息的处理过程
jieba模块是基于词典的分词方法的典型应用。典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等。社交关系数据一般采用图计算模式进行处理。
D　
√
8.如图所示是通过文本数据分析生成的标签云，下列关于该标签云的说法，不正确的是 （　　）
A.标签云用词频表现文本特征
B.以文字大小的形式代表词语的重要性
C.只能制作纯英文文本的标签云
D.标签云是文本可视化的一种方式
中文、英文都可以做标签云。
C　
√
9.根据Python官方文档中的部分文本制作如图所示的标签云，下列说法不正确的是（　　）
A.标签云将文本内容以视觉符号的形式表现了出来
B.该文本中最关键的词汇是“Python”
C.文字越大表示词语出现在文本中的次数越多
D.标签云一定显示了该文本中包含的全部词语
标签云可以只显示部分关键词，不一定要显示全部词语。
D　
√
10.下列关于数据可视化的说法，不正确的是 （　　）
A.数据可视化就是将数据直接表示出来
B.数据可视化可以实时将数据转换为图像呈现给用户
C.数据可视化能够使用户发现数据中隐藏的特征、关系和模式
D.地图可用于体现有关空间关系的地理数据
数据可视化是将数据以图像、图形等形式表示。
A　
√
11.如图所示是图片号与图像清晰度质量的散点图，该可视化表达的数据关系是 （　　）
A.有关时间趋势的可视化
B.有关比例的可视化
C.有关关系的可视化
D.有关差异的可视化
散点图用于表现2~3个变量之间的关系，以圆点的多少或疏密展示成对的数和它们所代表的趋势之间的关系，该类图表属于有关关系的可视化。
C　
√
12.小北利用Python中的jieba分词模块对“大数据.txt”进行文本处理，创建了如图所示的标签云。下列说法正确的是 （　　）
A.该中文分词算法是基于规则的分词方法
B.标签云中必须显示该文本中包含的全部词语
C.从标签云中可以推测，“数据”“查询”等词语是
该文本的重点词语
D.文本内容是结构化数据，需要转化才能被计算机处理
该中文分词算法是基于词典的分词方法。标签云通常用于显示文本中的关键词或高频词，并不一定显示文本中包含的全部词语。文本内容是非结构化数据。
C　
√
13.如图所示是航班飞行实时跟踪地图，地图上实时显示当前区域中的航班飞行状态，单击某航班，可以查看其已飞航线、航路计划、飞行时间、准点情况、机型、周围航班等信息。下列说法不正确的是 （　　）
A.航班飞行实时跟踪地图是数据可视化的应用
B.实时更新的航班飞行状态可以体现相关数据的动态
变化过程
C.随着航班数量的不断增加，从图表中获取信息会变得困难，不适合数据可视化
D.单击某航班查看的已飞航线数据是静态数据
数据可视化具有快捷观察和追踪数据的作用，使用数据可视化可以使用户通过直观、交互的方式浏览和观察数据。
C　
√

展开更多......

收起↑