资源简介

(共18张PPT)
文本数据处理
文本数据处理是大数据处理的重要分支之一，目的是从大规模的文本数据中提取出符合需要的、感兴趣的和隐藏的信息。
据资料表明，非结构化文本数据占文本数据总量的80%以上，而计算机只认识“符号语言”，并不能直接处理非结构化形式的“自然语言”。
什么是文本数据处理？
非结构化数据
结构化数据
文本数据处理的一般过程
数据来源渠道
社交网络
应用市场
电商平台
…
原始数据
用户评论
用户反馈
…
数据预处理
文本清洗
数据去重
数据编码
…
文本分析
文本分词
词频分析
情感分析
…
结论和应用
用户对产品的关注点
用户对产品的评价
…
文本数据收集
文本数据处理
结论
非结构化数据
结构化数据
分词
数据分析
文本数据源
特征提取
结果呈现
文本数据处理的一般过程
分词
分词：将连续的子序列按照一定的规范重新组合成词序列的过程
基于字典
在分析句子时与词典中的词语进行对比，词典中出现的就划分为词。例如python中文分词模块jieba
基于统计
依据上下文中相邻字出现的频率统计，同时出现的次数越高就越有可能组成一个词，一般与基于字典的分词方法结合使用
基于规则
计算机模拟人的计算方式，根据大量的现有资料和规则进行学习，进而分词,目前处于实验阶段
字符匹配
概率统计
自主学习
分词工具
名称 简介
Jieba分词 Python开源项目
IKAnalyzer Java开源分词工具包
NLPIR 北京理工大学大数据搜索与挖掘实验室，非商业应用免费
语言云 哈尔滨工业大学社会计算与信息检索研究中心，在线API接口调用
BosonNLP 玻森中文语义开放平台，在线API接口或库调用
jieba分词
函数 对应模式
cuts 精准分词模式：将句子最精确地切分开
cut(s,cut_all=Ture) 全模式分词：将句子中所有成词的词语都扫描出来
cut_for_search(s) 搜索引擎模式分词：在精确模式的基础上对长词再进行切分，将更短的词语切分出来
jieba分词
s="我来到了西北皇家理工学院，发现这儿真不错"
seg_list=jieba.cut(s,cut_all=True)
我/来到/了/西北/皇家/理工/理工学/理工学院/工学/工学院/学院/，/发现/这儿/真不/真不错/不错
s="我来到了西北皇家理工学院，发现这儿真不错"
seg_list=jieba.cut(s,cut_all=False)
我/来到/了/西北/皇家/理工学院/，/发现/这儿/真不错
s="我来到了西北皇家理工学院，发现这儿真不错"
seg_list=jieba.cut_for_search(s)
我/来到/了/西北/皇家/理工/工学/学院/理工学/工学院/理工学院/，/发现/这儿/真不错
※ 特征词：
在中文文本分析中可以采用字、词或短语作为表示文本的特征项。目前，大多数中文文本分析中都采用词作为特征项，这种词称作特征词。
※ 特征提取：
通常可直接用分词算法和词频统计得出的结果作为特征词。通过特征提取来找出最具代表性、最有效的文本特征，从而减少特征词的数量，提高文本处理的速度和效率。
特征提取
特征提取
※特征提取方式：
①根据专家知识挑选有价值的特征。
②用数学建模的方法构造评估函数自动选取特征。
目前大多采用评估函数进行特征提取的方式，评估函数大多是基于概率统计设计的，这就需要用庞大的训练数据集才能获得对分类起关键作用的特征。
随着深度学习、大数据分析等技术的发展，文本特征提取将更加准确、科学。
用词频表现文本特征，将关键词按照一定的顺序和规律排列，以文字的大小来代表词语的重要性
数据分析——标签云
通过计算机技术对文本的主观性、观点、情绪等进行挖掘和分析，判断文本的情感倾向。
总而言之，我是不会再去这家店的
勇敢牛牛，不怕困难
数据分析——文本情感分析
请输入标题
粗粒度
细粒度
整篇文章级
语句级
词语级
文本情感分析依据
主要应用于舆情监控、信息预测，或用于判断产品的口碑，进而帮助生产者改进产品
文本数据处理应用
02
01
03
05
06
04
搜索引擎
自动摘要
机器翻译
论文查重
文本分类
垃圾邮件过滤
论文查重
小结
1.文本数据处理的一般过程不包括（ ）
A.分词 B.特征提取 C.数据分析 D.机器翻译
2.以下哪项不是中文分词的一般方法（ ）
A.基于词典法 B.基于统计法
C.基于阿尔法 D.基于规则法
D
小试牛刀
C
3.构造评估函数的特征提取法大多是基于（ ）设计的
A.语义分析 B.情感分析 C.概率统计 D.专家知识
4.标签云主要是以（ ）为文本特征
A.词频 B.词义 C.词句 D.词序
C
小试牛刀
A

展开更多......

收起↑