资源简介

(共18张PPT)
1.5 数据与大数据
1
大数据
问题提出
导航上交通拥堵情况怎么判断？
导航上最佳路线怎么计算的？
导航根据什么来确定未来用时？
一、大数据概念
★ 大数据：代表着数据量大、速度快、种类繁多的信息资产，需要特定的技术和分析方法将其转化为价值。
在大数据时代，任何微小的数据都可能产生不可思议的价值
二、大数据4V特征
数量（volume）
大数据4V特征
速度（Velocity）
多样（Variety）
价值（Value）
速度(Velocity): 数据产生的速度快，数据处理的速度快
价值（Value）：价值高，但价值密度低，且价值与数量成反比
二、大数据4V特征
数量(volume): 数据体量巨大，TB\PB\EB\ZB
K 1KB = 1024 Byte
M（兆）字节 1MB = 1024 KB
G（吉）字节 1GB = 1024 MB
T（太）字节 1TB = 1024 GB
P（拍）字节 1PB = 1024 TB
E（艾）字节 1EB = 1024 PB
Z（泽）字节 1ZB = 1024 EB
Y（尧）字节 1YB = 1024 ZB
二、大数据4V特征
数量(volume): 数据体量巨大，TB\PB\EB\ZB
1Byte
1KB
1MB
1GB
1TB
1PB
1EB
1ZB
1YB
1PB相当于50%的全美学术研究图书馆藏书信息内容
5EB相当于至今全世界人类所讲过的话语
1ZB如同全世界海滩上的沙子数量总和
1YB相当于7000位人类体内的微细胞总和
一般情况下，大数据以PB、EB、ZB为单位进行计量
二、大数据4V特征
速度(Velocity): 数据产生的速度快，数据处理的速度快
“1秒定律”或者秒级定律，就是说对处理速度有要求，一般要在秒级时间范围内给出分析结果，时间太长就失去价值了。这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。
道路监控摄像头24小时不间断地记录着视频数据，根据第3节中图像数据的计算公式，引入帧频参数进行计算，对于1个720p(1280×720像素、24位色)的高清摄像头，按25FPS拍摄，可以计算出每秒的数据量，乘以86400秒就是1天的数据量。若按200: 1的压缩比进行存储，大致可以估算出1个720p高清摄像头1天产生的数据量。
二、大数据4V特征
多样(Variety)：数据来源多，有人工产生的+机器自动产生，所以数据类型多。
短信、微信、视频、语音、电子邮件
结构化、半结构化、非结构化
结构化——数据库中数据；
非结构化——word、ppt、图片和视频等
半结构化——电子邮件等。
拓展知识
10
结构化数据
行数据，是由二维表结构来进行逻辑表达和实现的数据
严格遵守数据格式与长度 规范
通过关系型数据库进行存储和管理
半结构化数据
介于结构化数据和非结构化数据之间的数据
具有一定的结构性
非结构化数据
数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据
各类格式的办公文档、文本、图片、HTML、各类报表、图像、音频、视频等。
二、大数据4V特征
价值(Value)：价值高但价值密度低，且价值与数量成反比
挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；
价值密度低，是大数据的一个典型特征；
二、大数据4V特征
三、大数据思维
大数据是一场变革， 改变的不仅是数据，还有人们的思维。
大数据要分析的是全体数据，而不是抽样数据。
对于数据不再追求精确性，而是能够接受数据的混杂性。
不一定强调对事物因果关系的探求，而是更加注重它们的相关性。
三、大数据与传统数据的区别
对比项 采集方法 分析方法 表示方法 ……
大数据
传统数据
采用自动化方法采集数据
采用分布式数据库对数据进行处理
PB（拍字节）以上数量级表示
GB（吉字节）或TB（太字节）表示
采用手工方法采集数据
大多采用关系型数据库和并行数据仓库即可处理
大数据：认识全面、信息详尽
传统数据：样本随机、结论不准
大数据：关注关联，较为准确
传统数据：样本少、局限多
传统数据：容错低、数据量小
大数据：容错强、弱化个体样本的影响
四、大数据对社会的影响
大数据已经渗入到社会的各个层面，不断提高工作效率与生活便利性
大数据让决策更加精准
大数据带来新的就业机会
大数据带来新的社会问题
一起讨论
★ 大数据背景下，我们该如何保护自己信息不被泄露？保护自己的隐私不被偷窥？
★ 下列关于大数据思维的描述，错误的是（ ）
A. 大数据时代，人们可以采集全体数据进行分析，避免样本不同导致结论不同
B.基于大数据技术，我们能够接受数据的混杂性，个别数据的不准确不影响数据分析
C.数据总量变大会导致大量不相干的数据增加，大数据具有价值密度低的特点
D.使用大数据思维，我们更强调事物因果关系的探求，而不仅仅是数据之间的相关性
课堂练习
D
★ 下列数据中属于大数据的是（ ）
①各地交通摄像头记录的全部数据②学生网上高考报名数据③电商平台的用户浏览、交易时产生的数据④全体手机用户的联网信息、实时定位数据
A.①②③ B.①②④ C.①③④ D.②③④
C
谢谢!

展开更多......

收起↑