资源简介

(共27张PPT)
数据处理和可视化表达
01
02
03
04
认识大数据
数据的采集
数据的分析
数据的可视化表达
01 认识大数据
5.1.1 大数据
大数据是指无法在一定时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
5.1.1 大数据
大数据的产生
日益普及的网络行为所伴生的，以大爆发的速度不断增长。
信息社会发展的重要资源
大数据成为人们提取信息、做出决策的重要依据，是推动信息社会发展的重要资源。
5.1.2 大数据的特征
大量 Volume
数据体量巨大TB→PB
变化速度快
高速
Velocity
价值密度低
价值
Value
数据种类繁多
多样
Variety
4V
5.1.3 大数据对日常生活的影响
方便看病与诊病
方便出行
方便支付
方便购物与产品推介
信息伤害与诈骗
个人信息泄露
优点：是人们的日常生活更为便捷。
缺点：对人们日常生活产生的负面影响。
02 数据的采集
为什么网购平台总能猜到你想要买什么？
5.2.1 数据采集的方法和工具
系统日志采集法
系统日志是记录系统中硬件、软件和系统问题的信息文件，包括操作系统日志、应用程序日志和安全日志。
系统日志采集数据就是利用程序，将目标主机中的日志信息定向推送到服务器进行存储、监控和管理。
网络数据采集法
网络数据采集是通过网络爬虫或者网站公开API（应用程序接口）等方式从网站上获取数据信息。
网络爬虫抓取网页的URL，可将数据从网页中抽取出来，存储为统一的本地数据文件，支持多形式并可关联。
其他数据采集法
对于保密性较高的数据，可通过与企业或研究机构合作，使用特定系统接口等相关方式收集数据。
科学研究的数据多为科学实验的各种传感器采集，并传输到数据库管理系统中。
常见的普通数据（非大数据）采集方法：
问卷调查法
问答访谈法
数据表统计法
常见传感工具测量法（如：体温计、温度计、重量秤等）
5.2.2 数据的存储和保护
数据的存储：
①数据保存在本地（磁盘、硬盘等存储器，服务器等）
②数据保存在第三方数据库（云存储）
云存储的数据是真的保存在“云”上吗？
当然不是，云存储的物理空间依然是服务器，只是由供应商拥有并管理的服务器，在用户远不可及的地方。
5.2.2 数据的存储和保护
数据的保护：
①数据安全保护技术——保护数据不被破坏、更改、泄露或丢失。
数据保护中有一种叫数据加密技术，分为对称式加密和非对称式加密两大类，其区别就是加密和解密是否使用同一个密钥。
②数据的隐私保护
隐私泄露问题不是大数据时代特有的。
解决方法有三：一是技术手段（如：精度处理、访问控制、人工加扰、匿名等）；二是提高自身保护意识；三是道德与法律的约束。
03 数据的分析
为什么要数据分析？
李海青
水资源分布现状
过去旅游业的发展情况
了解事物的现状
诊断过去的发展历程
预测房价走向
预测未来的走向
5.3 数据的分析
特征探索
对数据进行预处理，发现和处理缺失值、异常数据，绘制直方图，观察分析数据的分布特征。
关联分析
分析并发现大量数据之间的关联性和相关性，从而描述一个事物中某些熟悉感同时出现的规律和模式。
聚类分析
从样本数据出发，自动进行分类。
数据分类
数据分析处理中最基本的方法。基于样本数据训练构建分类函数或分类模型，根据分类准则自动给出对位置数据的推广描述。
04 数据的可视化表达
5.4 数据的可视化表达
PPT模板下载：www./moban/ 行业PPT模板：www./hangye/
节日PPT模板：www./jieri/ PPT素材下载：www./sucai/
PPT背景图片：www./beijing/ PPT图表下载：www./tubiao/
优秀PPT下载：www./xiazai/ PPT教程： www./powerpoint/
Word教程： www./word/ Excel教程：www./excel/
资料下载：www./ziliao/ PPT课件下载：www./kejian/
范文下载：www./fanwen/ 试卷下载：www./shiti/
教案下载：www./jiaoan/
字体下载：www./ziti/
数据可视化：
指以图形、图像、地图、动画等生动、易于理解的方式展示数据和诠释数据之间的关系、趋势与规律等，以便更好地理解数据。
作用：
把枯燥乏味的海量数据以丰富的视觉效果呈现数据所反映的本质问题，提升数据分析的效率。
有关趋势的分析
柱形图最适合用于项目和数据的比较，在X轴和Y轴上可以同时显示多组数据。Y轴还可以显示项目分类。
柱形图
1
折线图是比较常用的图表，适用于很多的业务场景：比较每组的数据查看趋势
折线图
2
条形图可以用于多个项目之间的对比，Y轴上通常显示类别或项目，还可以按照类别进行分组，X轴上显示数值。
条形图
3
有关比例的分析
当你打算显示百分比或者比例的时候，饼图是最好的选择。饼图展示的是局部与整体的关系，所以这个整体必须是有意义的。
饼图
1
面积图又称作是区域图，它所强调的是数量随着时间而变化的程度，也可以用于引起人们对总值趋势的注意。展示的是部分与整体的关系。
堆叠面积图
2
我们经常会看到关于完成率百分比的圆形图表。不要以为这样的圆形图表是用饼图完成的。其实，利用柱形图和圆形图形，才能更好地制作出这样的效果。
百分比圆环图
3
有关关系的分析（逻辑关系）
指在回归分析中，数据点在直角坐标系平面上的分布图，散点图表示因变量随自变量而变化的大致趋势，据此可以选择合适的函数对数据点进行拟合。
散点图
1
雷达图是以从同一点开始的轴上表示的三个或更多个定量变量的二维图表的形式显示多变量数据的图形方法。也称为网络图，蜘蛛图，星图。
雷达图
2
“词云”就是通过形成“关键词云层”或“关键词渲染”，对网络文本中出现频率较高的“关键词”的视觉上的突出。
词云图
3
有关关系的分析（空间关系）
应用地图来分析和展示与位置相关的数据，要比在Excel中单纯的数字更为明确和直观，让人一目了然。
数据地图
1
热力图可显性、直观地将网页流量数据分布通过不同颜色区块呈现，给中小网站网页优化与调整提供了有力的参考依据，方便合作网站提高用户体验。
动态热力图
2
课后题
(1) 从互联网产生大数据的角度来看，大数据具有的特征是( )。
A.“4V”特征:大量(Volume)、多样(Variety)、低价值密度(Value)、高速(Velocity)
B. 样本渐趋于总体，精确让位于模糊，相关性重于因果
C.分布式存储，分布式并行计算
D. 没有特征
(2) 下列可以用于分析数据趋势的是( )。
A.饼图 B. 折线图 C. 动态热力图 D. 词云图
(3) 数据分析的方法不包括( )。
A.线性分析 B. 关联分析 C.聚类分析 D.数据分类
A
B
A

展开更多......

收起↑