资源简介

(共15张PPT)
信息技术：数据处理和可视化表达
DATA
DATA
数据采集、分析、可视化
05-1
认识 大数据
大数据的定义
大数据是指无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合。
（信息技术必修一 5.1 认识大数据）
大数据是具有数量巨大、类型多样、处理效率高、数据源可靠性保证度低等综合属性的海量数据集合。
认识 大数据
大数据的特征
分析角度 大数据产生 (重点) 互联网思维 大数据存储计算
特征 大量（Volume） 样本趋于整体 分布式存储
多样（Variety) 精确让位模糊 低价值密度(Value) 相关性重于因果 分布式并行计算
高速(Velocity) 数据处理
05-2
数据处理的一般过程
数据分析
05-3
数据分析
特征探索：
对数据进行预处理
发现和处理缺失值、异常值
绘制直方图
观察分析数据的分布特征
求最大、最小值、极差等描述性统计值
数据分析
关联分析：
分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中的某些属性同时出现的规律和模式。
数据分析
聚类分析：
人们不需要事先给出分类标准，聚类分析能从样本数据出发，自动分类。
K-Means(K-平均)算法是经典的自上而下的聚类分析算法。
基本思想为：初始随机选择聚集点，通过迭代计算距离，更新中心点，直到达到迭代次数或中心点不再波动为止。以此达到“物以类聚，人以群分”的效果。
数据分析
数据分类：
最基本的方法，与回归分析一样可用于预测。
需要事先给出分类标准，基于样本数据训练分类器。
贝叶斯分类技术
数据可视化
05-4
数据可视化
数据可视化：
快速抓住要点信息。
种类繁多，根据处理数据类型的不同，选择合适的可视化呈现方式。
数据可视化表达工具：
绘图工具：Matplolib
统计模型可视化：Seaborn;
交互式可视化：Bokeh.
数据可视化
总结

展开更多......

收起↑