资源简介

(共28张PPT)
数据的采集和整理
第二单元 数据与数据探究
目 录
CONTENTS
数据采集的方法
01
数据的整理
02
行业PPT模板http:///hangye/
讲授新课
不积跬步， 无以至千里；不积小流，无以成江海。再庞大的数据，也需要一点一滴的积累。随着技术的发展，数据采集的方法逐步从人工转向机器，计算机已成为最重要的数据采集工具。
数据采集的方法
PART 01
讲授新课
数据采集的方法有很多，早期一般通过观察、实验等人工方式得到数据，并将其记录下来。当科学研究还处于“裸眼观天”时代时，丹麦天文学家第谷·布拉赫只能用肉眼观测星空并人工记录数据。19 世纪中期，照相技术和光谱技术开始在天文观测中应用。如今，天文数据的获取方法已经完全由机器代替，探测器已经飞出地球，实现了遥感遥测。和科学研究几乎一致，在信息时代人们获取数据时也逐步摒弃了低效的人工方式，改用计算机、传感器、网络等工具获取，即通过开放数据平台、网络、传感器获取数据。
1.通过开放数据平台获取数据
政府和许多组织都会将一些数据公开，供人们自由获取和使用，如气象数据、交通数据、人口数据等。图 2.2.1 所示的是某指数平台提供的两个地区之间的贸易往来热度。这些指数是根据某网站每天网站浏览量、每天浏览的人次、每天新增供求产品数、新增公司数和产品数等指标计算得出的。有些企业平台还会提供收费的数据下载服务，通过 API 形式下发各种数据。
讲授新课
图 2.2.1 某指数平台
2.通过网络获取数据
普通用户想要研究某一问题，一般会通过发布网络调查表的形式收集相关的原始数据。有些研究内容也可以通过上网查找而获得数据。例如，想了解未来几天甚至几个月的天气变化趋势，通过查看往年的天气情况进行预测的做法是可行的。但这种逐一查找的做法显然过于低效。通过编写一段程序，自动采集、批量汇总这些信息成为研究者常用的方法。这类按照一定的规则自动获取网络信息的程序称为网络爬虫，是一种常见的互联网数据采集方法。
讲授新课
如果我们把互联网比作一张大的蜘蛛网，数据便存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛。搜索引擎获取网络信息也是通过大量的爬虫程序来实现的。虽然有许多语言和工具都能编写爬虫程序，但 Python 更加方便、易用。编写爬虫程序前，首先要找到存放数据的网页地址，然后找出从网页中“剥离”有效数据的方法，最后通过程序实现批量获取。
讲授新课
使用网络爬虫采集天气数据
一年四季，季节与天气的变化都遵循着一定的规律。研究气象的专家长年累月记录天气信息，积累各种数据。现在，有一些网站提供了世界各个城市的天气预报服务，我们可以通过网络爬虫获取很多城市当日和历史天气情况。
请选择“中国凉都”六盘水、“小三亚”罗甸，体验利用 Python 爬虫采集天气信息的过程，并尝试比较两座城市在气候上的区别。
体
验
动
讲授新课
活
合理合法使用网络爬虫
网络爬虫已成为数据采集的一种重要方式，得到了日益广泛的应用及发展，但并不是所有数据都可以随意爬取和使用。《中华人民共和国网络安全法》第四十四条规定：任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。因此在采集数据时，我们必须遵守相关法律法规，负责任地合理使用网络爬虫。
拓
展
读
讲授新课
阅
讲授新课
3. 通过移动设备和应用获取数据
随着智能手机和平板电脑的普及，移动设备成为了收集数据的强大工具。许多应用程序被设计用来追踪和记录用户的活动、位置、购物习惯等信息。这些数据对于了解消费者行为、交通流量模式、人口迁移趋势等方面提供了宝贵的信息。此外，移动设备也使得在远程地区或者是对于特定社群进行数据收集成为可能。
4..通过传感器获取数据
可穿戴设备和智能家居设备的数据采集，借助于各种传感器。随着物联网技术的发展，传感器能够获取的信息越来越多。在第1单元的学习中，我们已经认识了很多传感器，包括温度传感器、温湿度传感器、环境传感器、气压温度传感器和红外温度传感器等，如图所示。通过这些传感器，我们也能够借助智能终端实现定时采集各种数据，用于相关的研究项目。
讲授新课
图 2.2.3 常见的传感器及其应用
讲授新课
实践活动
采集在线数字气象站的气象数据
小清根据智能农植园的搭建流程，依样搭建出在线数字气象站的应用模型，该气象站可以采集很多天的温度、湿度、二氧化碳浓度、是否下雨等数据。
采集完数据以后需要制作在线数字气象站数据集。在 SIoT 服务器中，针对于一个订阅主题只能有一个类别的数据上传云端，因此需要对数据进行合并。具体步骤如下。
讲授新课
实践活动
采集在线数字气象站的气象数据
（1）选择合适的硬件设备。设备及数量如表 2.2.1 所示。
（2）进行电路连接：将温湿度传感器、气体传感器和水分传感器分别接入开源硬件 I/O 口。
（3）利用上述装置采集一段时间的数据，再分别进入环境项目的温度、湿度、二氧化碳浓度和下雨主题中，下载对应的数据文件，如图2.2.4 所示。
（4）按照温度、湿度、二氧化碳浓度、是否下雨的顺序编排在线数字气象站数据表。
表 2.2.1 设备清单
序 号 设 备 数 量
1 开源硬件 1
2 DHT11 温湿度传感器 1
3 水滴检测传感器 1
4 气体传感器 1
5 3pin 连接线 3
讲授新课
表 2.2.1 设备清单
图 2.2.4 下载数据文件
数据的整理
PART 02
NEW ENERGY
讲授新课
获得数据后，通常要对其进行分类整理与存储，即数据采集后需要通过数据处理得到有效信息。
讲授新课
1. 数据整理的基本过程
数据整理是对数据进行存储、加工的过程，即数据转换成信息的过程。用于加工与分析的数据必须保证质量，即保证数据的完整性、统一性和准确性。
其中，完整性是指数据不能有缺失；统一性要求数据符合统一的标准；准确性要求数据不能有错误。
数据整理的目的就是对数据进行校验和标准化。采集到的数据可能是非标准化的、不完整或重复的，通常将这样的数据形象地称作“脏数据”。处理这些数据的过程称为“数据清洗”，如图 2.2.6 所示。此时需要通过去重、补漏和勘误等方法删除重复数据、补全缺失数据和校正错误数据，并对数据进行统一化和标准化处理，以确保数据是相关的和准确的，从而将“脏数据”变为可加工与分析的清洁数据，即完成数据的整理和存储，形成特定的数据集。
讲授新课
图 2.2.6 数据整理示意图
讲授新课
数据的整理需要借助于工具来实现，如使用电子表格工具筛选数据，将相关的行或者列进行删除、合并后提取出更多信息。此外，我们也可以通过编写程序来实现各种功能，如在 Python 中可以使用专门用于处理数据的 pandas 库，对数据进行各种批量化、自动化的操作。
CSV文件
数据可以保存为不同的文件类型，比较常见的是 CSV 格式。CSV文件是一种纯文本文件，每一行代表一条数据，每条数据包含一个或由逗号分隔的多个值。很多数据处理软件都支持 CSV 格式。如图所示，在电子表格工具中打开 CSV 文件，逗号会被理解为“列”的分隔标记。
拓
展
读
讲授新课
阅
讲授新课
2. 用电子表格工具整理数据
电子表格工具是一类模拟纸上计算表格的计算机程序。它会显示由一系列行与列构成的网格。单元格内可以存放数值、计算式或文本。借助电子表格工具中的排序与筛选功能，可以去除原始数据中冗余或者无效的数据。排序功能是指将用户选取的特定区域内的内容根据某些关键字按升序或降序排列。
单击“自定义排序”对话框，弹出对应窗口后，我们需选择特定列作为“主要关键字”，以此为判断排序的依据，如图所示。相应地，可以添加“次要关键字”，在“主要关键字”相同时进行二次排序。
筛选功能是指选出数据表中满足指定条件的数据。如图所示，当只想了解检测年级为初一的体质健康测试数据时，仅勾选“初一”即可。
讲授新课
讲授新课
实践活动
用电子表格软件整理数据
小清得到了一张在线气象站原始数据表。他希望借助电子表格工具中的排序与筛选功能去除原始数据中冗余或者无效的数据，得到有用数据后进行分析。
请以小组为单位，通过电子表格软件整理在线气象站数据，按照要求去掉明显不合理的温度以及二氧化碳浓度数据，并进行交流分享。
讲授新课
3. 编写程序整理数据
使用计算机语言编程，可以更加灵活、深入地进行数据整理和分析，尤其适用于数据量较大或者需发布在多个文件中的情况。编程语言 Python 拥有多个与数据统计相关的扩展模块，是数据统计方面的首选语言之一。Python 常用的扩展模块有 numpy、scipy、pandas 和 matplotlib 等。
numpy 模块是 Python 中做科学计算的基础库，主要提供科学计算中常用的随机数、数组运算等基础函数。pandas 模块基于 numpy 实现，主要用于数据的处理和分析，它提供了大量处理数据的函数和方法，能方便地操作规模较大的数据集。
在使用网络爬虫采集数据时，小清爬取了历史天气信息数据，其中“weather.csv”是爬虫程序采集到的天气数据，未经过处理的原始数据只会按照日期序号排列。
请编写程序对采集的数据进行整理和存储，并与电子表格软件处理数据的过程进行对比，思考它们分别适用于什么情景下的数据处理？讨论，然后说一说它们的优缺点。
讲授新课
数据科学竞赛平台
为推动数据科学的发展，一些机构建立了数据分享平台，并组织了相关比赛。目前，国内外比较著名的数据科学竞赛平台有 Kaggle、天池等。
拓
展
读
讲授新课
阅
Kaggle
Kaggle 是一个比较权威的全球性的数据竞赛平台，也是一个很好的技术和数据分享社区。在这个平台中可以找到各个领域的比赛和数据，最重要的是可以找到很多有用的经验帖子和一些开源的代码。该平台的比赛成绩受社会的认可度比较高。
天池
天池是一个由国内企业创建的数据竞赛平台，它和 Kaggle 相似，组织了各个领域的比赛，赛制持续时间较长，有一些直播教程和专业课程，比较适合新手入门。
谢谢观看

展开更多......

收起↑