资源简介

(共53张PPT)
第2课
数据的采集和整理
（清华大学版）八年级
上
1
核心素养目标
3
新知讲解
5
拓展延伸
7
板书设计
2
新知导入
4
课堂练习
6
课堂总结
课后作业
8
01
核心素养目标
信息意识
计算思维
数字化学习与创新
信息社会责任
认识到数据的采集和整理需要遵循网络安全法，不碰个人信息、不破坏服务器，合法用数等。
能够用开源硬件、传感器和 SIoT 搭建在线数字气象站，完成采集→上传→整理→分析，提升数据采集和整理能力。
能够按时间合并原始数据，用排序筛选去冗余，用电子表格或 Python 自动整理找规律。
能够从身边温湿度 / 空气质量发现采集需求，知道传感器、网络爬虫、开放平台等多种获取渠道。
02
新知导入
本课中你将学习:
数据采集的方法
数据的整理
02
新知导入
本节活动:
使用网络爬虫采集天气
据采集校园的环境数据
过Python程序整理原始数据
02
新知导入
不积跬步，无以至千里；不积小流，无以成江海。再庞大的数据，也需要一点一滴的积累。随着技术的发展，数据采集的方法逐步从人工转向机器，计算机已成为最重要的数据采集工具。
02
新知导入
03
新知讲解
一、数据采集的方法
数据采集的方法有很多，早期一般通过观察、实验等人工方式得到数据，并将其记录下来。当科学研究还处于“裸眼观天”时代时，丹麦天文学家第谷·布拉赫只能用肉眼观测星空并人工记录数据。19世纪中期，照相技术和光谱技术开始在天文观测中应用。如今，天文数据的获取方法已经完全由机器代替，探测器已经飞出地球，实现了遥感遥测。
03
新知讲解
和科学研究几乎一致，在信息时代人们获取数据时也逐步摒弃了低效的人工方式，改用计算机、传感器、网络等工具获取。下面介绍三种常见的方法，即通过开放数据平台、网络、传感器获取数据。
03
新知讲解
1. 通过开放数据平台获取数据
政府和许多组织都会将一些数据公开，供人们自由获取和使用，如气象数据、交通数据、人口数据等。图2.2.1所示的是某指数平台提供的两个地区之间的贸易往来热度。这些指数是根据某网站每天网站浏览量、每天浏览的人次、每天新增供求产品数、
新增公司数和产品数等指标计
算得出的。有些企业平台还会
提供收费的数据下载服务，通过API形式下发各种数据。
图2.2.1 某指数平台
03
新知讲解
2. 通过网络获取数据
普通用户想要研究某一问题，一般会通过发布网络调查表的形式收集相关的原始数据。有些研究内容也可以通过上网查找而获得数据。例如，想了解未来几天甚至几个月的天气变化趋势，通过查看往年的天气情况进行预测的做法是可行的。但这种逐一查找的做法显然过于低效。通过编写一段程序，自动采集、批量汇总这些信息成为研究者常用的方法。这类按照一定的规则自动获取网络信息的程序称为网络爬虫，是一种常见的互联网数据采集方法。
03
新知讲解
如果我们把互联网比作一张大的蜘蛛网，数据便存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛。搜索引擎获取网络信息也是通过大量的爬虫程序来实现的。虽然有许多语言和工具都能编写爬虫程序，但Python更加方便、易用。编写爬虫程序前，首先要找到存放数据的网页地址，然后找出从网页中"剥离”有效数据的方法，最后通过程序实现批量获取。
03
新知讲解
探索
使用网络爬虫采集天气数据
一年四季，季节与天气的变化都遵循着一定的规律。研究气象的专家长年累月记录天气信息，积累各种数据。现在，有一些网站提供了世界各个城市的天气预报服务，我们可以通过网络爬虫获取很多城市当日和历史天气情况。
03
新知讲解
探索
请选择“中国凉都”六盘水、“小三亚”罗甸，体验利用Python爬虫采集天气信息的过程，并尝试比较两座城市在气候上的区别。
03
新知讲解
阅读
合理合法使用网络爬虫
网络爬虫（见图2.2.2）已成为数据采集的一种
重要方式，得到了日益广泛的应用及发展，但并不
是所有数据都可以随意爬取和使用。《中华人民共
和国网络安全法》第四十四条规定：任何个人和组
织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。因此在采集数据时，我们必须遵守相关法律法规，负责任地合理使用网络爬虫。
图2.2.2网络爬虫示意图
05
知识拓展
网络爬虫抓数据时，要守哪些规矩？
第一是守robots协议：网站会在robots.txx里写明哪些页面允许抓取、哪些禁止，爬虫要先查看再行动；
第二是不碰个人信息：法律规定不得窃取或非法提供他人隐私，聊天记录、手机号等不能随意爬取；
第三是温柔访问：控制请求频率，不要短时间大量访问把网站服务器挤垮。
05
知识拓展
除了爬虫，还有哪些现成的开放数据可用？
第一是政府开放数据：国家统计局和各地公共数据开放网，免费提供气象、交通、人口等数据；
第二是行业数据接口：气象、金融等机构通过API，把数据开放给程序直接调用；
第三是数据科学社区：kaggle、天池上有大量公开数据集和开源代码，很适合学习练手。
03
新知讲解
3. 通过移动设备和应用获取数据
随着智能手机和平板电脑的普及，移动设备成为了收集数据的强大工具。许多应用程序被设计用来追踪和记录用户的活动、位置、购物习惯等信息。这些数据对于了解消费者行为、交通流量模式、人口迁移趋势等方面提供了宝贵的信息。此外，移动设备也使得在远程地区或者是对于特定社群进行数据收集成为可能。
03
新知讲解
4.通过传感器获取数据
可穿戴设备和智能家居设备的数据采集，借助于各种传感器。随着物联网技术的发展，传感器能够获取的信息越来越多。在第1单元的学习中，我们已经认识了很多传感器，包括温度传感器、温湿度传感器、环境传感器、气压温度传感器和红外温度传感器等，如图2.2.3所示。通过这些传感器，我们也能够借助智能终端实现定时采
集各种数据，用于相关的研究项目。
图2.2.3 常见的传感器及其应用
03
新知讲解
探索
小清根据智能农植园的搭建流程，依样搭建出在线数字气象站的应用模型，该气象站可以采集很多天的温度、湿度、二氧化碳浓度、是否下雨等数据。
采集在线数字气象站的气象数据
03
新知讲解
探索
采集完数据以后需要制作在线数字气象站数据集。在SloT服务器中，针对于一个订阅主题只能有一个类别的数据上传云端，因此需要对数据进行合并。具体步骤如下。
（1）选择合适的硬件设备。设备及数量如表2.2.1所示。
03
新知讲解
探索
序号 设备 数量
1 开源硬件 1
2 DHT11温湿度传感器 1
3 水滴检测传感器 1
4 气体传感器 1
5 3pin连接线 3
03
新知讲解
探索
（2）进行电路连接：将温湿度传感器、气体传感器和水分传感器分。别接入开源硬件I/O口。
03
新知讲解
探索
（3）利用上述装置采集一段时间的数据，再分别进入环境项目的温度、湿度、二氧化碳浓度和下雨主题中，下载对应的数据文件，如图2.2.4所示。
图2.2.4 下载数据文件
03
新知讲解
探索
（4）按照温度、湿度、二氧化碳浓度、是否下雨的顺序编排在线数字气象站数据表。
采集时间 温度(℃) 湿度(%RH) 二氧化碳浓度(ppm) 是否下雨
2026-06-18 09:00 28.1 60 520 否
2026-06-18 10:00 29.3 55 610 否
2026-06-18 11:00 30.2 58 720 否
2026-06-18 12:00 29.8 70 830 是
2026-06-18 13:00 27.4 85 760 是
03
新知讲解
二、数据的整理
获得数据后，通常要对其进行分类整理与存储，即数据采集后需要通过数据处理得到有效信息。
03
新知讲解
1.数据整理的基本过程
数据整理是对数据进行存储、加工的过程，即数据转换成信息的过程。用于加工与分析的数据必须保证质量，即保证数据的完整性、统一性和准确性。其中，完整性是指数据不能有缺失；统一性要求数据符合统一的标准；准确性要求数据不能有错误。图2.2.5为数据整理的过程示意图。
图2.2.5 将数据转换成信息
03
新知讲解
数据整理的目的就是对数据进行校验和标准化。采集到的数据可能是非标准化的、不完整或重复的，通常将这样的数据形象地称作“脏数据"。处理这些数据的过程称为“数据清洗”，如图2.2.6所示。
图2.2.6 数据整理示意图
03
新知讲解
此时需要通过去重、补漏和勘误等方法删除重复数据、补全缺失数据和校正错误数据，并对数据进行统一化和标准化处理，以确保数据是相关的和准确的，从而将“脏数据”变为可加工与分析的清沽数据，即完成数据的整理和存储，形成特定的数据集。
数据的整理需要借助于工具来实现，如使用电子表格工具筛选数据，将相关的行或者列进行删除、合并后提取出更多信息。此外，我们也可以通过编写程序来实现各种功能，如在Python中可以使用专门用于处理数据的pandas库，对数据进行各种批量化、自动化的操作。
03
新知讲解
拓展阅读
CSV文件
数据可以保存为不同的文件类型，比较常见的是CSV格式。CSV文件是一种纯文本文件，每一行代表一条数据，每条数据包含一个或由逗号分隔的多个值。很多数据处理软件都支持CSV格式。如图2.2.7所示，在电子表格工具中打开CSV文件，逗号会被理解为“列”的分隔标记。
图2.2.7 CSV文件在记事本中和在电子表格工具中的不同显示效果
05
知识拓展
CSV文件和Excel 表格有什么不一样
第一是CSV是纯文本：每行一条记录、用逗号分隔数值，记事本就能直接打开；
第二是CSV小巧通用：体积小，各种软件和Python程序都能直接读取，适合批量处理；
第三是它没有格式：存不了公式、颜色和图表，那些要靠Excel这类表格文件。
03
新知讲解
2.用电子表格工具整理数据
电子表格工具是一类模拟纸上计算表格的计算机程序。它会显示由一系列行与列构成的网格。单元格内可以存放数值、计算式或文本。借助电子表格工具中的排序与筛选功能，可以去除原始数据中冗余或者无效的数据。
排序功能是指将用户选取的特定区域内的内容根据某些关键字按升序或降序排列。如图2.2.8所示，在体质健康测试数据表中，选取排序区域时，需要选择一个连续区域，否则会出现图2.2.9所示的排序提醒，单列参与排序将造成数据错位。
03
新知讲解
图2.2.8 选取排序区城
图2.2.9 排序提醒
03
新知讲解
单击“自定义排序”对话框，弹出对应窗口后，我们需选择特定列作为“主要关键字”，以此为判断排序的依据，如图2.2.10所示。相应地，可以添加“次要关键字”，在“主要关键字”相同时进行二次排序。
图2.2.10 自定义排序关键字设置
03
新知讲解
筛选功能是指选出数据表中满足指定条件的数据。如图2.2.11所示，当只想了解检测年级为初一的体质健康测试数据时，仅勾选“初一”即可。
图2.2.11 筛选功能
03
新知讲解
探索
用电子表格软件整理数据
小清得到了一张在线气象站原始数据表。他希望借助电子表格工具中的排序与筛选功能去除原始数据中冗余或者无效的数据，得到有用数据后进行分析。
请以小组为单位，通过电子表格软件整理在线气象站数据，按照要求去掉明显不合理的温度以及二氧化碳浓度数据，并进行交流分享。
03
新知讲解
3.编写程序整理数据
使用计算机语言编程，可以更加灵活、深人地进行数据整理和分析，尤其适用于数据量较大或者需发布在多个文件中的情况。编程语言Python拥有多个与数据统计相关的扩展模块，是数据统计方面的首选语言之一。Python常用的扩展模块有 numpy、scipy、pandas 和 matplotlib等。
03
新知讲解
numpy模块是Python中做科学计算的基础库，主要提供科学计算中常用的随机数、数组运算等基础函数。pandas模块基于numpy实现，主要用于数据的处理和分析，它提供了大量处理数据的函数和方法，能方便地操作规模较大的数据集。
04
课堂练习
通过Python程序整理原始数据
挑战
在使用网络爬虫采集数据时，小清爬取了历史天气信息数据，其中“weather.csv”是爬虫程序采集到的天气数据，未经过处理的原始数据只会按照日期序号排列。
请编写程序对采集的数据进行整理和存储，并与电子表格软件处理数据的过程进行对比，思考它们分别适用于什么情景下的数据处理？讨论，然后说一说它们的优缺点。
04
课堂练习
挑战
读取weather.ccv
按采集时间排序
筛选有效数据
计算统计值
保存为整理后文件
方法一：编写程序整理
适用场景:
数据量大 重复处理多份文件
数据量小·需要自动分析或绘图
import pandas as pd
df = pd_read_csv('weather.csv')
df= df_sort_values(‘日期’)
df.to_csv('weather_sorted.csv')index=False)
04
课堂练习
挑战
打开weather.csv
选中日期列
使用排序功能
筛选有效数据
掐量校文数据
另存为整理后文件
方法二：电子表格管理
适用场景:
需要直观查看
快速排序、筛选、制作图表
日期 温度 湿度 天气
2026-05-01 22.4 58 晴
2026-05-02 24.1 63 多云
2026-05-03 21.8 72 小雨
04
课堂练习
挑战
程序处理：
优点：自动化强，适合大量数据，便于重复分析
缺点：需要学习代码，出错时调试较困难
电子表格：
优点：:直观易上手，所见即所得，适合探索数据
缺点：数据量大或步骤多时容易繁琐
讨论：两种方法各有什么优缺点
04
课堂练习
挑战
选择建议：
少量数据、快速查看：用电子表格
大量数据、重复处理：用程序
结论：
程序处理擅长自动化，电子表格擅长直观探索;两者都能整数据，应根据数据量和处理需求选择。
讨论：两种方法各有什么优缺点
03
新知讲解
拓展阅读
数据科学竞赛平台
为推动数据科学的发展，一些机构建立了数据分享平台，并组织了相关比赛。目前，国内外比较著名的数据科学竞赛平台有Kaggle、天池等
（1） Kaggle
Kaggle是一个比较权威的全球性的数据竟赛平台，也是一个很好的技术和数据分享社区。
03
新知讲解
拓展阅读
在这个平台中可以找到各个领城的比赛和数据，最重要的是可以找到很多有用的经验帖子和一些开源的代码。该平台的比赛成绩受社会的认可度比较高。
（2）天池
天池是一个由国内企业创建的数据竞赛平台，它和Kaggle相似，组织了各个领城的比赛，赛制持续时间较长，有一些直播教程和专业课程，比较适合新手入门.
04
课堂练习
项目实施:
小清的团队在研究方面出现了分歧，他们为采用哪一种数据获取方式持不同意见：观点一是想通过“网络爬虫数据实验”从互联网上获取所需的天气资源；观点二是希望使用开源硬件与传感器设计物联网数据采集设备来获取天气信息。
你认为这两种方式分别存在哪些优缺点？你们的项目团队将会选择哪一种数据采集方式？如果采用第二种方式，请填写表2.2.2。
04
课堂练习
项目实施:
两种方式分别有哪些优缺点？
观点一：网络爬取已有天气数据 观点二：开源硬件 + 传感器自建物联网采集
优点 成本低、数据量大、能直接拿到多年历史数据、不用搭设备、上手快 数据是本地实时采集、可自定义要测的量、完整体验 "硬件→传感器→云端→分析" 全过程、数据自己掌控
缺点 依赖网络、受网站反爬和 robots 协议限制、要合法合规、数据质量参差不齐、不是本地实时数据 要买硬件、要接电路写程序、需要维护、数据量较小、精度受设备和环境影响
02
新知导入
项目实施:
表2.2.2 项目实施记录表
传感器名称 部署设备的地点 数据存储设备 数据传输方式
DHT11 温湿度传感器 学校气象站（室外遮雨通风处） 开源硬件 + SIoT 云服务器 Wi-Fi 无线传输到 SIoT
水滴（雨水）传感器 露天可接雨处 开源硬件 + SIoT 云服务器 Wi-Fi 无线传输到 SIoT
气体（CO ）传感器 采集现场 开源硬件 + SIoT 云服务器 Wi-Fi 无线传输到 SIoT
07
课堂总结
1
引入新知内容
数据的采集和整理
2
了解数据采集发方法
3
学习如何进行数据整理
4
参与活动项目体验数据采集整理
5
进行相关知识拓展
1
2
3
4
5
08
板书设计
数据的采集和整理
1.进行新知引入
2.学习新知讲解
3.完成课堂练习
4.进行知识拓展
09
课后作业
01
小清的在线气象站分别把 "温度、湿度、二氧化碳浓度、是否下雨" 上传到了四个不同主题下。为什么在分析前要先把它们整理合并成一张数据表？整理时一般按什么来对齐每一行？
https://www.21cnjy.com/recruitment/home/fine

展开更多......

收起↑