资源简介

(共41张PPT)
第18课 数据分析与处理
数据分析与处理
01
02
了解常见的数据处理工具，会在物联网服务平台中查看和下载数据。
了解物联系统中处理数据的方法，能够利用程序处理简单的数据。
学习目标
数据分析与处理
问题情景
物联系统
传感器与互联网
物联网服务平台
数据分析与处理
了解近场通信的奥秘
了解常见的数据处理 工具
01
学习内容
02
体验从物联网服务平台获取数据
03
了解处理数据的一般方法
数据分析与处理
常见的数据处理工具
体验从物联网服务平台获取数据
一、了解常见的数据处理工具
在人类文明的历程中，人们对数据处理工具的改进一直没有停止过，从早期的算盘到机械式计算机，再到电子计算机和计算器。
处理数据的一般方法
数据分析与处理
随着互联网和物联网的不断发展，数据产生的速度越来越快，数据种类也越来越多。人们主要借助计算机中的工具处理数据，比较常用的有《WPS表格》等电子表格软件和FineBI、Hadoop等专用的数据分析软件。随着编程语言的发展，人们开始借助编程工具处理数据。
一、了解常见的数据处理工具
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
1.常见的数据处理工具有哪些？
2.利用程序处理数据有什么优势？
数据分析与处理
学习活动 1
你使用过哪些数据处理工具？处理过什么数据？
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
1.电子表格软件（如 WPS 表格）处理物联花盆的环境数据、学生身高数据等；
2.Python 中的 pandas、numpy 模块用于物联花盆系统数据的整理、排序等；
3.物联网服务平台汇总、存储和转发各系统传感器采集及互联网获取的数据。
常见的数据处理工具：
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
二、从物联网服务平台获取数据
物联网服务平台通常可以提供两种数据下载方式：以数据文件的形式下载和通过API调用。
API各类接口
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
学习活动 2
体验从物联网服务平台获取数据。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
方式一：以数据文件的形式下载，用电子表格软件进行处理。
第1步：登录在线MQTT服务器。
https://iot.mpython.cn/
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第2步：点击项目管理，去到17课活动3创建的项目，查看主题。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第3步：下载数据。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第4步：查看数据。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
方式二： 通过API调用数据，可以实现自动从物联网服务平台获取数据。
主要代码
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第1步：导入 requests 模块（注意要先切换到python模式下）。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第2步：编写代码。
物联网服务平台账号
密码
主题ID
物联网服务平台接口网址
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第3步：运行代码返回结果。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
物联系统中的原始数据可能会出现数据缺失、数据重复、数据格式错误等问题。
数据缺失：部分数据未记录致字段空缺，可填充前后数据平均值处理。
数据重复：同样数据多次记录，完全重复删其一，互补则补全留优。
数据格式错误：单位或数据类型不一致，需甄别并修正异常数据格式。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
数据异常的处理方法有哪些？
数据分析与处理
数据清洗：去重、填补缺失值、修正错误数据，保证数据准确无冗余。
数据验证：依据范围、逻辑和数据类型规则，筛查异常数据。
数据平滑：采用移动平均、指数平滑等方式，减弱异常波动影响。
异常值检测处理：运用统计法、机器学习算法识别异常，针对性处理。
数据异常的处理方法
数据分析与处理
三、了解处理数据的一般方法
在进行数据处理前，要明确数据处理的目标和思路。通过对环境数据的分析，能够进一步了解当前环境情况。在Python中可以借助pandas、numpy等数据处理模块处理数据。
在计算机中正确安装Python 后，可以在命令提示符中分别输入pip install pandas和 pip install numpy来安装 pandas库和numpy库。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
学习活动 3
对从 API 获取的数据进行整理、获取最值、筛选光照及分组求土壤湿度均值。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第一步：数据格式转换：从 API 取数据，经 json 解析后转为DataFrame 类型，便于编程处理。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第二步：温度最值获取：利用 sort_values 方法对温度数据排序，获取最高和最低温度值。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第三步：光照数据筛选：按设备 ID 和光照强度阈值筛选数据，确定不同位置光照时间。
pandas模块也支持多条件筛选。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
第四步：土壤湿度计算：依据设备 ID 分组，用 mean 函数求每组土壤湿度平均值。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
完整代码：
注意
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
结果：
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
同学们，想一想，数据分析的常用思路和方法有哪些呢？
数据分析与处理
数据分析的常用思路和方法
统计分析法：通过求一组数据的最大值、最小值、平均值等方式进行分析处理。
对比分析法：通过对比不同数据，分析其异同。例如,可以对不同区域的温度数据进行对比。
分组分析法：将数据根据某个条件分成若干组，再对数据进行统计和对比分析。例如，先根据设备 ID 进行分组，再进行对应的分析处理。
常见的数据处理工具
体验从物联网服务平台获取数据
处理数据的一般方法
数据分析与处理
1.尝试使用电子表格软件对数据分析处理，说一说哪种处理方式更好。
拓展与提升
数据分析与处理
虽然利用电子表格软件也可以进行数据分析处理，但是通过编程能高效处理大量数据，并实现更为直观的数据可视化。
数据分析与处理
2.海王星是利用数据进行预测而非依靠观测发现的行星。请通过互联网查阅关于海王星被发现的资料，结合自己的理解谈谈数据分析处理在科学研究活动中的重要作用。
拓展与提升
数据分析与处理
在现代科学研究中，数据分析已经成为不可或缺的一部分。它不仅可以提高科学研究的效率和质量，还可以为科学家们提供更多的启示和思路。在未来，随着数据采集和计算技术的不断发展，数据分析在科学研究中的应用将会更加广泛和深入。
数据分析与处理
假设你要监测家中植物生长环境，利用所学知识，设计一个数据处理方案。用 Python 模拟从 API 获取温度、光照强度、土壤湿度等数据（数据可自行虚拟设定），并对数据进行整理、获取温度最值、筛选合适光照强度数据、计算土壤湿度平均值等操作，将代码及运行结果记录下来。
课后作业
数据分析与处理
02
掌握从物联网平台取数据的方法。
课堂总结
01
了解电子表格与 Python 模块。
03
学会整理、筛选、分组计算等操作。
谢 谢
THANK YOU
Thanks!
https://www.21cnjy.com/recruitment/home/fine

展开更多......

收起↑