资源简介

(共22张PPT)
5.2.1 数据采集的方法和工具（1）
粤教版普通高中教科书
信息技术 必修1
5.2 数据的采集第1课时
知识回顾
处理数据的一般过程：
数据分析
数据可视化表达
数据采集
数据采集的方法与工具
数据的存储与保护
导入
数据采集
数据采集的方法和工具
1
2
目录
数据采集：根据需求采用适当的方法和工具获取数据。
如：
将文字录入电脑——键盘打字、扫描仪扫描
记录课堂活动——照相机拍照、摄像机摄像等
记录一段声音——麦克风录音
1问：什么是数据的采集
1 数据采集
2 数据采集的方法和工具
2问：数据采集的过程是怎样的？
需要获取什么数据？
温度
怎么获取？
测温仪/体温计
为什么能够获取？
温度传感器/液体金属热胀冷缩
如何记录获取到的数据？
填纸质表、问卷星登记等
以记录全班同学当前的体温为例
2 数据采集的方法和工具
1 数据采集
明确数据应用项目的需求
采用适当的方法和工具
数据的存储和保护
围绕选定的项目主题，制定数据采集的需求清单和内容大纲
针对不同的数据类型，选择适当的工具和方法，采集数据
要选择合适的存储方式并注意数据安全
数据采集的过程
1 数据采集
2 数据采集的方法和工具
1 数据采集
2 数据采集的方法和工具
01
03
系统日志采集法
网络数据采集法
其他数据采集法
02
数据采集的基本方法：
01系统日志采集法
1 数据采集
2 数据采集的方法和工具
认知
01系统日志采集法
1 数据采集
2 数据采集的方法和工具
认知
在信息系统中，系统日志是记录系统中硬件、软件和系统问题的信息文件。包括操作系统日志、应用程序日志、安全日志。
01系统日志采集法
1 数据采集
2 数据采集的方法和工具
认知
体验
活动一：参照微课《系统日志采集法》进行实践，在活动记录表中截图粘贴并分析你的计算机的情况
截图：
分析：
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
内涵：指通过网络爬虫或网站公开API（应用程序接口）等方式从网站上获取数据信息。
活动二：请观看视频：
《网络爬虫是什么》
思考如下问题：
1.什么是网络爬虫？
2.网络爬虫的应用有哪些？
3.网络爬虫获取数据的流程是怎样的？
4.如何实现爬虫程序爬取数据
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
网络爬虫是什么？
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
1.什么是网络爬虫？
网络爬虫：又称网络蜘蛛、网络蚂蚁、网络机器人等。
按照人们事先制定的爬取规则，可以代替人们自动地在互联网中进行数据的采集与整理。
即：可以自动采集网络数据的程序
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
2.网络爬虫的应用有哪些？
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
3.网络爬虫获取数据的流程是怎样的？
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
3.网络爬虫获取数据的流程是怎样的？
获取网页的URL
爬取网页的内容
分析网页的内容
提取有用的数据
获取其他的URL，重复前面的步骤，直到满足停止条件
注意：网络爬虫的合法性
若采集的数据是个人使用，不违法
若采集的数据使用时涉及商业盈利范畴，可能违法
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
4.如何实现爬虫程序爬取数据
使用Python语言的第三方库来实现爬虫编写
使用到的库：
requests库——获取网页信息
bs4库（beautifulsoup）——解析HTML页面
xlwt库——调用Excel模块，将获取的有用信息写入表格文件保存
NumPy库 ——构建科学计算最基础的软件库
Pandas ——主要用于快速简单的数据操作、聚合和可视化呈现
Matplotlib ——Python绘图库
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
活动三：结合微课《python第三方库的安装与使用》初步体验网络数据采集法：
1、安装Python扩展库：通过pip安装requests库
2、运行以下代码，简单体验使用爬虫程序采集网页数据。
1）import requests（说明：导入爬去网页第三方库requests）
2）r=requests.get(“http://www.”)（说明：获取网页地址URL，可尝试其他网址）
3）r.status_code（显示连接状态）
4）r.text（显示网页内容）
5）r.apparent_encoding（显示内容编码）
6）r.encoding="utf-8"（修改网页内容编码为utf-8编码）
7）r.text（再次显示网页内容）
体验1
认知
02网络数据采集法
1 数据采集
2 数据采集的方法和工具
认知
活动四：
各小组结合前三个活动，交流与完善活动记录表
体验
交流
总结
THANK YOU

展开更多......

收起↑