资源简介

《大数据基础与实务》
教 师 课 时 授 课 教 案
编号： 3
授课日期
授课班级
授课学时 2 课 型 理论+实践
课 题： 项目三 大数据采集与清洗
教 学 目 标： 1.掌握数据采集的概念；
2.了解数据采集的数据源、及采集要点
3. 掌握常用大数据采集与清洗工具
重点与难点： 重点：数据采集工具的应用
难点：数据采集的数据源及要点
解 决 措 施： 1.讲授与案例分析
2.实操分析
教学方法设计： 讲授法、案例法、演示法
教 学 资 源： 教材、案例、课件、网络资源等
《大数据基础与实务》教案用纸 第三讲
教学环节 教 学 内 容 教学组织与教学方法
导入新课 讲授新课 讲授新课 讲授新课 讲授新课 课堂小结 回顾导入： 大数据与云计算的关系 问题导入： 体验一下智慧教室？ 不管通过何种方法收集数据，都要注重原始数据的真实性、实事求是，才能分析出客观的结果。就从我们自身出发，比如大家在做问卷调查时，是否为了达到预想的结果，而在收集阶段就刻意剔除，以偏概全，有时甚至伪造或刻意制造虚假数据，得出自己想要的结论。这都是我们要警惕且不可取的，只有尊重事实，才能得出客观、准确的分析结果，这个结果才能对我们的决策产生积极有效的作用。 1.数据采集的概念 重点：数据采集就是使用某种技术或手段，将数据收集起来并存储在某种设备上。 2.数据采集的要点 难点： （一）全面性 数据量足够具有分析价值、数据面足够支撑分析需求。 （二）多维性 数据更重要的是能满足分析需求。 （三）高效性 高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。 3.数据采集的数据源 数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。而大数据的主要来源则可以分为商业数据、互联网数据、传感器数据三大类。 4.数据采集工具 （1）日志收集系统 （2）网络爬虫 难点： 5.数据采集工具应用 （1）Python采集 （2）八爪鱼采集器 数据采集的概念 数据采集的要点 数据采集的数据源 数据采集工具 数据采集工具应用 班级授课 提问与回答 教师总结 提问与总结 讨论5分钟 教师总结点评 班级授课 启发式讲授 问题分析 班级授课 启发式讲授 案例分析 学生操作 班级授课 启发式讲授 案例分析 班级讲授 总结回顾
课外作业：
八爪鱼采集器采集58同城招聘信息、京东评论数据
教学反思、总结：
《大数据基础与实务》
教 师 课 时 授 课 教 案
编号： 4
授课日期
授课班级
授课学时 2 课 型 理论+实践
课 题： 项目三 大数据采集与预处理
教 学 目 标： 1.了解数据清洗的概念；
2.掌握清洗的内容和流程；
重点与难点： 重难点：数据清洗内容
解 决 措 施： 1.讲授与案例分析
2.现场演示
教学方法设计： 讲授法、案例法、演示法
教 学 资 源： 教材、案例、课件、网络资源等
《大数据基础与实务》教案用纸 第 四 讲
教学环节 教 学 内 容 教学组织与教学方法
导入新课 讲授新课 讲授新课 课堂小结 回顾导入： 数据采集工具 问题导入： 如何将采集的数据进行清洗？ 数据清洗是数据质量管理的重要问题，其内容十分丰富，包括缺失值处理、实体识别与真值发现，错记的主动发现和修复等问题。 1.数据清洗的概念 数据清洗是一种对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 数据清洗的内容：残缺数据，错误数据， 重复数据。 3.数据清洗应用 链家房产数据清洗： 【任务要求】 本案例将对采集后的“链家”平台数据进行数据清洗，以提升数据质量，为后续分析提供数据基础。 数据清洗的概念 数据清洗的内容 数据清洗应用 班级授课 提问与回答 教师总结 提问与总结 讨论5分钟 教师总结点评 班级授课 启发式讲授 问题分析 班级授课 启发式讲授 案例分析 学生操作 班级讲授 总结回顾
课外作业：
使用Excel工具对链家数据进行清洗、使用Python系统进行清洗。
教学反思、总结：

展开更多......

收起↑