资源简介

(共26张PPT)
——认识智能停车场中的数据整理
第6课 数据的整理
学习目标
了解数据采集的常用方法和工具
了解数据的组织方式
了解数据的存储方式
了解表格数据的加工方法
导入
思考1：
引导屏上的信息如何得到的？
思考2：
智能停车场的数据如何处理？
思考3：
智能停车场如何计算停车费？
01
数据采集的方法
数据采集方法和工具
如何采集这些数据？
数据采集的方法：
1
自动采集数据；
人工获取数据；
2
数据采集方法和工具
数据采集是数据处理的工作的前提和基础。
采集方法 人工获取 自动采集
调查 访谈 观察 实验 文献调研 物联感知 视频监控 网络平台
采集工具 问卷 表格 文献检索工具 传感器 摄像机 采集软件
网络爬虫
移动APP
是指人直接从社会现象、自然现象或文献中获取数据。
1、人工获取数据
调查访谈
社会科学研究经常通过调查或访谈的方法获得一手数据。问卷是调查、访谈时常见的数据采集工具。相比传统纸质很多网络工具可以帮助调查者更快捷、更精准地获得调查数据。
观察实验
在观察自然现象和进行科学实验时，需要设计各种表格，科学地记录通过观察或实验得到的各种数据。
文献调研
文献数据既包括正式出版、发行的纸质书刊、表、年鉴，也包括政府机构、职能部门网站定期发布的公报、统计信息、研究报告等，还包括企业、机构网站上免费或有偿提供的数据库数据。文献数据可以通过文献检索工具获取，如利用搜索引擎工具在网络上搜索专业的数据库。
自动采集数据的方法通常有物联感知采集、视频监控采集、网络平台采集以及从已有数据库中采集等。
2、自动采集数据
物联感知
是指对在物联网中使用电子标签或无线终端标识的智能化物体，通过传感器感知它们的数据变化，采集相关数据，并利用各种通信技术上传至网络信息中心存储。
视频监控采集
是指借助不同监控点的摄像机采集监控区域的数据。
网络平台采集
主要是指用户在访问网站或使用APP时，网站服务器上安装的采集软件自动采集用户的各种行为数据。
02
数据保护
数据保护的方法
某居民小区拟在出入口安装车牌识别摄像头，但部分车主担心自己的个人信息、车牌信息、停车数据等隐私被泄露。你觉得他们的顾虑有道理吗？
思考与讨论：
1、数据备份
数据在传输、存储、交换的过程中会面临各种风险因素，为避免风险，通常需要进行数据备份。数据备份是周期性地将数据以某种方式制作一个或多个备份，并将其存放在专门设备上加以保护，以便在数据丢失或损坏时能够有效地进行数据恢复。
个人数据备份
主要是通过文件的复制完成。
企业数据备份
企业要制定数据备份策略，明确数据备份内容、数据备份时间和数据备份方式等。企业的信息管理系统一般都包含数据备份的功能，以自动、全面、高效地在服务器上进行数据备份。
2、数据的隐私保护
大数据背景下，哪些行为会被大数据采集分析，也可能会暴露个人隐私？
网上阅读习惯
网上聊天与好友的联络情况
网上购物习惯
网上搜索习惯
发送邮件联络方式
网上观影习惯
思考：
数据隐私保护
立法
技术
管理
数据采集时的隐私保护，如数据精度处理
数据共享、发布时的隐私保护，如数据的匿名处理、人工干扰等
数据分析时的隐私保护
生命周期的的隐私保护
隐私数据的可信销毁
数据隐私保护技术
03
数据的组织和存储
数据组织形式及存储
数据存储形式
数据以文件或数据库的形式永久存储在外存储器中。
■ 文件
按照数据的组织和编码方式，文件可以分为不同的类型，可以由文件的后缀名加以区分。
■ 数据库
数据库按照特定的数据结构来组织、存储和管理数据，它相当于建立在计算机存储设备上的仓库。数据库有很多种类型，从最简单的存储各种数据的表格，到能够进行海量数据存储的大型数据库系统，都有着十分广泛的应用。
数据存储形式
1、确定关系表中每一个属性的数据类型。
2、设置属性值的数据约束（属性值是否唯一、是否可以为空、是否要在一定的数据范围内等）
如：视频文件、音频文件、图像文件、文本文件等。
结构化数据通常存储在关系型数据库或表格文件中。
非结构化数据主要以媒体格式文件存储。
04
表格数据的加工方法
数据计算、数据排序、数据筛选、数据分类汇总
（1）数值数据（一般由阿拉伯数字、小数点和正负号构成，数据处理软件提供了百分比、货币、科学计数法等）
1、数据的计算
算术运算：+ - * /
关系运算：= > < >= <= <>
运算结果为TURE 或者FALSE
常用函数：
求和 SUM 计数 COUNT 求平均 AVERAGE
求最大值 MAX 求最小值 MIN
求平方根 SQRT 求余数 MOD
例如：
SUM（A1:C1）
计算A1到C3所有数值的和。
AVERAGE（A1:C3）
求A1到C3所有数值的平均值
A B C
1 80 75 62
2 15 63 55
3 42 34 90
（2）文本数据（一般包含字母、汉字等字符，也可以是完全由数字构成的文本数据，如身份证号码、工号等）
文本运算：&
常用函数：
求字符串的长 LEN
求子串的 LEFT（从左边截取字符串） RIGHT（从右边截取字符串） MID(截取指定子串）
查找字符串 FIND
删除空格 TRIM
例如：
LEFT（A1,3） =433
RIGTH（A1,3） =521
MID(A1,7,8) =20081010
A B C
1 433031200810101521
2
3
（3）日期时间数据（一般日期和时间两部分，输入方式为YYYY-MM-DD HH:MM:SS）
常用函数：
返回当天日期 TODAY
返回当前日期和时间 NOW
返回两日期间相差的实足年数、月数、天数 DATEDIF
例如：
DATE(2029,10,1)-TODAY() 求举例2029年国庆节还有多少天
（4）逻辑数据（TURE、FALSE。没有运算，但关系运算和逻辑函数都会产生逻辑数据）
常用函数：
IF 函数 是否满足条件返回不同的结果。可支持多个条件判断。
例如：
DATE(2029,10,1)-TODAY() 求举例2029年国庆节还有多少天
BMI指数 评价
MBI<18.5 体重轻
18.5<=BMI<24 健康
24<=BMI<28 超重
BMI>=28 肥胖
序号 体检号 身高 体重 BMI 评价
1 1230001 1.56 63.1 25.93 超重
2 1230002 1.6 48.7 19.02 健康
IF(E2<18.5,”体重轻”,IF(E2<24,”健康”,IF(E2<28,”超重”,“肥胖”)))
2、数据的排序
数据排序即对表格中的一列或多列数据按制定的顺序重新显示。
排序两种方式：
升序 降序
■数值数据按照数值的大小排序
■文本数据按照ASCII码值的大小排序
■汉字的排序两种：按拼音的字典顺序排序；按笔画的多少逐字排序。
3、数据的筛选
当要从表格中找出满足一定条件的几行或几列数据时，就需要用到数据筛选功能。
■数值数据按照值域范围、平均值、最大最小值等来设定
■文本数据按照所包含的字符或字符串模糊查找
■日期、时间数据支持按年、月、日分级选择，也可以根据日期的大小和范围设定
■逻辑数据只有两个值，只需选择相应的值进行筛选
4、数据的分类汇总
表格数据可以按照不同的类别进行汇总统计，汇总统计包括求总和、计数、求平均值、取最大最小值、求偏差、求方差等。
（1）单方向的分类汇总
按数据分类字段先排序，利用汇总工具对汇总方式、汇总项等进行设定
（2）交叉分类汇总
通常使用工具是数据透视表。数据透视表是一种交互式的表，可以进行某些计算，如求和与计数等。所进行的计算与数据跟数据透视表中的排列有关。之所以称为数据透视表，是因为可以动态地改变它们的版面布置，以便按照不同方式分析数据，也可以重新安排行号、列标和页字段。每一次改变版面布置时，数据透视表会立即按照新的布置重新计算数据。另外，如果原始数据发生更改，则可以更新数据透视表。
谢谢您的聆听！

展开更多......

收起↑