资源简介

(共32张PPT)
项目8 大数据
CONTENTS
目录
任务8.1
数据与大数据
任务8.2
大数据的特征
任务8.3
大数据的发展历程
任务8.4
大数据的结构类型
任务8.5
大数据的关键技术
思政目标
大数据教育目标
通过学习大数据，培养学生具备全面的大数据认知和应用能力，使其能够在尊重和保护个人隐私的前提下，合法、合规地利用大数据技术进行信息分析和决策支持。
大数据伦理原则
教育学生在处理大数据时，必须遵守法律法规，尊重个人隐私，确保数据使用的合法性和合规性，为社会提供有价值的决策支持。
学习目标
数据概念理解
数据是记录信息的符号，大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据5V特征
大数据具有Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）的特征，要求处理技术与平台的创新。
大数据发展历程
从数据仓库到云计算，大数据经历了萌芽、发展、成熟三个阶段，云计算和人工智能的融合加速了大数据技术的发展。
大数据结构类型
大数据结构类型包括结构化数据、半结构化数据和非结构化数据，其中结构化数据易于处理，非结构化数据占比最大。
大数据关键技术
关键技术涵盖数据采集、存储、处理、分析和可视化，如Hadoop、Spark、NoSQL数据库等，支持高效数据处理与决策支持。
项目描述
大数据概念
指无法常规软件工具处理的海量、高速、多样的低价值密度数据集合。
大数据特征
规模宏大，流转迅速，类型繁多，价值稀疏。
大数据意义
掌握相关技能，助力国家数字经济蓬勃发展。
大数据内容
涵盖概念、特性、历史、分类及核心科技。
大数据概述
任务8.1
任务8.1 大数据概述
01
大数据定义
大数据不仅是海量信息，更是潜在财富，其价值在于推动经济社会进步。
02
数据特性
虽种类繁多、流转迅速，大数据价值密度低，需深度挖掘非结构化信息，技术挑战显著。
8.1.1 数据与大数据
数据的本质与形式
数据定义解析
数据是客观事物的原始素材，涵盖数字、文字、符号及多媒体形式，用于提供未加工的信息与事实。
数据形式多样
数据包含数字序列、天气状态描述及档案记录，如“晴、阴”“人事档案”等，呈现多模态表达特征。
数据应用价值
数据通过逻辑归纳抽象现实，为信息提取提供基础，支撑决策分析与知识推演的核心功能。
8.1.1 数据与大数据
数据在计算机科学中的定义
数据是计算机处理的符号总称，随技术发展日益复杂多元。
8.1.1 数据与大数据
大数据概念的起源与发展
词源追溯
“大数据”一词首现托夫勒1983年著作《第三次浪潮》，书中以“第三次浪潮的华彩乐章”定义其时代意义。
核心属性
大数据具备海量规模（T/P级）、多模态类型（数值与非数值）、瞬时处理需求及低可靠性数据源等综合特征。
8.1.2 大数据的特征
01
大数据特征
IBM提出的大数据“5V”特征，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实）。
02
图8-1说明
图8-1详细展示了大数据的“5V”特征，直观呈现大数据的特性与挑战。
大数据的“5V”特征
8.1.2 大数据的特征
1.Volume（大量）
数据规模特征
大数据规模从TB跃升至ZB级别，天文学与基因学领域率先突破，如斯隆项目数周数据超历史总量，中国天眼年产量达15PB。
技术驱动增长
物联网、云计算等技术推动数据爆发，移动互联网以人为核心节点，微信、微博等成为主要数据来源。
数据来源多样
数据涵盖传感器、监控设备、支付系统及互联网行为，通过自动或人工流程汇聚至机构，形成海量数据集合。
8.1.2 大数据的特征
2.Velocity（高速）
数据增长特征
数据源呈现爆炸性与持续性并存，如欧洲核子研究中心每秒产生PB级数据，用户点击流等海量群体数据短时累积规模惊人。
处理速度要求
大数据需秒级实时分析，传统技术差异显著，谷歌Dremel系统通过集群处理与列式架构实现万亿级数据秒级响应。
技术架构演进
新兴技术采用分布式集群与专用架构，如Dremel支持千级CPU并行处理，满足万级用户操作PB数据并保持亚秒查询。
实时价值边界
“1秒定律”界定数据时效性，超时即失效，驱动技术向高并发低延迟演进，确保分析结果与数据生成同步。
8.1.2 大数据的特征
3.Variety（多样）
数据来源广泛性
大数据源于科学研究、Web应用及生物、医疗、金融等行业，涵盖电子邮件、社交媒体等非结构化数据类型，呈现爆炸性增长。
数据处理挑战
传统结构化数据存储于关系型数据库，而Web 2.0推动NoSQL应用，需复杂数据转换，传统OLAP技术难以适配非结构化分析需求。
技术应用前景
支持非结构化数据分析的用户友好型商业软件潜力巨大，需突破传统商务智能工具局限，适应多样化数据处理场景。
8.1.2 大数据的特征
4.Value（价值）
大数据价值密度
大数据价值密度低但应用价值高，需深入挖掘海量无意义数据，通过技术手段提取关键信息，实现“沙里淘金”式价值转化。
交通监控数据应用
日常无事故监控视频存储成本高昂，但关键片段价值显著，需投入设备维护与能源保障，确保实时捕捉并保留有效数据。
8.1.2 大数据的特征
5.Veracity（真实）
数据质量核心
数据准确性与可靠性是大数据价值基础，需通过清洗、校验及权威性评估确保真实，避免决策风险。
数据真实性挑战
互联网存在虚假流量与错误数据，如电商交易数据表面真实却隐含虚假成交量，凸显数据源差异性。
数据清洗必要性
海量数据中混杂不一致或误导信息，需质量管理措施过滤无效内容，保障有效洞察与决策质量。
8.1.3 大数据的发展历程
大数据起源
上世纪信息革命，PC普及为首波，互联网商用掀二次浪潮。
大数据时代开启
2010年左右，云计算、物联网兴起，大数据崭露头角，第三次信息化浪潮涌动。
大数据发展阶段
历经萌芽、成熟至大规模应用三阶段，图8-2详述历程。
大数据发展历程
8.1.3 大数据的发展历程
1.萌芽期（20世纪90年代至21世纪初）
大数据术语起源
1980年托夫勒在《第三次浪潮》提出“大数据”，Science杂志1998年将其作为专业名词引入公共学术领域。
技术应用阶段
数据挖掘与数据库技术推动商业智能工具发展，知识管理系统与专家系统逐步应用于实践场景。
8.1.3 大数据的发展历程
2.成熟期（2000年至2010年）
01
技术突破与框架建立
2004年Google推出GFS、MapReduce及BigTable技术，奠定大数据基础；2005年Hadoop诞生，推动数据分析技术革新。
02
数据爆发与技术演进
2010年《经济学人》专题报告揭示数据爆炸趋势，物联网与移动技术加速数据增长，催生复杂处理需求。
03
大数据特征与解决方案
数据规模与复杂度超越传统方法，创新技术应运而生，有效应对多样化场景，支撑庞大数据集处理。
8.1.3 大数据的发展历程
3.大规模应用期（2011年至今）
01
早期研究讨论
《科学》杂志推出大数据专刊，麦肯锡报告提出“大数据时代”论点，引发全球学术界关注。
02
国家战略布局
美、中、英等多国发布大数据战略规划，推动学科建设与政策制定，强化技术竞争力。
03
技术应用深化
大数据与人工智能结合，实现数据深度分析与知识创新，加速行业智能化与模式变革。
8.1.4 大数据的结构类型
01
大数据结构分类
大数据可细分为结构化、半结构化与非结构化三种类型，非结构化数据占比高达80%，且年增长率显著。
02
非结构化数据趋势
据IDC报告，企业数据中非结构化部分占据主导，呈现指数级增长态势，反映大数据处理挑战与机遇并存。
大数据包含的数据类型
8.1.4 大数据的结构类型
1.结构化数据
01
结构化数据定义
结构化数据具有预定义格式与结构，存储于关系型数据库，便于查询分析，字段包含整数、浮点数等固定类型。
02
数据特点解析
字段格式与长度严格规范，如财务记录、客户信息等，确保数据完整性与准确性，降低处理错误率。
03
应用场景示例
企业内部订单、产品信息等结构化数据，通过键值快速检索，支撑决策制定与业务高效运营。
04
核心优势总结
规范性提升数据可读性，分析工具可快速处理，加速报告生成与业务响应，维护成本显著降低。
8.1.4 大数据的结构类型
2.半结构化数据
数据结构特性
半结构化数据介于结构化与非结构化之间，兼具部分规则性与灵活性，格式较松散但含元数据，适应复杂多变的应用场景。
数据模型应用
该模型适用于多数据库集成，整合异构数据并保留元信息，支持XML、JSON等格式，便于解析语义与上下文关联。
8.1.4 大数据的结构类型
3.非结构化数据
非结构化数据定义
非结构化数据无固定结构与模式，无法用数据库二维表表示，涵盖文档、图像、音频等格式，占大数据主体。
处理技术挑战
传统技术难以处理非结构化数据，需借助自然语言处理、计算机视觉等先进技术实现结构化分析。
技术应用前景
非结构化数据应用覆盖全行业，通过机器学习与人工智能整合技术，可挖掘数据价值并预测趋势。
8.1.5 大数据的关键技术
01
大数据采集
运用日志收集、网络爬虫等手段，从各类数据源中高效、准确地获取原始数据。
02
大数据预处理
清洗、转换、集成数据，提升数据质量，为后续分析奠定基础。
03
大数据存储与管理
采用分布式文件系统、数据库等技术，实现海量数据的高效存储与管理。
04
大数据分析与挖掘
应用统计分析、机器学习等方法，从数据中提取有价值的信息和知识。
8.1.5 大数据的关键技术
1.大数据采集技术
数据采集技术
通过RFID、传感器、社交网络及移动互联网获取结构化、半结构化与非结构化数据，覆盖多源异构数据采集场景。
数据质量保障
需确保数据可靠性、完整性和准确性，应对高并发、多样化来源及海量数据流的实时处理挑战。
效率提升方法
采用网络爬虫与数据挖掘技术实现自动化采集，优化数据抓取逻辑与清洗流程，缩短采集周期。
分层架构设计
智能感知层整合数据传感、网络通信与识别体系，基础支撑层提供虚拟服务器与数据库资源服务。
8.1.5 大数据的关键技术
2.大数据预处理技术
数据抽取流程
从原始数据中提取信息，处理多结构类型数据，转化为易处理形式，便于后续分析与应用。
数据清洗处理
通过去重、填充缺失值等操作，消除噪音与错误，确保数据质量可靠且完整。
数据格式转换
调整字段名称与顺序，适配不同分析场景需求，最终加载至数据仓库进行深度挖掘。
8.1.5 大数据的关键技术
3.大数据存储与管理技术
数据存储管理重要性
高效存储与管理预处理数据是大数据系统核心，直接影响系统性能，需保障数据可靠性及传输效率。
核心内容构成
涵盖数据接收、存储、组织维护，分类聚合及元数据解析，同时防范自然与人为因素对数据的破坏。
关键技术挑战
需突破可存储性、可表示性、可处理性难题，确保数据高可靠性及传输稳定性，支撑系统持续运行。
8.1.5 大数据的关键技术
4.大数据分析与挖掘技术
大数据核心技术
大数据分析通过处理海量数据发现模式与趋势，支持决策优化，涵盖数据挖掘、算法开发及复杂挑战应对。
数据预处理作用
数据预处理确保信息质量与可用性，为后续分析提供可靠基础，避免噪声干扰关键结论。
数据挖掘算法应用
决策树、神经网络等算法用于模型构建与评估，识别隐藏关联规则，提升业务场景预测精度。
技术挑战与创新
应对数据规模性、多样性等挑战需持续改进技术，开发高效算法以处理高维异构数据集。
8.1.5 大数据的关键技术
5.大数据展现与应用技术
可视化展示技术
通过图表、地图及仪表盘将数据转化为直观图像，帮助用户快速理解核心内容与趋势，提升信息传达效率。
自动化报告生成
基于数据分析结果自动生成结构化报告，减少人工编撰时间，确保内容准确性与格式规范性，支持高效决策。
数据产品化应用
将分析成果封装为标准化数据产品，满足市场需求或内部复用，推动业务场景扩展与数据价值深度挖掘。
智能决策支持系统
整合AI与机器学习技术，实现数据动态分析与预测，为战略制定提供实时预警与量化依据，强化应变能力。
8.1.5 大数据的关键技术
6.大数据安全开发技术
数据保密性技术
保护数据不被未授权访问，涵盖加密、访问控制、脱敏及权限管理，确保传输与存储安全。
数据完整性技术
保障数据传输存储过程未被篡改，采用数字签名、备份恢复及校验技术验证数据准确性。
数据可用性技术
系统故障时快速恢复数据，通过备份恢复与容错技术，确保高可用性及冗余支持。
隐私保护技术
处理敏感信息并管理隐私政策，应用匿名化与脱敏技术，控制用户数据访问权限。
THE END
谢谢

展开更多......

收起↑