资源简介

(共21张PPT)
信息技术（基础模块）
数据处理
任务4 初识大数据
第4章
第4 章　　数据处理
目　录
Contents
4.4.1 大数据基础知识
4.4.2 大数据采集与分析方法
第4 章　数据处理
│ 初识大数据
现代社会是一个高速发展、科技发达、信息快速流通的社会，人们之间的交流越来越密切，大数据也应运而生。随着云时代的来临，大数据（Big Data）一词越来越多地被人们提及，也吸引了越来越多的关注。
当前，全社会信息量爆炸式增长，数量巨大、来源分散、格式多样的大数据对人们提出了新的挑战，也带来了新的机遇。大数据的应用越来越彰显其优势，所涉及的领域也越来越多，无人驾驶、智慧城市、生态监测……大数据几乎无所不在，并正在改变着人们生活的方方面面。大数据正在助推企业不断发展新业务、创新运营模式。
第4 章　　数据处理
任务情景
小华学习了基本的数据处理知识和方法后，对数据处理产生了浓厚的兴趣，并在老师的引导下，开始了解有关大数据的基本知识。
任务分析
学习大数据，必须从大数据的基础知识开始，在了解大数据基本知识的基础上，再进一步了解大数据的采集和分析方法。在老师的指引下，小华将学习任务分解成以下过程：
（1）了解大数据基础知识。
（2）了解大数据的采集和分析方法。
第4 章　　数据处理
1．大数据的定义
“大数据”研究机构Gartner将“大数据”定义为：“大数据”是无法在一定时间范围内用常规软件工具进行捕捉，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化力来适应的海量、高增长和多样化的信息资产。
麦肯锡将“大数据”定义为：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
维基百科将“大数据”定义为：大数据是指一些使用传统数据库管理工具或数据处理应用很难处理的大型而复杂的数据集。
第4 章　　数据处理
2．大数据的产生历史
2005年，Hadoop项目诞生。Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现功能全面和灵活的大数据分析。从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务和利用一种叫作MapReduce技术的高性能并行数据处理服务。这两项服务的共同目标是，提供一个使结构化和复杂数据的快速、可靠分析变为现实的基础。
2008年末，计算社区联盟（Computing Community Consortium）发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。
第4 章　　数据处理
2．大数据的产生历史
2010年2月，大数据专题报告—《数据，无所不在的数据》在《经济学人》上发表。报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。”从经济界到科学界，从政府部门到艺术领域，很多方面都已经感受到了这种海量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇—大数据。
2011年5月，全球知名咨询公司麦肯锡全球研究院（MGI）发布了一份报告—《大数据：创新、竞争和生产力的下一个新领域》，自此大数据开始备受关注。
2011年11月，我国工业和信息化部发布的《物联网“十二五”发展规划》中，将信息处理技术作为四项关键技术创新工程之一提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这些都是大数据的重要组成部分。
第4 章　　数据处理
2．大数据的产生历史
2015年8月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》）。《纲要》的发布，标志着我国在顶层设计上对大数据的实践与实施做出了总体部署。
2016年12月，我国工业和信息化部印发《大数据产业发展规划（2016－2020年）》，全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。
2018年6月，国家市场监督管理总局、中国国家标准化管理委员会发布中国首个国家大数据交易标准《信息技术 数据交易服务平台 交易数据描述》（GB/T 36343—2018），该标准由中国电子技术标准化研究院、贵阳大数据交易所等单位起草，从2019年1月1日正式实施。
第4 章　　数据处理
2．大数据的产生历史
2020年12月，中国（上海）大数据产业创新峰会成功举办，会上发布了一批公共数据开放应用试点项目及大数据联合创新实验室建设成果；10个部门获颁公共数据开放应用成效突出部门；成立了“上海国际数据港产业合作共同体”；举行了开放数据赛事联盟各赛事颁奖仪式；揭幕了一批数智创新载体。至此，上海大数据产业发展和创新应用“十三五”完成收官，大数据赋能城市数字化转型全新起步。
2021年6月，《中华人民共和国数据安全法》由中华人民共和国第十三届全国人民代表大会常务委员会第二十九次会议通过，自2021年9月1日起施行。
第4 章　　数据处理
2．大数据的产生历史
2022年3月，国务院政府工作报告明确提出：“促进数字经济发展。加强数字中国建设整体布局。建设数字信息基础设施，逐步构建全国一体化大数据中心体系，推进5G规模化应用，促进产业数字化转型，发展智慧城市、数字乡村。”
2022年12月，《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》发布，明确建立数据资源持有权、数据加工使用权、数据产品经营权等分置的产权运行机制，提出数据要素流通交易、收益分配、安全治理等制度设计。
2023年10月，国家数据局正式挂牌成立。同年12月，国家数据局等17部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，选取工业制造、现代农业、商贸流通、交通运输、金融服务、科技创新、文化旅游、医疗健康、应急管理、气象服务、城市治理、绿色低碳等12个行业和领域，推动发挥数据要素乘数效应，释放数据要素价值。
2025年1月，国家发展改革委、国家数据局印发《公共数据资源登记管理暂行办法》，规范公共数据资源登记工作，构建全国一体化公共数据资源登记体系，促进公共数据资源合规高效开发利用。
第4 章　　数据处理
3．大数据的特征（5V）
大数据主要有五大特征，包括体量大（Volume）、多样化（Variety）、速度快（Velocity）、真实性（Veracity）和价值密度低（Value）。大数据的“5V”特征表明大数据不仅仅是数据海量，对于大数据的分析和处理将更加复杂、速度更快且更注重时效。
体量大 多样化 速度快 真实性 价值密度低
第4 章　　数据处理
4．大数据的作用
（1）新一代信息技术融合应用的关键在于对大数据的处理和分析。
（2）大数据成为信息产业不断发展的新途径。
（3）大数据成为提升核心竞争力的关键因素。
（4）大数据时代科学研究方法也会出现相应变化。
第4 章　　数据处理
5．大数据的处理流程
目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析和可视化的有效手段。大数据技术能够将大规模数据中隐藏的有价值信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，乃至整个社会经济的集约化程度。在大数据环境下，数据来源非常丰富且数据类型多样，任何完整的大数据平台，其数据的处理过程一般都包括数据采集、数据清洗、数据存储、数据挖掘和数据展现五个过程。
第4 章　　数据处理
说一说
我国在大数据领域发布了哪些政策？
第4 章　　数据处理
4.4.2 大数据采集与分析方法
在了解了大数据的基础知识后，小华理解到，在大数据处理过程中，数据采集是基础，数据分析是关键，数据安全是保障。
大数据的采集方法一般有以下几种。
（1）离线采集。
（2）实时采集。
（3）互联网采集。
（4）其他数据采集方法。
第4 章　　数据处理
2．大数据的分析方法
大数据的意义不在于掌握多大量级的数据信息，而在于如何处理这些数据信息得到想要的结果。也就是说，大数据价值的关键在于对数据的加工能力和分析能力。对数据进行深度挖掘，可以解决实际问题，实现其价值。
数据分析是大数据管理的一大挑战。由于数据量较大，一般的数据分析应用程序无法很好地进行处理。大数据分析从技术手段上采用了最新的数据分析模型,通过数据之间特有的相关关系可以产生出许多有关联、有价值的结论。大数据分析在许多领域发挥了巨大的作用。
大数据分析主要包括以下五个基本方面，它们共同作用，决定了最终的大数据分析结果。
数据质量和数据管理 预测性分析 数据挖掘算法 可视化分析 语义引擎
第4 章　　数据处理
3．数据安全
大数据在成为社会竞争新焦点的同时，不仅带来了人类社会发展的新机遇，同时也带来了更多的数据安全风险，对人们提出了更高的数据安全防范要求。随着数据发掘的不断深入和在各行各业应用的不断推进，大数据安全的“脆弱性”逐渐凸显，国内外数据泄露事件频发，用户隐私受到极大挑战。在数据驱动环境下，网络攻击也更多地转向存储重要敏感信息的信息化系统，大数据安全防护已成为大数据应用发展的一项重要课题。
大数据安全的定义 大数据的安全风险 大数据的安全需求 大数据的安全策略
第4 章　　数据处理
4．大数据的发展趋势
（1）数据资源化。
所谓资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须提前制订大数据营销战略计划，抢占市场先机。
（2）与云计算的深度结合。
大数据离不开云计算，云计算为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一起助力大数据发展，让大数据营销发挥出更大的影响力。
第4 章　　数据处理
（3）与人工智能的深度结合。
人工智能通过数据采集、处理、分析，从各行各业的海量数据中，获得有价值的信息，为更高级的算法提供素材。人工智能其实就是以大量的数据为基础，让可以通过机器来做判别的问题最终转化为数据问题。人工智能的飞速发展，背后离不开大数据的支持。而在大数据的发展过程中，人工智能的加入也使得更多类型、更大体量的数据能够得到迅速处理与分析。
（4）科学理论的突破。
随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能引发新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的新突破。
未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。
另外，大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。它对于推动信息产业创新、大数据存储管理挑战、改变经济社会管理面貌等方面意义重大。同时，合法地获取和使用数据也是用户应该努力培养的基本信息素养。
第4 章　　数据处理
说一说
结合所学专业谈一谈大数据的应用价值。
第3 章　图文编辑
谢谢观看

展开更多......

收起↑