资源简介

(共25张PPT)
数据管理与大数据
1.4 数据管理与安全：思维导图
lwqw400ymh
Cindycy1/2ezdgg
while(1)Ape1Cry&&Ape2Cry
密码多了记不住？
复习
3、1000个苹果装入10个箱子，该怎么装？
2、数据：结构化、半结构化、非结构化
1、怎么维护数据安全
4、pdf wav zip
复习
数据库技术
问题：如何管理生活中的数据？
数据库技术：基于结构化数据开发的，具有数据独立性、数据可共享等特点。
①解决数据冗余的问题。
②解决维护、更新数据时需要大量的人工干预的问题。
问题：如何理解书本中关于结构化、半结构化和非结构化数据的描述？(P24)
拓展链接
问题1：经常接到广告推销的电话，他们是怎么知道我们的号码？
数据安全
问题2：威胁数据安全的因素有哪些？
硬盘驱动器损坏、操作失误、黑客入侵、感染计算机病毒、遭受自然灾害。
问题3：如何提高数据本身的安全？(P24)
（1）保护存储数据的介质：磁盘阵列、数据备份、异地容灾
（2）提高数据本身的安全：数据加密、数据校验
1.4 数据管理与安全：思维导图
数据与大数据
互联网、移动网络、物联网等每天都产生着大量数据，这些数据规模巨大、格式多样，已经很难用传统的方式进行处理。于是，大数据技术应运而生，通过分析、挖掘这些数据，发现其中蕴藏的价值。那么，什么是大数据？
大数据之“大”，不仅指规模、速度和种类的特征，还意味着它超出以往常用的数据采集、组织、管理和加工等软件的处理能力，要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律。
大数据特征(P26)
数据量大就是大数据吗？
大数据有四个特征,分别为：
数据规模大、处理速度快、数据类型多、价值密度低。
可以用4个V来概括：
数量（Volume）、速度（Velocity）、多样（Variety）、价值（Value）
大数据思维(P27)
1.大数据要分析的是全体数据，而不是抽样数据。
2.对于数据不再追求精确性，而是能够接受数据的混杂性。
3.不一定强调对事物因果关系的探求，而是更加注重它们的相关性。
大数据是一场变革，改变的不仅是数据，还有人们的思维
大数据对社会的影响(P28)
1.大数据让生活更便利（如：城市热力图）
2.大数据让决策更精准（如：利用共享单车产生的大数据，精确地制定更为利民的交通路线图）
3.大数据带来新的就业需求（如：系统研发工程师）
4.大数据带来新的社会问题（如：个人信息泄露）
“我们相信技术可以成为推动生活改变的最大力量，技术本身没有好与坏，他们什么都不想要，一切由我们人来决定，由我们每个人来决定。”
1.5 数据与大数据：思维导图
1.5.2大数据的特征
大数据通常指100 TB（ 1TB=1024 GB ）规模以上的数据量，数据量大是大数据的基本属性。根据国际数据资讯（IDC）公司监测，全球数据量大约每两年就翻一番，预计到2020年，全球将拥有35 ZB 的数据，并且85%以上的数据以非结构化或半结构化的形式存在。
一、数据体量大（Volume）
K 1KB = 1024 Byte
M（兆）字节 1MB = 1024 KB
G（吉）字节 1GB = 1024 MB
T（太）字节 1TB = 1024 GB
P（拍）字节 1PB = 1024 TB
E（艾）字节 1EB = 1024 PB
Z（泽）字节 1ZB = 1024 EB
Y（尧）字节 1YB = 1024 ZB
……
1.5.2大数据的特征
大数据通常指100 TB（ 1TB=1024 GB ）规模以上的数据量，数据量大是大数据的基本属性。根据国际数据资讯（IDC）公司监测，全球数据量大约每两年就翻一番，预计到2020年，全球将拥有35 ZB 的数据，并且85%以上的数据以非结构化或半结构化的形式存在。
一、数据体量大（Volume）
K 1KB = 1024 Byte
M（兆）字节 1MB = 1024 KB
G（吉）字节 1GB = 1024 MB
T（太）字节 1TB = 1024 GB
P（拍）字节 1PB = 1024 TB
E（艾）字节 1EB = 1024 PB
Z（泽）字节 1ZB = 1024 EB
Y（尧）字节 1YB = 1024 ZB
……
1.5.2大数据的特征
一、数据体量大（Volume）
IDC全球数据使用情况及预测
之所以产生如巨大的数据原因有三点：
1. 由于互联网络的广泛应用，使用网络的用户、企业、机构增多，数据获取、分享变得相对容易。用户可通过网络非常方便的获取数据，通过有意的分享和无意的点击、浏览可快速的提供大量的数据；
2. 随着各种传感器数据获取能力的大幅度提高，使得人们获取的数据越来越接近原始事物本身，描述同一事物的数据激增；
3. 由于集成电路的价格降低，使得很多东西都保存了下来。
1.5.2大数据的特征
二、速度快(Velocity)
1. 数据产生的速度快。新时代人们从信息的被动接受者变成了主动创造者。数据从生成到消耗，时间窗口非常小，可用于生成决策的时间非常短。
1.5.2大数据的特征
二、速度快(Velocity)
2. 数据处理的速度快。大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的数据处理速度更快，谁就有优势。
1.5.2大数据的特征
三、数据类型多（Variety )
数据种类繁多、复杂多变是大数据的重要特性。随着传感器种类的增多及智能设备、社交网络等的流行，数据种类也变得更加复杂，其包括结构化数据、半结构化数据和非结构化数据。其中，10%是结构化数据，存储在数据库中；90%是非结构化数据，与人类信息密切相关。
1.5.2大数据的特征
四、价值密度低(Value)
大数据蕴含着巨大的价值，但因其数据量庞大，可能发挥价值的仅是其中非常小的部分，价值密度相对较低。
以当前广泛应用的监控视频为例，在连续不，间断的监控过程中，大量的视频数据被存储下来，其中有许多冗余数据。比如某起交通事故的视频画面，有效的部分可能仅仅只需要几秒钟，大量不相关的视频信息会增加获取有效数据的难度。价值密度的高低与数据总量的大小成反比，“提纯”大数据，让其发挥更大的价值，是人们一直在努力的目标。
1.5.3大数据思维
大数据是一场变革， 改变的不仅是数据，还有人们的思维。
首先，大数据要分析的是全体数据，而不是抽样数据。
以往对于某项研究中的数据，限于技术等因素，人们无法进行全样本分析，往往会随机抽取部分样本进行研究，以此推论全体情况。抽样数据分析的方式效率较高，经常被人们采用，但这种方式取决于抽取样本的随机性，在某些情况下，不同的样本可能会得出截然不同的结论。
在大数据时代，人们不仅可以获得研究所需的直接数据，而且还能对与之有关联的所有数据进行分析。分析数据已经不再依赖于采样，从而带来更全面的认识，也能更清楚地发现抽样数据无法揭示的详尽信息。
1.5.3大数据思维
大数据是一场变革， 改变的不仅是数据，还有人们的思维。
其次，对于数据不再追求精确性，而是能够接受数据的混杂性。
对于传统的数据库，数据有严谨的结构，人们追求数据的准确性，通过各种技术或人工手段，来保证每个数据准确无误。
而在大数据处理过程中，数据的来源多种多样，这些数据可以是结构化的、半结构化的，也可以是非结构化的。当数据量大到一定程度时，个别数据的不准确就显得不那么重要。
1.5.3大数据思维
大数据是一场变革， 改变的不仅是数据，还有人们的思维。
再次，不一定强调对事物因果关系的探求，而是更加注重它们的相关性。在传统的思维方式中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。这种思维方式有一定的局限性，此外，有限的样本数据也无法反映出事物之间的相关关系。在大数据时代，比如电商的个性化推荐，不必知道人们购买某些商品的原因，只要找到商品之间的关联性，就能为客户提供精确的推荐。

展开更多......

收起↑