数据量过大会产生什么结果

Ⅰ 数据大未必是大数据 三谈大数据时代

数据大未必是大数据 三谈大数据时代

极而言之，如果全世界网民的网络行为记录都能紧密整合在一起，那当然称得起大数据这个名称。反之，如果只有一个网民的一条孤零零网络记录，那当然撑不起大数据这个概念。问题在于如何在这两个极端之间，找到一个划分大数据与否的区分点，或者找到一组指标，能够具体衡量数据量从量变到质变的相对标准。这无论在学术研究上或是在商业实战上都很重要。试想若是某个公司自认为自己网络服务产生的数据量很大，觉得可以自称大数据公司了。于是说服董事会和投资者加大这方面的投入，购买大批专用设备和第三方专业服务，组建这方面的团队。经过一段时间的实践，发现投入产出不成比例，建立在大数据基础上的商业模式和产品服务研发不能得到理想的回报，那岂不是个悲剧？

以我的观察和实践经验，网络业中一个公司是否称得起拥有大数据至少要从三个维度考量：

数据规模----所谓大数据最基本的要求当然是数据规模大，但很难给出一个绝对的数字标准来确定大小，而只能用一些模糊的感觉来相对比较。例如，一个公司在年度预算中有了专门的，显着的数据存储和分析预算（例如，总预算的3-5%），有了独立的数据处理和分析部门，有了比较完整的数据存储，安全和保密政策与管理流程，有了高度依赖数据分析结果的商业模式，那么，可以说这个公司面临着利用大数据的机会或挑战了。

数据结构----数据量只是反映数据性质的一个指标，也许还不是最重要的指标。一天产生一百万个T数据的公司也许算不上大数据公司，而另一个一天只产生一万个T数据的公司也许反而是个大数据公司，其奥妙在于数据结构的复杂性。例如，A公司拥有一亿用户，但用户在A公司网站上只干一件事或一类事，比如获取新闻资讯，买买东西，或者玩玩游戏。那么由此产生的数据量虽然不小，但结构简单，重复性高，分析起来很容易，无非就是根据用户背景和使用习惯分分组，归归类，简单数据挖掘基本功足够，扯什么大数据就有点故弄玄虚了。B公司只有一千万用户，却是个开放平台，用户在此可以干互联网能够支持的所有事情，网络行为又可分为个人，群体，组织等层次，那么这个数据的结构就够复杂，能够支持深度挖掘和复杂建模，因而就可以算作大数据。

数据关联度----网络业一个常见现象就是随着数据量的增加，用户行为所产生的数据间的关系越来越不清晰，越来越难以捉摸，越来越相互孤立，也就是所谓的数据碎片化。这种碎片化主要来自两个方面：一是网站结构碎片化，逻辑混乱化，各种产品与服务之间相互孤立化，因而导致数据之间关系断裂，关联度很低。例如，明明是同一个用户在一个网站上使用了十种不同的产品和服务，但由于其中五种无需注册使用，其他五种又需要分别注册使用，结果这十种网络行为的数据无法整合在一起，或者需要通过种种技术手段和工具进行高成本的数据整合，以至于入不敷出。这也就减少了数据的含金量，降低了数据的可挖掘度，使得无论数据量如何大，结构如何复杂，也形成不了大数据。反之，如果一个WEB2.0时代的开放平台，架构清晰，逻辑分明，用户与用户，用户与用户行为，行为与行为之间都具有确定的关联性，那么这样的数据就具有极高的含金量，极高的分析挖掘价值，也就可以形成大数据。

所以，简而言之，大数据与否取决于数据规模，结构复杂性和关联性，简单地说某个公司的数据量大并不等于说这个公司具备拥有和利用大数据的前景。例如，直到google+诞生前，谷歌就不能声称自己是个大数据公司，因为它的海量搜索数据虽然规模庞大，但结构简单。尽管听说它的搜索算法已经囊括了六万多个变量，成千上万的数学和统计学模型，上千的博士和工程师参与分析，但在数据挖掘深度，搜索结果个人化，搜索结果与广告之间的相关度上进展有限，只有改良，没有突破。更严重的是，谷歌数百个产品和服务之间相互关联度极低，各干各的，无数数据库互不相干。各个部门之间以邻为壑，互不配合，更不整合。所以，面对以FACEBOOK和苹果为代表的WEB2.0时代以及由此产生的大数据战略机会，谷歌若干年来束手无策，只能靠不断扩展产品线对付。如果直到两年前谷歌还算不上大数据公司，那些自认为自己有点数据，或者会点加减乘除，或者以为掌握一些基本的数据库技术和KNOWHOW就可以招摇过市，到网络业和资本界呼风唤雨，是不是有点不知深浅，过于幼稚了呢？

以上是小编为大家分享的关于数据大未必是大数据 三谈大数据时代的相关内容，更多信息可以关注环球青藤分享更多干货

Ⅱ 什么是溢出_溢出的原因分析

黑客可通过溢出变量，使这个返回地址指向攻击代码，得到你电脑具有管理员资格的控制权。那么你对溢出解多少呢?以下是由我整理关于什么是溢出的内容，希望大家喜欢!

溢出是黑客利用 操作系统 的漏洞，专门开发了一种程序，加相应的参数运行后，就可以得到你电脑具有管理员资格的控制权，你在你自己电脑上能够运行的东西他可以全部做到，等于你的电脑就是他的了(别称肉鸡，也叫傀儡机)。

溢出是程序设计者设计时的不足所带来的错误。

缓冲区溢出

缓冲区是用户为程序运行时在计算机中申请的一段连续的内存，它保存了给定类型的数据。缓冲区溢出指的是一种常见且危害很大的系统攻击手段，通过向程序的缓冲区写入超出其长度的内容，造成缓冲区的溢出，从而破坏程序的堆栈，使程序转而执行其他的指令，以达到攻击的目的。更为严重的是，缓冲区溢出攻击占了远程网络攻击的绝大多数，这种攻击可以使得一个匿名的Internet用户有机会获得一台主机的部分或全部的控制权!由于这类攻击使任何人都有可能取得主机的控制权，所以它代表了一类极其严重的安全威胁。

缓冲区溢出攻击的目的在于扰乱具有某些特权运行的程序的功能，这样可以使得攻击者取得程序的控制权，如果该程序具有足够的权限，那么整个主机就被控制了。一般而言，攻击者攻击root程序，然后执行类似“exec(sh)”的执行代码来获得root的shell。为了达到这个目的，攻击者必须达到如下的两个目标：在程序的地址空间里安排适当的代码;通过适当地初始化寄存器和存储器，让程序跳转到事先安排的地址空间执行。根据这两个目标，可以将缓冲区溢出攻击分为以下3类。

【缓冲区溢出分类】

控制程序转移到攻击代码

这种 方法 指在改变程序的执行流程，使之跳转到攻击代码。最基本方法的就是溢出一个没有边界检查或者其他弱点的缓冲区，这样就扰乱了程序的正常的执行顺序。通过溢出一个缓冲区，攻击者可以用近乎暴力的方法改写相邻的程序空间而直接跳过了系统的检查。

1.2.1激活纪录(Activation Records)

每当一个函数调用发生时，调用者会在堆栈中留下一个激活纪录，它包含了函数结束时返回的地址。攻击者通过溢出这些自动变量，使这个返回地址指向攻击代码。通过改变程序的返回地址，当函数调用结束时，程序就跳转到攻击者设定的地址，而不是原先的地址。这类的缓冲区溢出被称为“stack smashing attack”，是目.前常用的缓冲区溢出攻击方式。

1.2.2函数指针(Function Pointers)

C语言中，“void (* foo)()”声明了一个返回值为void函数指针的变量foo。函数指针可以用来定位任何地址空间，所以攻击者只需在任何空间内的函数指针附近找到一个能够溢出的缓冲区，然后溢出这个缓冲区来改变函数指针。在某一时刻，当程序通过函数指针调用函数时，程序的流程就按攻击者的意图实现了!它的一个攻击范例就是在Linux系统下的super probe程序。

1.2.3长跳转缓冲区(Longjmp buffers)

在C语言中包含了一个简单的检验/恢复系统，称为setjmp/longjmp。意思是在检验点设定“setjmp(buffer)”，用“longjmp(buffer)”来恢复检验点。然而，如果攻击者能够进入缓冲区的空间，那么“longjmp(buffer)”实际上是跳转到攻击者的代码。象函数指针一样，longjmp缓冲区能够指向任何地方，所以攻击者所要做的就是找到一个可供溢出的缓冲区。一个典型的例子就是Perl 5.003，攻击者首先进入用来恢复缓冲区溢出的的longjmp缓冲区，然后诱导进入恢复模式，这样就使Perl的解释器跳转到攻击代码上了!

最简单和常见的缓冲区溢出攻击类型就是在一个字符串里综合了代码殖入和激活纪录。攻击者定位一个可供溢出的自动变量，然后向程序传递一个很大的字符串，在引发缓冲区溢出改变激活纪录的同时殖入了代码。这个是由Levy指出的攻击的模板。因为C语言在习惯上只为用户和参数开辟很小的缓冲区，因此这种漏洞攻击的实例不在少数。

代码殖入和缓冲区溢出不一定要在一次动作内完成。攻击者可以在一个缓冲区内放置代码，这是不能溢出缓冲区。然后，攻击者通过溢出另外一个缓冲区来转移程序的指针。这种方法一般用来解决可供溢出的缓冲区不够大的情况。

如果攻击者试图使用已经常驻的代码而不是从外部殖入代码，他们通常有必须把代码作为参数化。举例来说，在libc中的部分代码段会执行“exec(something)”，其中something就是参数。攻击者然后使用缓冲区溢出改变程序的参数，利用另一个缓冲区溢出使程序指针指向libc中的特定的代码段。

内存溢出

内存溢出已经是软件开发历史上存在了近40年的“老大难”问题，象在“红色代码”病毒事件中表现的那样，它已经成为黑客攻击企业网络的“罪魁祸首”。

如在一个域中输入的数据超过了它的要求就会引发数据溢出问题，多余的数据就可以作为指令在计算机上运行。据有关安全小组称，操作系统中超过50%的安全漏洞都是由内存溢出引起的，其中大多数与微软的技术有关。

微软的软件是针对 台式机 开发的，内存溢出不会带来严重的问题。但现有台式机一般都连上了互联网，内存溢出就为黑客的入侵提供了便利条件。

数据溢出

在计算机中，当要表示的数据超出计算机所使用的数据的表示范围时，则产生数据的溢出。

现实状况

在几乎所有计算机语言中，不管是新的语言还是旧的语言，使缓冲区溢出的任何尝试通常都会被该语言本身自动检测并阻止(比如通过引发一个异常或根据需要给缓冲区添加更多空间)。但是有两种语言不是这样：C 和 C++ 语言。C 和 C++ 语言通常只是让额外的数据乱写到其余内存的任何位置，而这种情况可能被利用从而导致恐怖的结果。更糟糕的是，用 C 和 C++ 编写正确的代码来始终如一地处理缓冲区溢出则更为困难;很容易就会意外地导致缓冲区溢出。除了 C 和 C++ 使用得 非常广泛外，上述这些可能都是不相关的事实;例如，Red Hat Linux 7.1 中 86% 的代码行都是用 C 或 C ++ 编写的。因此，大量的代码对这个问题都是脆弱的，因为实现语言无法保护代码避免这个问题。

客观原因

在 C 和 C++ 语言本身中，这个问题是不容易解决的。该问题基于 C 语言的根本设计决定(特别是 C 语言中指针和数组的处理方式)。由于 C++ 是最兼容的 C 语言超集，它也具有相同的问题。存在一些能防止这个问题的 C/C++ 兼容版本，但是它们存在极其严重的性能问题。而且一旦改变 C 语言来防止这个问题，它就不再是 C 语言了。许多语言(比如 Java 和 C#)在语法上类似 C，但它们实际上是不同的语言，将现有 C 或 C++ 程序改为使用那些语言是一项艰巨的任务。

普遍因素

Ⅲ 计算机高手大神来啊啊啊！什么是溢出，它对二进制有何影响呢谢谢啦！详细点哦！

溢出就是：当要表示的数据超出计算机所使用的数据的表示范围时，则产生数据的溢出。

例如，定义的数据类型只能存储8位，算着算着这个值变成了9位，就是溢出了。

至于对二进制的影响，如果是有符号数，高位是符号位，溢出可能会改变结果的符号了。也可能影响数据的精度。

(3)数据量过大会产生什么结果扩展阅读：

数据类型超过了计算机字长的界限就会出现数据溢出的情况。导致内存溢出问题的原因有很多，比如：

1、使用非类型安全(non-type-safe)的语言如 C/C++ 等。

2、以不可靠的方式存取或者复制内存缓冲区。

3、编译器设置的内存缓冲区太靠近关键数据结构。

内存溢出问题是 C 语言或者 C++ 语言所固有的缺陷，它们既不检查数组边界，又不检查类型可靠性(type-safety)。

众所周知，用 C/C++ 语言开发的程序由于目标代码非常接近机器内核，因而能够直接访问内存和寄存器，这种特性大大提升了 C/C++ 语言代码的性能。只要合理编码，C/C++应用程序在执行效率上必然优于其它高级语言。

Ⅳ 数据量越来越大对数据库的要求会产生怎样的影响

会影响数据库的响应速度

Ⅳ android 客户端接收的数据量过大（几万条数据）就会抛异常如何处理

正常，客户端内存有限，数据过多导致内存溢出。
一般做法是分页，20条一页（再多客户端屏幕也显示不出来），然后翻页的时候再加载。
可以参考下网易新闻或者新浪微博客户端

Ⅵ 怎么是溢出，溢出的定义是怎么！

什么是溢出？
溢出全名是“缓冲区溢出”缓冲区是内存中存放数据的地方。在程序试图将数据放到机器内存中的某一个位置的时候，因为没有足够的空间就会发生缓冲区溢出。而人为的溢出则是有一定企图的，攻击者写一个超过缓冲区长度的字符串，然后植入到缓冲区，而再向一个有限空间的缓冲区中植入超长的字符串可能会出现两个结果，一是过长的字符串覆盖了相邻的存储单元，引起程序运行失败，严重的可导致系统崩溃；另有一个结果就是利用这种漏洞可以执行任意指令，甚至可以取得系统root特级权限。大多造成缓冲区溢出的原因是程序中没有仔细检查用户输入参数而造成的。
缓冲区是程序运行的时候机器内存中的一个连续块，它保存了给定类型的数据，随着动态分配变量会出现问题。大多时为了不占用太多的内存，一个有动态分配变量的程序在程序运行时才决定给它们分配多少内存。这样想下去的话，如果说要给程序在动态分配缓冲区放入超长的数据，它就会溢出了。一个缓冲区溢出程序使用这个溢出的数据将汇编语言代码放到机器的内存里，通常是产生root权限的地方，这就不是什么好现象了。仅仅就单个的缓冲区溢出惹眼，它并不是最大的问题根本所在。但如果溢出送到能够以root权限运行命令的区域，一旦运行这些命令，那可就等于把机器拱手相让了。