大数据情况下如何控制计算时间

㈠ 大数据时代下工作的几点建议

大数据时代下工作的几点建议_数据分析师考试

近年来，伴随“物联网”、“云计算”和“大数据”等词汇进入公众视野，一个大数据时代正大踏步向我们走来。在这一背景下，我们应如何创新社会管理方式、做好群众工作，是我们面临的重大课题。

大数据时代给群众工作带来的影响

所谓“大数据”，是指所涉及的信息量规模巨大到无法通过目前主流软件在合理时间内达到撷取、管理、处理、并整理成为帮助企业和其他组织决策更积极目的的资讯。其具有四个特点（即4V）：“巨量”（Volume）、“高速”（Velocity）、“多样”（Variety）、“价值”（Value）。运用大数据，会增加工作量和工作难度，也能让群众工作更加快捷、精准。这主要表现在：一是便于管理部门“摸清家底”；二是有利于优化流程、提高效率；三是让民众享受更加高效、公正、透明的服务；四是可以提前感知和预测事件苗头及发展走势。可以说，大数据为群众工作提供了强大技术手段，它将在很大程度上改变群众工作和社会管理思路：从“模糊管理”向“数据管理”转变，由“经验治理”向“科学治理”迈进，实现“智能社会”、“智慧城市”。

大数据时代群众工作面临的主要问题

数据意识薄弱。一些管理者数据意识比较淡薄，缺乏“用数据决策、凭数据施政”理念。

数据政出多门。由于缺乏统筹规划，不少应用系统之间没有统一的技术和数据标准，数据不能自动传递，缺乏有效的关联和共享，从而形成“数据孤岛”。

数据安全欠缺。利用云计算对海量数据资源进行整合，使其从分散变得集中，增加了数据存储的安全风险。 数据人才匮乏。大数据是一个综合性课题，需要不同层级的人才，当前在党政机关比较匮乏。

做好大数据时代群众工作的几点建议

在“教育”上下功夫，培养数据意识和数据素养，为大数据时代的群众工作提供坚实思想保障。随着信息技术的飞速发展，具备良好数据意识和数据素养，将成为党政干部做好大数据时代群众工作的关键。首先，要把大数据专业知识列入各级党政干部教育培训和年度考核；其次，举办各类讲座和学术报告，普及大数据知识；第三，利用报刊、广播、电视和网络等媒体开辟专栏，宣传相关知识。

在“整合”上下功夫，实现数据互联互通和充分共享，为大数据时代的群众工作提供一流技术平台。应对大数据时代群众工作的需要，消除信息孤岛，实现数据的互联互通和充分共享，建设统一技术平台，显得格外迫切。一要坚持统一领导、统一规划、统一标准、统一建设；二要遵循以“需求为导向，应用促发展”的工作思路，推进信息共享、互联、互通平台建设与应用同步建设；三要采用国际先进的，符合我国信息化建设发展方向的、标准的、跨平台的信息技术。

在“防范”上下功夫，保护数据安全和公民隐私，为大数据时代的群众工作提供可靠网络环境。我们在实施社会管理、做好群众工作时，要特别注重对数据安全和公民个人隐私的保护。第一，将个人信息保护纳入国家战略资源的保护和规划范畴，保护公民隐私；第二，加快个人隐私保护立法，加大对侵害隐私等行为的打击力度；第三，加强对隐私保护行政监管，建立保护隐私测评机制；第四，加强对隐私权的技术保护，利用技术手段来保障公民隐私安全和合法权益。

在“创新”上下功夫，加强人才队伍建设，为大数据时代的群众工作提供优质智力支撑。没有一流的人才队伍，迎接大数据时代、做好大数据时代群众工作将成为一句空话。因此，开发和培养一支大数据人才队伍，不断提高群众工作的能力势在必行。一要设立专门的数据管理岗位，建立政府“首席信息官”制度；二要委托高校、科研院所和国际知名企业，“订单式”培养人才；三是利用“聘任制”，不断吸引体制外的专业人才进入党政机关，为大数据时代的群众工作提供智力支持和人才保障。

以上是小编为大家分享的关于大数据时代下工作的几点建议的相关内容，更多信息可以关注环球青藤分享更多干货

㈡ 如何设计java程序能提高大数据量的计算速度

你可以先取出部分数据，处理完了保存，然后再取一部分，这不是提高计算速度，而是提高数据库读取效率，因为你每次从数据库读一条数据会很浪费时间。
不过你只有1000条数据不算太多的，而且你又不做排序，效率上不会差太多。
剩下的效率瓶颈就在你的公式或者方法里了。

㈢ 要进行大数据量的计算

你这问题深了，是专业人士吧
听你说这么多数据计算这么多遍还是相当的恐怖的阿，建议你还是问同事或同业人士比较好，一般人不会做这么大数据的计算

国内电脑品牌肯定联想是老大，不过这个和牌子没有太大关系了，主要看配置，只要配置相同运行速度就基本一样

我能给你的信息只是一款测试软件“super派”，圆周率的3.1415926那个“派”，它是自动计算“派”小数点后多少万位的一款软件，你可以选择是52万为、104万位或更高，确认后他就自己执行，算10次出个时间，算20次出个时间（一直算到多少次忘记了最后好像是到100次把），时间越短说明计算机速度越快

你可以自己大概算下自己需要多快的速度，然后用这软件去在朋友的电脑上测试，按你认为满意的电脑配置买电脑就可以了，呵呵

vista虽然趋于稳定，很多软件也兼容了，不过目前还是XP较好

㈣ “大数据”时代下如何处理数据

大数据被越来越多的人提起，其价值也逐渐深入人心。但，大数据是如何处理的，很多人并不知道。其实，通常大数据处理方式包括两种，一种是实时处理，另一种则为离线处理。

商业中比较常见的，就是使用HDFS技术对数据进行储存，然后使用MapRece对数据进行批量化理，然后将处理好的数据进行存储或者展示。其中，HDFS是一种分布式文件系统，而MapRece则是一种分布式批量计算框架。

㈤ 大数据行程卡14天是怎么算的

时间计算如下：

行程码计算14天是指用户前14天内的行程计算是在运营商后台完成的，结果有一天的延迟，比如3月5日计算的是3月4日之前14天内的行程数据（2月20-3月4日之间）。

另外，由于服务使用的是基站数据，为了确保通信连续、实现覆盖无盲区，行政区划交界处的两地基站信号可能会交叉覆盖，造成结果的偏差，使用时可结合其他证明做相应调整。查询结果页会使用绿色、黄色、橙色、红色四种颜色进行标记，规则会按实际情况进行实时调整。

简介：

通信大数据行程卡，是由中国信通院联合中国电信、中国移动、中国联通三家基础电信企业利用手机“信令数据”，通过用户手机所处的基站位置获取，为全国16亿手机用户免费提供的查询服务，手机用户可通过服务，查询本人前14天到过的所有地市信息。

㈥ 什么是大数据，大数据为什么重要，如何应用大数据

大数据:
大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。
对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
根据维基网络的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[1]
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《着云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
意义:
有人把数据比喻为蕴[4] 藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。
大数据的价值体现在以下几个方面：
1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
2) 做小而美模式的中长尾企业可以利用大数据做服务转型;
3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

㈦ 对大数据进行云计算处理的时候采用了什么方法

云计算和大数据的结合可以说是相辅相成，因为云计算为大数据提供了可以弹性扩展相对便宜的存储空间和计算资源，使得中小企业也可以像大型企业一样通过云计算来完成大数据分析。
大数据的对数据进行专业化处理的过程离不开云计算的支持。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要框架来向数十、数百或甚至数千的电脑分配工作。并且，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

㈧ 大数据量实时统计排序分页查询(并发数较小时)的几点建议

大数据量实时统计排序分页查询的瓶颈不是函数（count，sum等）执行，

不是having, 也不是order by，甚至不是表join, 导致慢的原因就在于“数据量太大本身”

就是将表划分为M份相互独立的部分,可以是分表，也可以是不分表但冗余一个取模结果字段

实际结果是不分表比分表更加灵活，只需稍加配置，就可以动态切分大表，随意更改M的大小。

将1条慢sql（大于30秒）拆分成为N条查询速度巨快的sql(单条sql执行时间控制在20毫秒以内)

然后再web应用中以适当的线程数去并发查询这些执行时间快的N条小sql再汇总结果

第一步查询中去并发执行这N条小sql, 只取排序字段和标识字段，其他字段一律丢弃

汇总结果后定位出当前页面要显示的pageNum条数据，再进行第二步查询，取出页面上需要展示的所有字段

PS：这一点是至关重要的，其他几点都可以不看，这点是最关键的。慢慢解释一下：

有三种方式统计所有的记录，

a) 第一种方式是把数据库中所有记录（只取排序字段和标识字段并且不做任何sum，count having order by等操作）

全部拉到web应用中，在web应用中完成所有的计算

b) 第二种方式是把数据库中所有记录做sum count having等操作之后的所有行数拉到web应用中，在web应用中完成剩余计算

c) 第三种方式是把数据库中所有记录做sum count having order by等操作之后把limit后的数据拉到web应用中，

在web应用中对limit后的数据再计算

显然，第一种方式 数据库什么活都不做只取数据 是不可行的。以lg_order_count_seller为例，1500万行，

如果只算id, seller_id和order_count 这三个bigint类型，至少需要拉8*3*1500 0000 = 360000000=340M,

拉到内存中之后存储需要8*4*15000000= 460M,这还不算List是的2的n次方这个特点和计算排序等的内存开销，

不仅数据库与web应用机器IO扛不住，就是应用自身恐怕也要OOM了。

第二种方式，所有记录做sum count having等操作之后,由于是group by seller_id的，总得数据量变为100万（就是卖家总数），

这样子一来，共需要拉8*3*100 0000 = 23M,拉到内存之后，需要8*4*100 0000 = 30M, 再算上List是的2的n次方这个特点和

计算排序等的内存开销也不会超过100M, IO的时间和内存开销勉强可以考虑接受。

第三种方式，所有记录做sum count having order by等操作之后把limit后的数据拉到web应用中，因为做了limit，所以，

数据量很小了，无论是IO还是内存开销都已经很小了。可以忽略。

综合以上三种，第三种方式适用于页面的前n页和后n页，因为这个limit的数据量随着页数的增大而增大，

当大到每个切分后的小表的数据量时就转为第二种方式了。

第二种方式适用于页面的第[n+1, totaoPageNum-n]页。

① 问题描述：

优化之前，还是是一条大慢sql查询时，由于数据库排序是稳定排序，

所以当两条记录排序字段值相同时他们在页面上的页码位置是固定的。

优化之后，当并行执行这N条小sql时，由于无法控制这些小sql的先后执行顺序，

导致在web应用中当两条记录的排序字段值相同时在页面上的页码位置是随机的。

② 解决办法：

除了拉标识字段(seller_id)和排序字段(order_count_sum)之外，再取一个unique（id）的字段，当两条记录的排序字段值相同时，

再用这个unique的字段（在卖家监控中这个字段是id）进行第二次排序.这样就解决了排序不稳定的问题。

③ 也许，看到这里会有疑问，为什么不用seller_id？seller_id也是唯一， 这样子不是少取id这个字段，减少IO了？

seller_id虽然也是唯一，可以辅助排序，但是不要忘记数据库的排序规则是：

如果两列的值相等，那么序号在前的排在前面，这里的序号就是主键(自动生成，autoincrement),

如果用seller_id的话还是不能保证排序的稳定性，只能用主键id.

把数据库的连接，扫表，计算等资源优先让给用户关注的主要元素，次要元素可等主要元素加载完成之后再加载。

反应在卖家监控页面中，查数据和查页页码的sql语句基本相同，是在竞争同一资源，

所以，需要做一个策略，优先把资源让给查数，数据查完之后再去查页码。

由于多线程取数据并没有从本质上提高数据库性能，所以必须针对大数据量实时统计排序分页查询做限流

我这里打个比方：食堂有6个窗口，物流团队吃饭要买6个菜，平均每买1个菜需要1分钟的时间，

如果派我一个人去一个窗口买的话需要6分钟的时间

假如派6个人分别去6个窗口买这6个菜，只需要1分钟的时间

但是，如果除了物流团队，再来其他5个团队呢，也就是说6个团队每个团队买6个菜共买36个菜，

这样子有的团队先买完，有的团队后买完，但平均时间还是6分钟。本质上没有变化。

所以，对于特定的查询条件，必须进行限流。让每分钟至多有6个团队买菜，这样子能使得情况变得不至于太糟糕。

这一点从目前来看只能是展望了，比如mysql数据库换更为强大的oracle数据库，

或更换InnoDb引擎为其他，或更换SATA硬盘为SSD 。。。。。。

相同的查询条件，原来一个页面查询时间由于超过60秒超时了，根据1-6点建议优化之后，查询时间变为2秒至3.5秒之间。