大數據情況下如何控制計算時間

㈠ 大數據時代下工作的幾點建議

大數據時代下工作的幾點建議_數據分析師考試

近年來，伴隨「物聯網」、「雲計算」和「大數據」等詞彙進入公眾視野，一個大數據時代正大踏步向我們走來。在這一背景下，我們應如何創新社會管理方式、做好群眾工作，是我們面臨的重大課題。

大數據時代給群眾工作帶來的影響

所謂「大數據」，是指所涉及的信息量規模巨大到無法通過目前主流軟體在合理時間內達到擷取、管理、處理、並整理成為幫助企業和其他組織決策更積極目的的資訊。其具有四個特點（即4V）：「巨量」（Volume）、「高速」（Velocity）、「多樣」（Variety）、「價值」（Value）。運用大數據，會增加工作量和工作難度，也能讓群眾工作更加快捷、精準。這主要表現在：一是便於管理部門「摸清家底」；二是有利於優化流程、提高效率；三是讓民眾享受更加高效、公正、透明的服務；四是可以提前感知和預測事件苗頭及發展走勢。可以說，大數據為群眾工作提供了強大技術手段，它將在很大程度上改變群眾工作和社會管理思路：從「模糊管理」向「數據管理」轉變，由「經驗治理」向「科學治理」邁進，實現「智能社會」、「智慧城市」。

大數據時代群眾工作面臨的主要問題

數據意識薄弱。一些管理者數據意識比較淡薄，缺乏「用數據決策、憑數據施政」理念。

數據政出多門。由於缺乏統籌規劃，不少應用系統之間沒有統一的技術和數據標准，數據不能自動傳遞，缺乏有效的關聯和共享，從而形成「數據孤島」。

數據安全欠缺。利用雲計算對海量數據資源進行整合，使其從分散變得集中，增加了數據存儲的安全風險。 數據人才匱乏。大數據是一個綜合性課題，需要不同層級的人才，當前在黨政機關比較匱乏。

做好大數據時代群眾工作的幾點建議

在「教育」上下功夫，培養數據意識和數據素養，為大數據時代的群眾工作提供堅實思想保障。隨著信息技術的飛速發展，具備良好數據意識和數據素養，將成為黨政幹部做好大數據時代群眾工作的關鍵。首先，要把大數據專業知識列入各級黨政幹部教育培訓和年度考核；其次，舉辦各類講座和學術報告，普及大數據知識；第三，利用報刊、廣播、電視和網路等媒體開辟專欄，宣傳相關知識。

在「整合」上下功夫，實現數據互聯互通和充分共享，為大數據時代的群眾工作提供一流技術平台。應對大數據時代群眾工作的需要，消除信息孤島，實現數據的互聯互通和充分共享，建設統一技術平台，顯得格外迫切。一要堅持統一領導、統一規劃、統一標准、統一建設；二要遵循以「需求為導向，應用促發展」的工作思路，推進信息共享、互聯、互通平台建設與應用同步建設；三要採用國際先進的，符合我國信息化建設發展方向的、標準的、跨平台的信息技術。

在「防範」上下功夫，保護數據安全和公民隱私，為大數據時代的群眾工作提供可靠網路環境。我們在實施社會管理、做好群眾工作時，要特別注重對數據安全和公民個人隱私的保護。第一，將個人信息保護納入國家戰略資源的保護和規劃范疇，保護公民隱私；第二，加快個人隱私保護立法，加大對侵害隱私等行為的打擊力度；第三，加強對隱私保護行政監管，建立保護隱私測評機制；第四，加強對隱私權的技術保護，利用技術手段來保障公民隱私安全和合法權益。

在「創新」上下功夫，加強人才隊伍建設，為大數據時代的群眾工作提供優質智力支撐。沒有一流的人才隊伍，迎接大數據時代、做好大數據時代群眾工作將成為一句空話。因此，開發和培養一支大數據人才隊伍，不斷提高群眾工作的能力勢在必行。一要設立專門的數據管理崗位，建立政府「首席信息官」制度；二要委託高校、科研院所和國際知名企業，「訂單式」培養人才；三是利用「聘任制」，不斷吸引體制外的專業人才進入黨政機關，為大數據時代的群眾工作提供智力支持和人才保障。

以上是小編為大家分享的關於大數據時代下工作的幾點建議的相關內容，更多信息可以關注環球青藤分享更多干貨

㈡ 如何設計java程序能提高大數據量的計算速度

你可以先取出部分數據，處理完了保存，然後再取一部分，這不是提高計算速度，而是提高資料庫讀取效率，因為你每次從資料庫讀一條數據會很浪費時間。
不過你只有1000條數據不算太多的，而且你又不做排序，效率上不會差太多。
剩下的效率瓶頸就在你的公式或者方法里了。

㈢ 要進行大數據量的計算

你這問題深了，是專業人士吧
聽你說這么多數據計算這么多遍還是相當的恐怖的阿，建議你還是問同事或同業人士比較好，一般人不會做這么大數據的計算

國內電腦品牌肯定聯想是老大，不過這個和牌子沒有太大關系了，主要看配置，只要配置相同運行速度就基本一樣

我能給你的信息只是一款測試軟體「super派」，圓周率的3.1415926那個「派」，它是自動計算「派」小數點後多少萬位的一款軟體，你可以選擇是52萬為、104萬位或更高，確認後他就自己執行，算10次出個時間，算20次出個時間（一直算到多少次忘記了最後好像是到100次把），時間越短說明計算機速度越快

你可以自己大概算下自己需要多快的速度，然後用這軟體去在朋友的電腦上測試，按你認為滿意的電腦配置買電腦就可以了，呵呵

vista雖然趨於穩定，很多軟體也兼容了，不過目前還是XP較好

㈣ 「大數據」時代下如何處理數據

大數據被越來越多的人提起，其價值也逐漸深入人心。但，大數據是如何處理的，很多人並不知道。其實，通常大數據處理方式包括兩種，一種是實時處理，另一種則為離線處理。

商業中比較常見的，就是使用HDFS技術對數據進行儲存，然後使用MapRece對數據進行批量化理，然後將處理好的數據進行存儲或者展示。其中，HDFS是一種分布式文件系統，而MapRece則是一種分布式批量計算框架。

㈤ 大數據行程卡14天是怎麼算的

時間計算如下：

行程碼計算14天是指用戶前14天內的行程計算是在運營商後台完成的，結果有一天的延遲，比如3月5日計算的是3月4日之前14天內的行程數據（2月20-3月4日之間）。

另外，由於服務使用的是基站數據，為了確保通信連續、實現覆蓋無盲區，行政區劃交界處的兩地基站信號可能會交叉覆蓋，造成結果的偏差，使用時可結合其他證明做相應調整。查詢結果頁會使用綠色、黃色、橙色、紅色四種顏色進行標記，規則會按實際情況進行實時調整。

簡介：

通信大數據行程卡，是由中國信通院聯合中國電信、中國移動、中國聯通三家基礎電信企業利用手機「信令數據」，通過用戶手機所處的基站位置獲取，為全國16億手機用戶免費提供的查詢服務，手機用戶可通過服務，查詢本人前14天到過的所有地市信息。

㈥ 什麼是大數據，大數據為什麼重要，如何應用大數據

大數據:
大數據（big data），是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
根據維基網路的定義，大數據是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘，但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。[1]
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著雲台》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
意義:
有人把數據比喻為蘊[4] 藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的價值體現在以下幾個方面：
1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;
2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;
3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

㈦ 對大數據進行雲計算處理的時候採用了什麼方法

雲計算和大數據的結合可以說是相輔相成，因為雲計算為大數據提供了可以彈性擴展相對便宜的存儲空間和計算資源，使得中小企業也可以像大型企業一樣通過雲計算來完成大數據分析。
大數據的對數據進行專業化處理的過程離不開雲計算的支持。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要框架來向數十、數百或甚至數千的電腦分配工作。並且，大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。

㈧ 大數據量實時統計排序分頁查詢(並發數較小時)的幾點建議

大數據量實時統計排序分頁查詢的瓶頸不是函數（count，sum等）執行，

不是having, 也不是order by，甚至不是表join, 導致慢的原因就在於「數據量太大本身」

就是將表劃分為M份相互獨立的部分,可以是分表，也可以是不分表但冗餘一個取模結果欄位

實際結果是不分表比分表更加靈活，只需稍加配置，就可以動態切分大表，隨意更改M的大小。

將1條慢sql（大於30秒）拆分成為N條查詢速度巨快的sql(單條sql執行時間控制在20毫秒以內)

然後再web應用中以適當的線程數去並發查詢這些執行時間快的N條小sql再匯總結果

第一步查詢中去並發執行這N條小sql, 只取排序欄位和標識欄位，其他欄位一律丟棄

匯總結果後定位出當前頁面要顯示的pageNum條數據，再進行第二步查詢，取出頁面上需要展示的所有欄位

PS：這一點是至關重要的，其他幾點都可以不看，這點是最關鍵的。慢慢解釋一下：

有三種方式統計所有的記錄，

a) 第一種方式是把資料庫中所有記錄（只取排序欄位和標識欄位並且不做任何sum，count having order by等操作）

全部拉到web應用中，在web應用中完成所有的計算

b) 第二種方式是把資料庫中所有記錄做sum count having等操作之後的所有行數拉到web應用中，在web應用中完成剩餘計算

c) 第三種方式是把資料庫中所有記錄做sum count having order by等操作之後把limit後的數據拉到web應用中，

在web應用中對limit後的數據再計算

顯然，第一種方式 資料庫什麼活都不做只取數據 是不可行的。以lg_order_count_seller為例，1500萬行，

如果只算id, seller_id和order_count 這三個bigint類型，至少需要拉8*3*1500 0000 = 360000000=340M,

拉到內存中之後存儲需要8*4*15000000= 460M,這還不算List是的2的n次方這個特點和計算排序等的內存開銷，

不僅資料庫與web應用機器IO扛不住，就是應用自身恐怕也要OOM了。

第二種方式，所有記錄做sum count having等操作之後,由於是group by seller_id的，總得數據量變為100萬（就是賣家總數），

這樣子一來，共需要拉8*3*100 0000 = 23M,拉到內存之後，需要8*4*100 0000 = 30M, 再算上List是的2的n次方這個特點和

計算排序等的內存開銷也不會超過100M, IO的時間和內存開銷勉強可以考慮接受。

第三種方式，所有記錄做sum count having order by等操作之後把limit後的數據拉到web應用中，因為做了limit，所以，

數據量很小了，無論是IO還是內存開銷都已經很小了。可以忽略。

綜合以上三種，第三種方式適用於頁面的前n頁和後n頁，因為這個limit的數據量隨著頁數的增大而增大，

當大到每個切分後的小表的數據量時就轉為第二種方式了。

第二種方式適用於頁面的第[n+1, totaoPageNum-n]頁。

① 問題描述：

優化之前，還是是一條大慢sql查詢時，由於資料庫排序是穩定排序，

所以當兩條記錄排序欄位值相同時他們在頁面上的頁碼位置是固定的。

優化之後，當並行執行這N條小sql時，由於無法控制這些小sql的先後執行順序，

導致在web應用中當兩條記錄的排序欄位值相同時在頁面上的頁碼位置是隨機的。

② 解決辦法：

除了拉標識欄位(seller_id)和排序欄位(order_count_sum)之外，再取一個unique（id）的欄位，當兩條記錄的排序欄位值相同時，

再用這個unique的欄位（在賣家監控中這個欄位是id）進行第二次排序.這樣就解決了排序不穩定的問題。

③ 也許，看到這里會有疑問，為什麼不用seller_id？seller_id也是唯一， 這樣子不是少取id這個欄位，減少IO了？

seller_id雖然也是唯一，可以輔助排序，但是不要忘記資料庫的排序規則是：

如果兩列的值相等，那麼序號在前的排在前面，這里的序號就是主鍵(自動生成，autoincrement),

如果用seller_id的話還是不能保證排序的穩定性，只能用主鍵id.

把資料庫的連接，掃表，計算等資源優先讓給用戶關注的主要元素，次要元素可等主要元素載入完成之後再載入。

反應在賣家監控頁面中，查數據和查頁頁碼的sql語句基本相同，是在競爭同一資源，

所以，需要做一個策略，優先把資源讓給查數，數據查完之後再去查頁碼。

由於多線程取數據並沒有從本質上提高資料庫性能，所以必須針對大數據量實時統計排序分頁查詢做限流

我這里打個比方：食堂有6個窗口，物流團隊吃飯要買6個菜，平均每買1個菜需要1分鍾的時間，

如果派我一個人去一個窗口買的話需要6分鍾的時間

假如派6個人分別去6個窗口買這6個菜，只需要1分鍾的時間

但是，如果除了物流團隊，再來其他5個團隊呢，也就是說6個團隊每個團隊買6個菜共買36個菜，

這樣子有的團隊先買完，有的團隊後買完，但平均時間還是6分鍾。本質上沒有變化。

所以，對於特定的查詢條件，必須進行限流。讓每分鍾至多有6個團隊買菜，這樣子能使得情況變得不至於太糟糕。

這一點從目前來看只能是展望了，比如mysql資料庫換更為強大的oracle資料庫，

或更換InnoDb引擎為其他，或更換SATA硬碟為SSD 。。。。。。

相同的查詢條件，原來一個頁面查詢時間由於超過60秒超時了，根據1-6點建議優化之後，查詢時間變為2秒至3.5秒之間。