『壹』 java里當資料庫里的數據量很大的時候、要一次性查詢出來、並且展示出來、應該怎樣查詢、效率更高
sql語句要快1.不必要的列就不用查出來;2作為查詢的條枯基件列設索引;3.如果查詢的表數據大於500萬條數據,表創建之初就應該建立表分沒鏈謹區,依據分表去查;
最最重要的是傳輸給前台頁面的數據量盡喚埋量簡化減少傳輸量,比如時間數據最好不傳,自己規定個順序,依據順序前台生成對應的時間;非要傳可轉為毫秒數去掉最後四個零(依據實際情況而定,因為時間只要求精確到分),用[]不用{}(key就不用傳了,根據商量好的下標對應提取)
『貳』 如何處理java web項目中大數據量處理問題
既然是非同步處理，那就是不和客戶的請求同時進行，所以也和session無關了。非同步處理也和EJB沒關系。
1。當客戶請求數據操作的時候，你的javabean把請求存放到文件裡面，然後就可以返回response給客戶了。
2。自己做一個application program，是thread，隔一段時間監聽那個文件（或者一個目錄），如果發現有新的文件，就讀取出來，根據要求進行長時間操作。操作完畢，更新一個flag A（可在資料庫，頌者可在文件），並且把操作的文件remove（以免重復對此侍如文件操作）。
3。客戶總會不定時刷新頁面老櫻啟或者發新頁面請求，這時候就察看flag A，如果完成，就在頁面上提示用戶，就如msdn的「你有短消息「
『叄』 java大數據量報表怎麼處理
採用插件類報表工具會有更好的性能，如Grid++報表插件備並清性能就很好，可蔽圓以獲得與桌面仿前程序報表差不多的性能。
『肆』 java如何快速處理大數據
文件讀取：首先是一個文件上傳，數據入庫，10-200萬條不等，這里主要考慮到一次性讀取，JVM分配出來的棧內存不一定會夠（個人對內存這一塊還是處於一知半解的狀態，所以比較謹慎，若諸位大神有好寬隱的認知，希望評論留下地址分享一下），是依行讀取數據，設定一個批量值，當讀取的數據達到一定量之後，執行批量入庫操作，清空集合，再接著讀取。
//讀取文件內容
while((s = br.readLine())!=null){
//判斷是否達到單次處理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//將讀取到的內容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
數據處理：這里的思路也是將數據小化然後處理，這里使用了多線程，設定單個線程處理量，然後開啟多個線程處理，這里需要考慮你的伺服器的承載能力，如果線程開得太多了，處理不過數敏來，會出現蹦死的情況。慎畢廳例如200萬數據，我開了20個線程，單個線程處理600條。
//建立一個線程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//當正在執行的線程數達到最大執行線程數的時候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查詢一次
int c = threadPool.getActiveCount();//線程池中活動中的線程數量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代碼是我對線程池的一個控制，控制伺服器一直最大線程執行，Thread.sleep(1000);用while的時候，這個休眠最好不要去掉，去掉之後很影響執行效率
『伍』 請教一個java 操作excel大數據量的問題
如果數據量非常大，其羨擾實可以避而求其次，對CSV文件進行讀寫，數據記錄以行為單位，值與值之間用特殊符號隔開（如：TAB）。不過這里會涉及到另一些岩派孫粗鏈方面（比如字元的轉義）。之前實習的時候給公司做過一個項目，要求將數據導出為CSV。單個文件的記錄數已經超過50w，且效率非常高，不到半分鍾50w記錄可以處理完，而且是寫操作。
『陸』 高分求助：java對大批量數據進行操作
每5萬條commit一次 太多了吧，你試試看50條
『柒』 如何進行java海量數據處理，下面一段是我摘抄的問題及處理方法
lz沒理解第二步「分而治之」的思想，分治演算法是將一個大問題分解為一系列與大問題性質相同的子問題，所以在分治虛御時不可能把相同的ip分配到不同的文件中，就像差知岩你所說的，「按照IP地址的Hash(IP)%1024值，把海量IP日誌分別存儲到1024個小文件中」，通過hash，兩個相同的ip肯定放到同一個文件中了哈猛汪
『捌』 如何設計java程序能提高大數據量的計算速度
你可以先取出部分數據，處理完了保存，然後再取一部分，這不是提高計算速度，而是提高資料庫讀取效率，因為你每次從資料庫讀一條數據會很浪費時間。
不過你只有1000條數據不算太多的，而且你又不做排序，效率上不會差太多。
剩下的效率瓶頸就在你的公式或者方法里了。
『玖』 java如何實現一千萬條數據的計算而內存不會溢出
這跟大數據查詢優化的方法差不多，畢竟數據量在那裡，不可能單靠一種方式就能解搏前物決。
1）基液、硬體要求不用說了，表空間，內存等分配最大；
2）、如果大表已經做過分表最好，其次就是常用查詢用的欄位加索引(有時候效果很明顯)；
3）、SQL語句方面，用exist代替in，查詢大表前小表後，過濾條件方最後，大條件悔侍方最後，
盡量用表關聯查詢減少子查詢，避免在索引上試用計算；
4）、程序方面；盡量減少在同一循環內做復雜計算，多條件計算等。
5）、採用緩存技術，避免大數據的重復查詢。
『拾』 北大青鳥java培訓：大數據分析的常用方法有哪些
大數據不僅僅意味著數據大，更重要的是要對大數據進行分析，只有通過分析才能獲取很多智能的、深入的、有價值的信息。
下面廣東IT培訓http://www.kmbdqn.cn/介紹大數據分析的五個基本方面。
1.可視化分析不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。
可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。
2.數據挖掘演算法可視化是給人看的，數據挖掘就是給機器看的。
集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。
這些演算法不僅要處理大數據的量，也要處理大數據的速度。
3.預測性分析能力數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4.語義引擎由於非結構化數據的多樣性帶來了數據分析的新的坦磨挑戰，需要一系列的工具去解析，提取，分析數據。
語義引擎需要被設計成能夠從「文檔」中智能提取信息。
5.數頌哪據質量和數據管理數據質量和數據管理是一些管理方面的最佳實踐。
通過標准化的流程和工具對數據進野信碼行處理可以保證一個預先定義好的高質量的分析結果。