‘壹’ java里当数据库里的数据量很大的时候、要一次性查询出来、并且展示出来、应该怎样查询、效率更高
sql语句要快1.不必要的列就不用查出来;2作为查询的条枯基件列设索引;3.如果查询的表数据大于500万条数据,表创建之初就应该建立表分没链谨区,依据分表去查;
最最重要的是传输给前台页面的数据量尽唤埋量简化减少传输量,比如时间数据最好不传,自己规定个顺序,依据顺序前台生成对应的时间;非要传可转为毫秒数去掉最后四个零(依据实际情况而定,因为时间只要求精确到分),用[]不用{}(key就不用传了,根据商量好的下标对应提取)
‘贰’ 如何处理java web项目中大数据量处理问题
既然是异步处理，那就是不和客户的请求同时进行，所以也和session无关了。异步处理也和EJB没关系。
1。当客户请求数据操作的时候，你的javabean把请求存放到文件里面，然后就可以返回response给客户了。
2。自己做一个application program，是thread，隔一段时间监听那个文件（或者一个目录），如果发现有新的文件，就读取出来，根据要求进行长时间操作。操作完毕，更新一个flag A（可在数据库，颂者可在文件），并且把操作的文件remove（以免重复对此侍如文件操作）。
3。客户总会不定时刷新页面老樱启或者发新页面请求，这时候就察看flag A，如果完成，就在页面上提示用户，就如msdn的“你有短消息“
‘叁’ java大数据量报表怎么处理
采用插件类报表工具会有更好的性能，如Grid++报表插件备并清性能就很好，可蔽圆以获得与桌面仿前程序报表差不多的性能。
‘肆’ java如何快速处理大数据
文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好宽隐的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库操作，清空集合，再接着读取。
//读取文件内容
while((s = br.readLine())!=null){
//判断是否达到单次处理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//将读取到的内容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过数敏来，会出现蹦死的情况。慎毕厅例如200万数据，我开了20个线程，单个线程处理600条。
//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//当正在执行的线程数达到最大执行线程数的时候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查询一次
int c = threadPool.getActiveCount();//线程池中活动中的线程数量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000);用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率
‘伍’ 请教一个java 操作excel大数据量的问题
如果数据量非常大，其羡扰实可以避而求其次，对CSV文件进行读写，数据记录以行为单位，值与值之间用特殊符号隔开（如：TAB）。不过这里会涉及到另一些岩派孙粗链方面（比如字符的转义）。之前实习的时候给公司做过一个项目，要求将数据导出为CSV。单个文件的记录数已经超过50w，且效率非常高，不到半分钟50w记录可以处理完，而且是写操作。
‘陆’ 高分求助：java对大批量数据进行操作
每5万条commit一次 太多了吧，你试试看50条
‘柒’ 如何进行java海量数据处理，下面一段是我摘抄的问题及处理方法
lz没理解第二步“分而治之”的思想，分治算法是将一个大问题分解为一系列与大问题性质相同的子问题，所以在分治虚御时不可能把相同的ip分配到不同的文件中，就像差知岩你所说的，“按照IP地址的Hash(IP)%1024值，把海量IP日志分别存储到1024个小文件中”，通过hash，两个相同的ip肯定放到同一个文件中了哈猛汪
‘捌’ 如何设计java程序能提高大数据量的计算速度
你可以先取出部分数据，处理完了保存，然后再取一部分，这不是提高计算速度，而是提高数据库读取效率，因为你每次从数据库读一条数据会很浪费时间。
不过你只有1000条数据不算太多的，而且你又不做排序，效率上不会差太多。
剩下的效率瓶颈就在你的公式或者方法里了。
‘玖’ java如何实现一千万条数据的计算而内存不会溢出
这跟大数据查询优化的方法差不多，毕竟数据量在那里，不可能单靠一种方式就能解搏前物决。
1）基液、硬件要求不用说了，表空间，内存等分配最大；
2）、如果大表已经做过分表最好，其次就是常用查询用的字段加索引(有时候效果很明显)；
3）、SQL语句方面，用exist代替in，查询大表前小表后，过滤条件方最后，大条件悔侍方最后，
尽量用表关联查询减少子查询，避免在索引上试用计算；
4）、程序方面；尽量减少在同一循环内做复杂计算，多条件计算等。
5）、采用缓存技术，避免大数据的重复查询。
‘拾’ 北大青鸟java培训：大数据分析的常用方法有哪些
大数据不仅仅意味着数据大，更重要的是要对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。
下面广东IT培训http://www.kmbdqn.cn/介绍大数据分析的五个基本方面。
1.可视化分析不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。
可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
2.数据挖掘算法可视化是给人看的，数据挖掘就是给机器看的。
集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。
这些算法不仅要处理大数据的量，也要处理大数据的速度。
3.预测性分析能力数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4.语义引擎由于非结构化数据的多样性带来了数据分析的新的坦磨挑战，需要一系列的工具去解析，提取，分析数据。
语义引擎需要被设计成能够从“文档”中智能提取信息。
5.数颂哪据质量和数据管理数据质量和数据管理是一些管理方面的最佳实践。
通过标准化的流程和工具对数据进野信码行处理可以保证一个预先定义好的高质量的分析结果。