① sql数据库数据量庞大时怎么处理。
1.表字段类型、长度、默认值这些都要按实际情况去写，不要瞎填；
2.能存英文就尽量不存中文，能存数字尽量不存英文；(数据库查询速度数字查询速度最快，英文次之，中文最后)
3.索引要优化，按实际要求去创建索引，主键等；
4.sql语句要精简，能不用*就尽量不用，想要什么字段查什么字段，不要怕多写，尽量少用联表查询，多表查询，尤其在大数据访问的时候；
5.合理使用缓存技术，有模板缓存，数据库查询结果缓存。
② 3000万条数据MySQL快速处理指南3000万数据mysql
3000万条数据MySQL快速处理指南
MySQL是一款非常流行的开源关系型数据库，它的速度和稳定性都备受人们的青睐。在大数据时代，有时我们需要处理的数据量极其庞大，如何让MySQL快速处理3000万条数据呢？本篇文章给大家提供了一些指南，希望对大家有所帮助。
一、建立索引
索引是MySQL中非常重要的概念，它能够大大提高查询速度。建立索引的过程可以通过ALTER TABLE语句来完成，如下所示：
ALTER TABLE table_name ADD INDEX index_name(column_name);
其中，table_name是要添加索引的表名，index_name是索引的名称，column_name是要添加索引的列名。
二、避免使用SELECT *
SELECT *会将表中的所有字段都查询出来，这不仅会浪费大量的带宽，而且对查询速度也有不良影响。因此，在查询时我们应该尽量避免使用SELECT *，而应该根据实际需要来选择需要查询的字段。
三、使用分页查询
如果要查询的数据量较大，我们可以使用分页查询来进行查询。分页查询可以避免一次性查询过多的数据，从而提高查询速度。在MySQL中，可以使用LIMIT关键字来控制查询数据的数量。例如：
SELECT * FROM table_name LIMIT 0,10;
其中，LIMIT 0,10表示从第0条记录开始查询，查询10条记录。
四、合并查询
合并查询是将多条SELECT语句合并成一条查询语句，从而减少查询次数。这样可以减小服务器的负担，提高查询速度。例如：
SELECT * FROM table_name WHERE column_name=’value1′
UNION ALL
SELECT * FROM table_name WHERE column_name=’value2′;
其中，UNION ALL表示将两条SELECT语句合并成一条查询语句。
五、使用批量插入
当我们需要向表中插入大量的数据时，可以使用批量插入来加快插入速度。在MySQL中，使用INSERT语句可以向表中插入数据。例如：
INSERT INTO table_name (column1, column2, column3)
VALUES
(value1, value2, value3),
(value4, value5, value6),
…;
其中，第一行指定要插入的列名，第二行开始指定要插入的数据。
以上就是一些提高MySQL处理3000万条数据速度的指南。当然，实际情况可能因为硬件设备、网络情况和数据结构等原因而有所不同。因此，在实际应用中，我们需要根据实际情况来选择适合自己的方法。
③ 处理海量数据时，如何摆脱人工筛选实现自动化--- excel攻略
有的时候统计工作特别繁琐，如果数据量少，简单的筛选还可以完成相应的工作。当数据非常庞大的时候，仅仅靠人工筛选很难准确及时地完成任务。
比如，面对一列繁杂的数据，需要整理出所有出现过的数据的频次，并且将之归类，按照每项分别出现多少次，按照降序依次整理成图表是一件非常困难的事情。那么善于使用EXCEL与否决定了一个人的工作效率。下面介绍一种方法，可以有效的从一列繁杂的混乱的数据中筛选出所有的类别，并且加以排序，形成图表。
假如需要统计的海量数据文本在C列。选择文本所在列C列，点击数据---删除重复项。即可以得到所有不重复的分类文本。为了后续操作方便，建议在第一步中，删除重复项的操作中，将C列先复制到A列或者你想要复制到的任何一列，再进行第一步的操作。
以复制到A列为例。在A列中得出不重复的分类文本之后，可以开始统计每个分类文本在原文本中所出现的次数。
为了后续生成图表，将A列筛选出的不良项，粘贴复制到D项。 （注意：不在 D 项直接操作第一步动作的原因是，为了防止后续重复使用此文本时候造成混乱，所以建议第一步在A 列操作。）
用countif函数开始统计每个在第一步中选出的不重复项在原文本所在C列的次数。在E2中输入公式=countif(C列，D2)，则可以统计出D2项在C列出现的次数。往下拖动，则可以统计出各项文本在原文本中出现的次数。
3.1 上图是已经排序之后的结果。一般筛选出来的数据是随机的。选择D列与E列，点数据---排序，会出现以下对话框。
3.2 点击添加条件，按照下图文本中设置。
3.3点击确定，所选中文本会按照降序排列。
选取D列与E列，然后插入图表，可形成按照降序排列的直方图。
于是，繁杂而庞大的数据在几分钟内可以搞定。并且此类文本可以反复利用，非常方便快捷。当别人还在苦苦搜索不同类项目的时候，你可以出去吃喝玩乐啦。