① sql資料庫數據量龐大時怎麼處理。
1.表欄位類型、長度、默認值這些都要按實際情況去寫，不要瞎填；
2.能存英文就盡量不存中文，能存數字盡量不存英文；(資料庫查詢速度數字查詢速度最快，英文次之，中文最後)
3.索引要優化，按實際要求去創建索引，主鍵等；
4.sql語句要精簡，能不用*就盡量不用，想要什麼欄位查什麼欄位，不要怕多寫，盡量少用聯表查詢，多表查詢，尤其在大數據訪問的時候；
5.合理使用緩存技術，有模板緩存，資料庫查詢結果緩存。
② 3000萬條數據MySQL快速處理指南3000萬數據mysql
3000萬條數據MySQL快速處理指南
MySQL是一款非常流行的開源關系型資料庫，它的速度和穩定性都備受人們的青睞。在大數據時代，有時我們需要處理的數據量極其龐大，如何讓MySQL快速處理3000萬條數據呢？本篇文章給大家提供了一些指南，希望對大家有所幫助。
一、建立索引
索引是MySQL中非常重要的概念，它能夠大大提高查詢速度。建立索引的過程可以通過ALTER TABLE語句來完成，如下所示：
ALTER TABLE table_name ADD INDEX index_name(column_name);
其中，table_name是要添加索引的表名，index_name是索引的名稱，column_name是要添加索引的列名。
二、避免使用SELECT *
SELECT *會將表中的所有欄位都查詢出來，這不僅會浪費大量的帶寬，而且對查詢速度也有不良影響。因此，在查詢時我們應該盡量避免使用SELECT *，而應該根據實際需要來選擇需要查詢的欄位。
三、使用分頁查詢
如果要查詢的數據量較大，我們可以使用分頁查詢來進行查詢。分頁查詢可以避免一次性查詢過多的數據，從而提高查詢速度。在MySQL中，可以使用LIMIT關鍵字來控制查詢數據的數量。例如：
SELECT * FROM table_name LIMIT 0,10;
其中，LIMIT 0,10表示從第0條記錄開始查詢，查詢10條記錄。
四、合並查詢
合並查詢是將多條SELECT語句合並成一條查詢語句，從而減少查詢次數。這樣可以減小伺服器的負擔，提高查詢速度。例如：
SELECT * FROM table_name WHERE column_name=’value1′
UNION ALL
SELECT * FROM table_name WHERE column_name=’value2′;
其中，UNION ALL表示將兩條SELECT語句合並成一條查詢語句。
五、使用批量插入
當我們需要向表中插入大量的數據時，可以使用批量插入來加快插入速度。在MySQL中，使用INSERT語句可以向表中插入數據。例如：
INSERT INTO table_name (column1, column2, column3)
VALUES
(value1, value2, value3),
(value4, value5, value6),
…;
其中，第一行指定要插入的列名，第二行開始指定要插入的數據。
以上就是一些提高MySQL處理3000萬條數據速度的指南。當然，實際情況可能因為硬體設備、網路情況和數據結構等原因而有所不同。因此，在實際應用中，我們需要根據實際情況來選擇適合自己的方法。
③ 處理海量數據時，如何擺脫人工篩選實現自動化--- excel攻略
有的時候統計工作特別繁瑣，如果數據量少，簡單的篩選還可以完成相應的工作。當數據非常龐大的時候，僅僅靠人工篩選很難准確及時地完成任務。
比如，面對一列繁雜的數據，需要整理出所有出現過的數據的頻次，並且將之歸類，按照每項分別出現多少次，按照降序依次整理成圖表是一件非常困難的事情。那麼善於使用EXCEL與否決定了一個人的工作效率。下面介紹一種方法，可以有效的從一列繁雜的混亂的數據中篩選出所有的類別，並且加以排序，形成圖表。
假如需要統計的海量數據文本在C列。選擇文本所在列C列，點擊數據---刪除重復項。即可以得到所有不重復的分類文本。為了後續操作方便，建議在第一步中，刪除重復項的操作中，將C列先復制到A列或者你想要復制到的任何一列，再進行第一步的操作。
以復制到A列為例。在A列中得出不重復的分類文本之後，可以開始統計每個分類文本在原文本中所出現的次數。
為了後續生成圖表，將A列篩選出的不良項，粘貼復制到D項。 （注意：不在 D 項直接操作第一步動作的原因是，為了防止後續重復使用此文本時候造成混亂，所以建議第一步在A 列操作。）
用countif函數開始統計每個在第一步中選出的不重復項在原文本所在C列的次數。在E2中輸入公式=countif(C列，D2)，則可以統計出D2項在C列出現的次數。往下拖動，則可以統計出各項文本在原文本中出現的次數。
3.1 上圖是已經排序之後的結果。一般篩選出來的數據是隨機的。選擇D列與E列，點數據---排序，會出現以下對話框。
3.2 點擊添加條件，按照下圖文本中設置。
3.3點擊確定，所選中文本會按照降序排列。
選取D列與E列，然後插入圖表，可形成按照降序排列的直方圖。
於是，繁雜而龐大的數據在幾分鍾內可以搞定。並且此類文本可以反復利用，非常方便快捷。當別人還在苦苦搜索不同類項目的時候，你可以出去吃喝玩樂啦。