㈠ 在python中向文件中寫數據可以使用哪些模式
在Python中，向文件中寫數據可以使用以下幾種模式： 1. 追加模式（"a"）：追加模式允許您在文件末尾添加新數據，而不會覆蓋文件中已有的數據。您可以使用內置的open()函數以追加模式打開文件，然後使用write()方法將數據寫入文件。例如： ```python with open('file.txt', 'a') as f: f.write('This is some new data.\n') ``` 2. 寫入模式（"w"）：寫入模式允許您覆蓋文件中已有的數據，並從頭開始寫入新數據。您可以使用內置的open()函數以寫入模式打開文件，然後使用write()方法將數據寫入文件。例如： ```python with open('file.txt', 'w') as f: f.write('This is some new data.\n') ``` 3. 讀寫模式（"r"）：讀寫模式允許您讀取和寫入文件中的數據。您可以使用內置的open()函數以讀寫模式打開文件，然後使用read()方法讀取文件中的數據，或使用write()方法將數據寫入文件。例如： ```python with open('file.txt', 'r') as f: data = f.read() print(data) f.write('This is some new data.\n') ``` 4. 讀取模式（"r+""): 讀取模式允許您讀取和寫入文件中的數據。您可以使用內置的open()函數以讀取模式打開文件，然後使用read()方法讀取文件中的數據，或使用write()方法將數據寫入文件。例如： ```python with open('file.txt', 'r+') as f: data = f.read() print(data) f.seek(0) # 將文件指針移動到文件開頭 f.write('This is some new data.\n') ```
㈡ python 處理大數據程序運行的越來越慢的問題
最近編寫並運行了一個處理1500萬個數據的程序，本來最初每秒可以處理150個左右的數據，預計大概15個小時的時間就可以處理完，晚上的時候就開始運行，本以為等到第二天中午就可以得到結果呢，，，
可是，等我第二天的時候一看，什麼？？？還沒處理完，當前的數據處理速度變成了一秒5個左右，然後還需要等待300個小時。
然後就查了一下這個問題，原來同樣也有很多人在處理大數據的時候遇到了這個問題，大多數的文章分析的原因都是說由於GC（垃圾回收）造成的性能下降。
Python的垃圾回收機制的工作原理為每個對象維護一個引用計數，每次內存對象的創建與銷毀都必須修改引用計數，從而在大量的對象創建時，需要大量的執行修改引用計數操作，對於程序執行過程中，額外的性能開銷是令人可怕的。回收的觸發時機有兩種可能，一是用戶主動調用gc.collect(),二是對象數量超過閾值。
所以正是GC拖慢了程序的性能，所以我們可以考慮在處理的時候禁止垃圾回收。
通過這樣的改進之後速度確度會有很大的提升。但是又有也會另外的一個問題，內存溢出，由於運行的過程中生成大量的對象，一次使用後就沒有了引用，由於關閉了垃圾回收機制，一直存在內存中得不到清理，然後程序的內存使用量越來越大。解決的方法就是定期打開gc.enable()再關閉或者主動調用gc.collect(),這樣就可以了。
通過上述的改進後程序確實了很多，可是我的程序還是運行的越來越慢，我都懷疑人生了，然後分別測試了各個步驟所花費的時間才知道了原因，我使用了pandas創建一個DataFrame,然後每次迭代得到的結果都添加新的數據到DataFrame中，隨著里邊的數據越來越多，添加的速度也就越來越慢了，嚴重的拖累的運行速度。這里的解決方法有兩個：
1 分段保存結果，間隔一段時間就保存一次結果，最後再將多次的結果合並。
2 換一個數據存儲方法，我是直接使用了python的字典進行保存結果，它隨著數據的增多添加的速度也會變慢，但是差別不是很大，在可接受的范圍內，可以使用；或者再加上方法1，分段進行保存再合並也是可以的。