1. 如何優雅地使用c語言編寫爬蟲
前言
大家在平時或多或少地都會有編寫網路爬蟲的需求。一般來說，編寫爬蟲的首選自然非python莫屬，除此之外，java等語言也是不錯的選擇。選擇上述語言的原因不僅僅在於它們均有非常不錯的網路請求庫和字元串處理庫，還在於基於上述語言的爬蟲框架非常之多和完善。良好的爬蟲框架可以確保爬蟲程序的穩定性，以及編寫程序的便捷性。所以，這個cspider爬蟲庫的使命在於，我們能夠使用c語言，依然能夠優雅地編寫爬蟲程序。
爬蟲的特性
配螞沒埋置方便。使用一句設置函數，即可定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
程序邏輯獨立。用戶可以分別定義爬蟲的解析函數，和數據持久化函數。並且對於解析到的新url，用戶可以使用cspider提供的addUrl函數，將其加入到任務隊列中。
便捷的字元串處理。cspider中提供了基於pcre的簡單的正則表達式函數，基於libxml2的xpath解析函數，以及用於解析json的cJSON庫。
高效的抓取。cspider基於libuv調度抓取線程和解析線程，使用curl作為其網路請求庫。
使用cspider的步驟
獲取cspider_t。
自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。察蘆
添加初始要抓取的url到任務隊列。
編寫解析函數和數據持久化函數。
啟動爬蟲。
例子
先來看下簡單的爬蟲例子，會在後面詳細講解悶螞例子。
#include<cspider/spider.h>
/*
自定義的解析函數，d為獲取到的html頁面字元串
*/
void p(cspider_t *cspider, char *d, void *user_data) {
char *get[100];
//xpath解析html
int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);
int i;
for (i = 0; i < size; i++) {
//將獲取到的電影名稱，持久化
saveString(cspider, get[i]);
}
}
/*
數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存
*/
void s(void *str, void *user_data) {
char *get = (char *)str;
FILE *file = (FILE*)user_data;
fprintf(file, "%s\n", get);
return;
}
int main() {
//初始化spider
cspider_t *spider = init_cspider();
char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";
//char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";
//設置要抓取頁面的url
cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");
//設置user agent
cs_setopt_useragent(spider, agent);
//cs_setopt_cookie(spider, cookie);
//傳入解析函數和數據持久化函數的指針
cs_setopt_process(spider, p, NULL);
//s函數的user_data指針指向stdout
cs_setopt_save(spider, s, stdout);
//設置線程數量
cs_setopt_threadnum(spider, DOWNLOAD, 2);
cs_setopt_threadnum(spider, SAVE, 2);
//FILE *fp = fopen("log", "wb+");
//cs_setopt_logfile(spider, fp);
//開始爬蟲
return cs_run(spider);
}
例子講解
cspider_t *spider = init_cspider();獲取初始的cspider。cs_setopt_xxx這類函數可以用來進行初始化設置。其中要注意的是: cs_setopt_process(spider,p,NULL);與cs_setopt_save(spider,s,stdout);，它們分別設置了解析函數p和數據持久化函數s，這兩個函數需要用戶自己實現，還有用戶自定義的指向上下文信息user_data的指針。
在解析函數中，用戶要定義解析的規則，並對解析得到的字元串可以調用saveString進行持久化，或者是調用addUrl將url加入到任務隊列中。在saveString中傳入的字元串會在用戶自定義的數據持久函數中得到處理。此時，用戶可以選擇輸出到文件或資料庫等。
最後調用cs_run(spider)即可啟動爬蟲。
具體的API參數可在這里查看
總結
趕快使用cspider爬蟲框架來編寫爬蟲吧！如果在使用過程中發現bug，歡迎反饋。
望採納，謝謝
2. 為什麼c語言不適合寫爬蟲
有更加成熟的一種爬蟲腳本語言，而非框架。是通用的爬蟲軟體ForeSpider，內部自帶了一套爬蟲州旦腳本語言。
從一個專業C++程序猿的角度說，網上流傳的各種Java爬蟲，Python爬蟲，Java需要運行於C++開發的虛擬機上，Python只是腳本語言，採集效率和性能如何能與強大的C++相提並論？C++直接控制系統的底層，對內存空間的控制和節省都是其他語言無法競爭的。首先，forespider的開發語言是C++，而且C++幾乎沒有現成的框架可以用，而火車採集器是用的C#。先從業界水平和良心來說，這個軟體可以做到從底層到上層都是他們的技術人員自己寫的，而非運用現成的框架結構。
其次，因為抓取金融行業的數據，數據量大，動態性強，而採集對象一般反爬蟲策略宴跡賣又很嚴格。所以，專門建立團隊開發不現實。請外包人員開發太貴。買現成的軟體，要考慮性價比。因為很多數據需要登錄，需要驗證碼，是JS生成的數據，是ajax，是https協議，有加密的key，有層層的驗證機制等等，分析市面上所有找得到的爬蟲軟體，沒有找到其他一家可以完全把我們列表上的網站採集下來的軟體。forespider功能強大，這是很重要的一點。
第三，forespider在台式機上運行一天可以采400萬條數據，在伺服器上一天可以采8000萬條數晌逗據。這樣一來，數據更新速度明顯比以前快了幾十倍。從前抓一個7500萬的網站需要好幾個月，等抓完數據早都變化的不成樣子了，這是很多爬蟲的痛處。但是現在的更新速度只有兩三天。forespider的性能強大，這也是非常好的一點。
第四，其實完全可視化的採集也不需要計算機專業的。大致學習了之後就可以上手采。而且forespider關於數據的管理做的很好。一是軟體可以集成資料庫，在採集之前就可以建表。二是數據可以自動排重，對於金融這樣數據更新要求很高的行業，就特別合適。
3. 我想用c編寫一個爬蟲程序，可是看完一本c語言教程後，還是覺得只會編寫一些計算類的小代碼，要學會編寫
想做爬蟲程序不是學完語言就行缺兆了，是要學很多東西的，你可以查一鉛豎查大學計算機專業有哪些課程。
做爬蟲可以學學java語言。
《網路伏激租機器人Java編程指南》
開源的爬蟲產品
http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1
4. C#編寫爬蟲程序速度怎麼樣呢，更C比
c#開發網路爬搭叢蟲還是可以的，棚彎但是如果用來鏈枝悶開發搜索引擎就可能不是很好啦... 本人買過一個本書《使用C#開發搜索引擎》 清華大學出版社 作者：羅剛
5. c語言能幹什麼 C語言的這些用處你知道嗎
1、C語言可以做嵌入式開發。如51單片機、ARM等。
2、C語言可以寫漂亮的界面。以windows開發為例，你可以學習《windows程序設計（第五版）》，學完就可以寫出界面來。還有一些開源庫界面庫，例如soui也是用C寫出來的。
3、C語言可以做伺服器開發，現在的游戲伺服器端大多都是C/C++開發的。《windows核心編程》裡面的例子就是用C寫的。
4、C語言可以寫游戲。cocos2d—x就是C/C++寫的。DirectX也是。
5、C語言可以寫驅動程序。windows下各種硬體驅動都是C/C++寫的。騰訊游戲保護軟體（TP）也是驅動程序。
6、C語言可以寫外掛。想學寫外掛的童鞋們可以看看鬱金香的外掛編程視頻教程。
7、C語言可以做視頻圖片流媒體處理。有興趣的朋友可以學習一下ffmpeg、live555、sdl等開源庫。
8、C語言可以做網頁和爬蟲相關的編程。想了解的同學可以去看gsoap、libcur等相關開源庫。
9、C語言可以進行黑客編程。配合匯編獲取隨機地址、調shellcode等。
6. 怎麼在DOS下用C語言寫網路爬蟲
獲取cspider_t。
自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
添加初始要抓取的url到任務隊列。
編寫解析函數和數據持久化函數棚唯。
啟動爬蟲。
例子
先來看下簡單的爬蟲例子，會在鏈仿培後面詳細講解例子。
7. 各種語言寫網路爬蟲有什麼優點缺點
我用 PHP 和 Python 都寫過爬蟲和正文提取程序。
最開始使用 PHP 所以先說說 PHP 的優點：
1.語言比較簡單，PHP 是非常隨意的一種語言。寫起來容易讓你把精力放在你要做的事情上，而不是各種語法規則等等。
2.各種功能模塊齊全，這里分兩部分：
1.網頁下載：curl 等擴展庫;
2.文檔解析：dom、xpath、tidy、各種轉碼工具，可能跟題主的問題不太一樣，我的爬蟲需要提取正文，所以需要很復雜的文本處理，所以各種方便的文本處理工具是我的大愛。;
總之容易上手。
缺點：
1.並發處理能力較弱：由於當時 PHP 沒有線程、進程功能，要想實現並發需要借用多路服用模型，PHP 使用的是 select 模型。實現其來比較麻煩，可能是因為水平問題我的程序經常出現一些錯誤，導致漏抓。
再說說 Python：
優點：
1.各種爬蟲框架，方便高效的下載網頁;
2.多線程、進程模型成熟穩定，爬蟲是一個典型的多任務處理場景，請求頁面時會有較長的延遲，總體來說更多的是等待。多線程或進程會更優化程序效率，提升整個系統下載和分析能力。
3.GAE 的支持，當初寫爬蟲的時候剛剛有 GAE，而且只支持 Python ，利用 GAE 創建的爬蟲幾乎免費，最多的時候我有近千個應用實例在工作。
缺點：
1.對不規范 HTML 適應能力差：舉個例子，如果一個頁面裡面同時有 GB18030 字元集的中文和 UTF-8 字元集的中文，Python 處理起來就沒有 PHP 那麼簡單，你自己需要做很多的判斷工作。當然這是提取正文時的麻煩。
Java 和 C++ 當時也考察過，相對腳本語言比較麻煩，所以放棄。
總之，如果開發一個小規模的爬蟲腳本語言是個各方面比較有優勢的語言。如果要開發一個復雜的爬蟲系統可能 Java 是個增加選項， C++ 我感覺寫個模塊之類的更加適合。對於一個爬蟲系統來說，下載和內文解析只是基本的兩個功能。真正好的系統還包括完善的任務調度、監控、存儲、頁面數據保存和更新邏輯、排重等等。爬蟲是一個耗費帶寬的應用，好的設計會節約大量的帶寬和伺服器資源，並且好壞差距很大。