⑴ 網路爬蟲是什麼具體要學哪些內容
簡單來講,爬蟲就是一個探測機器,它的基本操作就是模擬人的行為去各個網站溜達,點點按鈕,查查數據,或者把看到的信息背回來。就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。
你可以簡單地想像:每個爬蟲都是你的「分身」。就像孫悟空拔了一撮汗毛,吹出一堆猴子一樣。
你每天使用的網路,其實就是利用了這種爬蟲技術:每天放出無數爬蟲到各個網站,把他們的信息抓回來,然後化好淡妝排著小隊等你來檢索。
搶票軟體,就相當於撒出去無數個分身,每一個分身都幫助你不斷刷新 12306 網站的火車余票。一旦發現有票,就馬上拍下來,然後對你喊:土豪快來付款。
那麼,像這樣的爬蟲技術一旦被用來作惡有多可怕呢?
正好在上周末,一位黑客盆友御風神秘兮兮地給我發來一份《中國爬蟲圖鑒》,這哥們在騰訊雲鼎實驗室主要負責加班,順便和同事們開發了很多黑科技。比如他們搞了一個威脅情報系統,號稱能探測到全世界的「爬蟲」都在做什麼。
我吹著口哨打開《圖鑒》,但一分鍾以後,我整個人都不好了。
我看到了另一個「平行世界」:
就在我們身邊的網路上,已經密密麻麻爬滿了各種網路爬蟲,它們善惡不同,各懷心思。而越是每個人切身利益所在的地方,就越是爬滿了爬蟲。
看到最後,我發現這哪裡是《中國爬蟲圖鑒》,這分明是一份《中國焦慮圖鑒》。
這是爬蟲經常光顧的微博地址。