導航:首頁 > 數據處理 > 蜘蛛怎麼獲取數據

蜘蛛怎麼獲取數據

發布時間:2023-08-27 12:41:26

① python如何扒取數據

網路爬蟲(英語:web crawler),也叫網上蜘蛛(spider),是一種用來自動瀏覽萬維網的網路機器人。其目的一般為編纂網路索引。

這里提到的編纂網路索引,就是搜索引擎乾的事情。我們對搜索引擎並不陌生,Google、網路等搜索引擎可能每天都在幫我們快速獲得

信息。搜索引擎的工作過程是怎樣的呢?

首先,就是有網路爬蟲不斷抓取各個網站的網頁,存放到搜索引擎的資料庫

接著,索引程序讀取資料庫的網頁進行清理,建立倒排索引;

最後,搜索程序接收用戶的查詢關鍵詞,去索引裡面找到相關內容,並通過一定的排序演算法(Pagerank等)把最相關最好的結果排在最前面呈現給用戶。

看上去簡簡單單的三個部分,卻構成了強大復雜的搜索引擎系統。而網路爬蟲是其中最基礎也很重要的一部分,它決定著搜索引擎數據的完整性和豐富性。我們也看到網路爬蟲的主要作用是獲取數據。

由此簡單地說,網路爬蟲就是獲取互聯網公開數據的自動化工具。

這里要強調一下,網路爬蟲爬取的是互聯網上的公開數據,而不是通過特殊技術非法入侵到網站伺服器獲取的非公開數據。

推薦學習《python教程》。

② 百度蜘蛛抓取原理

網路蜘蛛即Web Spider,是一個比喻得很形象的名字。把互聯網比喻成一個蜘蛛網,那麼Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是通過網頁的鏈接地址來尋找網頁,從網站某一個喊嫌頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然後通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站,那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
在抓取網頁的時候,網路蜘蛛一般有兩種策略:廣度優先和深度優先
廣度優先是指網路蜘蛛會先抓取起始網頁中鏈接的所有網頁,然後再選擇其中的一個鏈接網陵卜頁,繼續抓取在此網頁中鏈接的所有網頁。這是最常用的方式,因為這個方法可以讓網路蜘蛛並行處理,提高其抓取速度。
深度優先是指網路蜘蛛會從起始頁開始,一個鏈接一個鏈接跟蹤下去,處理完這條線路之後再轉入下一個起始頁,繼續跟蹤鏈接。這個方法有個尺滲穗優點是網路蜘蛛在設計的時候比較容易。

③ 蜘蛛爬蟲的原理和作用

關於搜索引擎的大話還是少說些,下面開始正文搜索引擎蜘蛛爬蟲原理:

1 聚焦爬蟲工作原理及關鍵技術概述
網路爬蟲是一個自動提取網頁的程序,它為搜索引擎從Internet網上下載網頁,是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始,獲得初始網頁上的URL,在抓取網頁的過程中,不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜,需要根據一定的網頁分析演算法過濾與主題無關的鏈接,保留有用的鏈接並將其放入等待抓取的URL隊列。然後,它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL,並重復上述過程,直到達到系統的某一條件時停止,另外,所有被爬蟲抓取的網頁將會被系統存貯,進行一定的分析、過濾,並建立索引,以便之後的查詢和檢索;對於聚焦爬蟲來說,這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

相對於通用網路爬蟲,聚焦爬蟲還需要解決三個主要問題:
(1) 對抓取目標的描述或定義;
(2) 對網頁或數據的分析與過濾;
(3) 對URL的搜索策略。
抓取目標的描述和定義是決定網頁分析演算法與URL搜索策略如何制訂的基礎。而網頁分析演算法和候選URL排序演算法是決定搜索引擎所提供的服務形式和爬蟲網廳知頁抓取行為的關鍵所在。這兩個部分的演算法又是緊密相關的。

2 抓取目標描述
現有聚焦爬蟲對抓取目標的描述可分為基於目標網頁特徵、基於目標數據模式和基於領域概念3種。
基於目標網頁特徵的爬蟲所抓取、存儲並索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為:
(1) 預先給定的初始抓取種子樣本;
(2) 預先給定的網頁分類目錄和與分類目錄對應的種子樣本,如Yahoo!分類結構等;
(3) 通過用戶行為確定的抓取目標樣例,分為:
a) 用戶瀏覽過程中顯示標注的抓取樣本;
b) 通過用戶日誌挖掘得到訪問模式及相關樣本。
其中,網頁特徵可以是網頁的內容特徵,也可以是網頁的鏈接結構特徵,等等。
現有的聚焦爬蟲對抓取目標的描述或定義可以分為基於目標網頁特徵,基於目標數據模式和基於領域概念三種。
基於目標網頁特徵的爬蟲所抓取、存儲並索引的對象一般為網站或網頁。具體的方法根據種子樣本的獲取方式可以分為:(1)預先給定的初始抓取種子樣本;(2)預先給定的網頁分類目錄和與分類目錄對應的種子樣本,如Yahoo!分類結構等;(3)通過用戶行為確定的抓取目標樣例。其中,網頁特徵可以是網頁的內容特徵,也可以是網頁的鏈接結構特徵,等等。

基於目標數據模式的爬蟲針對的是網頁上的數據,所抓取的數據一般要符合一定的模式,或者可以轉化或映射為目標數據模式。

另一種描述方式是建立目標領域的本體或詞典,用於從語義角度分析不同特徵在某一主題中的重要程度。

3 網頁搜索策略
網頁的抓取策略可以分為深度優先、廣度優先和最佳優先三種。深度優先在很多情況下會導致爬蟲的陷入(trapped)問題,目前常見的是廣度優先和最佳優先方法。
3.1 廣度優先搜索策略
廣度優先搜索策略是指在抓取過程中,在完成當前層次的搜索後,才進行下一層次的搜索。該演算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁,一般使用廣度優先搜索方法。也有很多研究將廣度優先搜索策略應用於聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優先搜索與網頁過濾技術結合使用,先用廣度優先策略抓取網頁,再將其中無關的網頁過濾掉。這些方法的缺點在於,隨著抓取網頁的增多,大量的無關網頁將被下載並過濾,演算法的效率將變低。

3.2 最佳優先搜索策略
最佳優先搜索策略按照一定的網頁分析演算法,預測候選URL與目標網頁的相似度,或與主題的相關性,並選取評價最好的一個或幾個URL進行抓取。它只訪問經過局伏模網頁分析演算法預測為「有用」的網頁。存在的一個問題是,在爬蟲抓取路徑上的很多相關網頁可能被忽略,因為最佳優先策略是一種局部最優搜索演算法。因此需要將最佳優先結合具體的應用進行改進,以跳出局部最優點。將在第4節中結合網頁分析演算法作具體的討論。研究表明,這樣的閉環調整可以將無關網頁數量降低30%~90%。

4 網頁分析演算法

網頁分桐緩析演算法可以歸納為基於網路拓撲、基於網頁內容和基於用戶訪問行為三種類型。
4.1 基於網路拓撲的分析演算法
基於網頁之間的鏈接,通過已知的網頁或數據,來對與其有直接或間接鏈接關系的對象(可以是網頁或網站等)作出評價的演算法。又分為網頁粒度、網站粒度和網頁塊粒度這三種。
4.1.1 網頁(Webpage)粒度的分析演算法
PageRank和HITS演算法是最常見的鏈接分析演算法,兩者都是通過對網頁間鏈接度的遞歸和規范化計算,得到每個網頁的重要度評價。PageRank演算法雖然考慮了用戶訪問行為的隨機性和Sink網頁的存在,但忽略了絕大多數用戶訪問時帶有目的性,即網頁和鏈接與查詢主題的相關性。針對這個問題,HITS演算法提出了兩個關鍵的概念:權威型網頁(authority)和中心型網頁(hub)。

基於鏈接的抓取的問題是相關頁面主題團之間的隧道現象,即很多在抓取路徑上偏離主題的網頁也指向目標網頁,局部評價策略中斷了在當前路徑上的抓取行為。文獻[21]提出了一種基於反向鏈接(BackLink)的分層式上下文模型(Context Model),用於描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁,將網頁依據指向目標網頁的物理跳數進行層次劃分,從外層網頁指向內層網頁的鏈接稱為反向鏈接。

4.1.2 網站粒度的分析演算法
網站粒度的資源發現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在於站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與PageRank類似,但是需要對網站之間的鏈接作一定程度抽象,並在一定的模型下計算鏈接的權重。
網站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻[18]討論了在分布式情況下,通過對同一個域名下不同主機、伺服器的IP地址進行站點劃分,構造站點圖,利用類似PageRank的方法評價SiteRank。同時,根據不同文件在各個站點上的分布情況,構造文檔圖,結合SiteRank分布式計算得到DocRank。文獻[18]證明,利用分布式的SiteRank計算,不僅大大降低了單機站點的演算法代價,而且克服了單獨站點對整個網路覆蓋率有限的缺點。附帶的一個優點是,常見PageRank 造假難以對SiteRank進行欺騙。
4.1.3 網頁塊粒度的分析演算法
在一個頁面中,往往含有多個指向其他頁面的鏈接,這些鏈接中只有一部分是指向主題相關網頁的,或根據網頁的鏈接錨文本表明其具有較高重要性。但是,在PageRank和HITS演算法中,沒有對這些鏈接作區分,因此常常給網頁分析帶來廣告等雜訊鏈接的干擾。在網頁塊級別(Blocklevel)進行鏈接分析的演算法的基本思想是通過VIPS網頁分割演算法將網頁分為不同的網頁塊(page block),然後對這些網頁塊建立pagetoblock和blocktopage的鏈接矩陣,分別記為Z和X。於是,在pagetopage圖上的網頁塊級別的PageRank為Wp=X×Z;在blocktoblock圖上的BlockRank為Wb=Z×X。已經有人實現了塊級別的PageRank和HITS演算法,並通過實驗證明,效率和准確率都比傳統的對應演算法要好。
4.2 基於網頁內容的網頁分析演算法
基於網頁內容的分析演算法指的是利用網頁內容(文本、數據等資源)特徵進行的網頁評價。網頁的內容從原來的以超文本為主,發展到後來動態頁面(或稱為Hidden Web)數據為主,後者的數據量約為直接可見頁面數據(PIW,Publicly Indexable Web)的400~500倍。另一方面,多媒體數據、Web Service等各種網路資源形式也日益豐富。因此,基於網頁內容的分析演算法也從原來的較為單純的文本檢索方法,發展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節根據網頁數據形式的不同,將基於網頁內容的分析演算法,歸納以下三類:第一種針對以文本和超鏈接為主的無結構或結構很簡單的網頁;第二種針對從結構化的數據源(如RDBMS)動態生成的頁面,其數據不能直接批量訪問;第三種針對的數據界於第一和第二類數據之間,具有較好的結構,顯示遵循一定模式或風格,且可以直接訪問。

④ 什麼是網路蜘蛛

網路蜘蛛即Web
Spider,是一個很形象的名字。把互聯網比喻成一個蜘蛛網,那麼Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是通過網頁的鏈接地址來尋找網頁,從
網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然後通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網
站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站,那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

⑤ 什麼是爬蟲技術是什麼

對於很多企業來說,數據是很重要的,因為通過數據,我們可以直觀的觀察和分析數據,而不像以前那樣只能靠直觀,依靠行業趨勢,非常模糊。

目前,爬行是獲取數據的主要方式。正如爬蟲工作者所知,爬蟲時IP很容易被封堵,這是因為有了反爬蟲機制,所以才使用代理IP。

那麼,我們先來看看,爬蟲的種類是什麼?

普通爬蟲:從一個或多個初始網頁的URL開始,獲取該初始網頁上的URL,在抓取該網頁的過程中,不斷地從當前網頁提取新URL,然後將該URL放置到隊列中,直到系統停止條件滿足為止。

焦點搜索:工作流程比較復雜,需要根據某些網頁分析演算法過濾與主題無關的鏈接,保留有用的鏈接,放置到URL隊列中等待抓取。接著按照一定的搜索策略,從隊列中選擇下一步要抓取的網頁URL,重復以上過程,直到系統滿足一定的條件。另外,所有被爬蟲抓取的網頁都存儲在系統中,進行一定的分析和過濾,並建立索引供日後查詢和檢索。對焦點爬蟲來說,此過程所獲得的分析結果也可反饋並指導後續的抓取過程。

閱讀全文

與蜘蛛怎麼獲取數據相關的資料

熱點內容
電纜批發市場怎麼找貨源 瀏覽:1
房產交易後多久出證 瀏覽:749
小店產品怎麼在直播間顯示 瀏覽:844
如何把產品賣出好價 瀏覽:69
數據生產要素怎麼界定 瀏覽:155
找人代理開店怎麼樣 瀏覽:515
如何營造買方市場 瀏覽:985
越南買什麼產品最好 瀏覽:573
返回程序是什麼指令 瀏覽:21
多腳晶元如何讀寫程序 瀏覽:562
常見的點雲數據的表達形式有哪些 瀏覽:904
轉轉交易中怎麼取消訂單 瀏覽:669
房價交易稅怎麼算 瀏覽:94
電話線上如何挖掘客戶信息 瀏覽:138
如何登錄小程序優化 瀏覽:685
產品gmv以及毛利率是什麼 瀏覽:146
閑魚交易量提高有什麼優勢 瀏覽:150
人事代理需要考什麼證 瀏覽:922
個人如何自己做一個產品 瀏覽:402
動物產品加工場所如何申報檢疫 瀏覽:174