如何抓取網頁上的數據

A. 用excel怎麼抓取網頁數據，網頁上面的數據每一秒都在變化，我試了抓取不到，怎麼辦，謝謝啦幫幫我

Excel只能從網頁獲取表格，一般數據無法抓取。抓取網頁局部內容可以用MutouBrowser瀏覽器，抓取後亦可保存到Excel中。

B. 如何翻頁抓取網頁數據

我們在抓取數據時，通常不會只抓取網頁當前頁面的數據，往往都會繼續抓取翻頁後的數據。本文就為大家介紹，集搜客GooSeeker網路爬蟲如何在進行數據抓取時，自動抓取翻頁後的數據。

在MS謀數台的爬蟲路線工作台有三種線索方式可以實現自動抓取翻頁後的數據，分別是定點線索、記號線索、相對線索。本文主要介紹比較常用的記號線索。

一、完成抓取內容映射

理箱中創建抓取內容，並完成映射。

具體操作步驟如下：

在整理箱中創建抓取內容，並完成映射，選擇網頁上要抓取的內容映射到整理箱後，跳轉到爬蟲路線工作台設置翻頁線索。

做完抓取內容基本操作後，為了抓取網頁上所有相同產品的數據本規則還使用了樣例復制管理功能

二、創建翻頁線索

• 在爬蟲路線工作台新建一條記號線索

具體操作步驟如下：

跳轉到爬蟲路線工作台。

點擊新建，創建一條線索。

選擇線索類型，設置翻頁線索時通常選擇記號線索，本文主要介紹的就是記號線索。

勾選連貫抓取，表示在執行抓取任務時，爬蟲可以在同一個DS打數機窗口內抓取完當前頁面後直接跳轉到下一個頁面進行抓取。

勾選連貫抓取後，目標主題名自動填寫當前規則主題名，在本規則內不應修改，表示翻頁後繼續使用當前規則進行抓取。

• 選擇線索定位選項

具體操作步驟如下：

在爬蟲路線工作台中點擊定位選項。

線索定位選擇偏好class。

網頁結構中的@id屬性每個頁面不同的幾率較大，如果線索定位偏好@id，容易導致在後續的抓取中翻頁失敗。所以一般我們手工修改選擇較為穩定不變的@class屬性，作為線索定位的首選項。

• 定位翻頁標志，並在網頁結構中找到對應節點

具體操作步驟如下：

1.在網頁上點擊翻頁標志「下一頁」，會彈出該信息的定位提示框，通常是定位到模塊節點（即包含多個下層節點，可雙擊展開，例如A節點）
2.展開A節點，找到「下一頁」對應text節點（text節點即為文本節點）
3.點擊對應text節點會在顯示工作台中顯示。
在網頁結構窗口中找到，對應節點後，即開始進行線索映射。

• 線索映射——記號映射

具體操作步驟如下：

選擇對應節點進行記號映射，右擊對應的text節點，選擇線索映射後點擊記號映射，在可爬蟲路線工作台記號值中看到「下一頁」，記號定位編號顯示「下一頁」text在網頁結構窗口中的對應編號。

• 線索映射——線索定位映射

在做完記號映射之後，要進行線索定位映射，就是選擇包含記號標志的范圍進行映射。

具體操作步驟如下：

1.選擇線索定位區塊，線索定位的區塊一般是包含"下一頁"翻頁標志的區塊節點，也就是網頁上的翻頁區塊（在網頁結構窗口中點擊包含 「下一頁」翻頁標志的區塊節點，會在瀏覽器窗口中顯示）。
2.進行線索定位映射，右擊翻頁區塊節點，選擇線索映射→定位→線索1 。完成後定位編號會顯示翻頁區塊節點的定位編號。
這樣就完成了網站翻頁規則的定義，可以使用DS打數機進行翻頁數據抓取。

C. 如何用python抓取網頁上的數據

使用內置的包來抓取，就是在模仿瀏覽器訪問頁面，再把頁面的數據給解析出來，也可以看做是一次請求。

D. 請問如何把網站的數據抓取下來

可以藉助採集器軟體，即使不懂代碼也能採集網頁上的數據，然後導出excel

E. Excel怎麼從提取網頁數據

• 單擊【數據】--【獲取外部數據】--【自網站】，單擊進入。

  

F. 如何提取網頁中的內容

有用又簡單的辦法：
工具——Internet選項——安全——自定義級別——設置
找到腳本的設置，
即Java小程序腳本、活動腳本和允許通過腳本進行粘貼
設置三個腳本為禁用。（允許通過腳本進行粘貼腳本設置也可為啟用）
確定後，刷新網頁。一切OK
特別提醒：用完後一定記得要重新將三個腳本設置還原為
啟用，要不網頁顯示會不正常。

G. vba如何抓取網頁上的數據

代碼：
Private Sub CommandButton1_Click()
Dim IE As Object
Dim i As Integer
i = 1
'打開網頁：創建一個IE對象，然後給一些屬性賦值。Visible是可見性，navigate是網頁地址
Set IE = CreateObject('internetexplorer.application')
With IE
.Visible = True
.navigate 'http://hanyu.iciba.com/pinyin.html'
'等待網頁完全載入
Do Until .ReadyState = 4
DoEvents
Loop
'拷貝漢字到網頁文本框,然後點擊轉換按鈕,並取出轉換結果
Do While Sheets('sheet1').Cells(i 1, 1).Value <> ''
'從IE.Document.all句柄中把頁面上要使用的節點找出來。這里的方法是：
.document.all('source').Value 給以source為ID的文本框賦值
.document.all.tags('img')(1).Click 點擊圖片集合里的第二張圖片
.document.all('to').Value 取出以to為ID的文本框內容
.document.all('source').Value = Sheets('sheet1').Cells(i 1, 1).Value
.document.all.tags('img')(1).Click
Do Until .ReadyState = 4
DoEvents
Loop
Sheets('sheet1').Cells(i 1, 2).Value = .document.all('to').Value
i = i 1
Loop
'關閉網頁
.quit
End With
End Sub
代碼解釋：(見注釋)
貼士：
1)VBA只能操作IE瀏覽器，原因就一句話：都是微軟家的產品嘛
2)要先引用Micorsoft Internet Controls

H. java 怎樣獲取一個網頁的內容 要網頁裡面的表格數據 (通過源碼不能直接獲取數據)，請教

根據java網路編程相關的內容，使用jdk提供的相關類可以得到url對應網頁的html頁面代碼。
針對得到的html代碼，通過使用正則表達式即可得到我們想要的內容。

比如，我們如果想得到一個網頁上所有包括「java」關鍵字的文本內容，就可以逐行對網頁代碼進行正則表達式的匹配。最後達到去除html標簽和不相關的內容，只得到包括「java」這個關鍵字的內容的效果。

從網頁上爬取圖片的流程和爬取內容的流程基本相同，但是爬取圖片的步驟會多一步。

需要先用img標簽的正則表達式匹配獲取到img標簽，再用src屬性的正則表達式獲取這個img標簽中的src屬性的圖片url，然後再通過緩沖輸入流對象讀取到這個圖片url的圖片信息，配合文件輸出流將讀到的圖片信息寫入到本地即可。

I. 如何從網站或者軟體中抓取數據

這個需求有點泛，是想要工具還是代碼技術實現。
如是想要採集網頁上公開的信息的工具，推薦使用簡數採集。
簡數採集操作簡便，智能化識別列表頁、內容頁、翻頁，輕松方便的發布到wordpress、zblog、dede等主流的cms系統。

J. 如何抓取網頁上的數據

具體說明是什麼樣的數據，如果只是需要頁面資源（音樂、視頻、圖片等），可以用瀏覽器的嗅探功能獲取。如果想要查看源碼，可以用瀏覽器的「查看網頁源代碼/查看頁面信息」功能獲取。還可以用開發者工具調試網頁。