如何從網頁上抓取數據

⑴ 請問如何把網站的數據抓取下來

可以藉助採集器軟體，即使不懂代碼也能採集網頁上的數據，然後導出excel

⑵ 如何翻頁抓取網頁數據

我們在抓取數據時，通常不會只抓取網頁當前頁面的數據，往往都會繼續抓取翻頁後的數據。本文就為大家介紹，集搜客GooSeeker網路爬蟲如何在進行數據抓取時，自動抓取翻頁後的數據。

在MS謀數台的爬蟲路線工作台有三種線索方式可以實現自動抓取翻頁後的數據，分別是定點線索、記號線索、相對線索。本文主要介紹比較常用的記號線索。

一、完成抓取內容映射

理箱中創建抓取內容，並完成映射。

具體操作步驟如下：

在整理箱中創建抓取內容，並完成映射，選擇網頁上要抓取的內容映射到整理箱後，跳轉到爬蟲路線工作台設置翻頁線索。

做完抓取內容基本操作後，為了抓取網頁上所有相同產品的數據本規則還使用了樣例復制管理功能

二、創建翻頁線索

• 在爬蟲路線工作台新建一條記號線索

具體操作步驟如下：

跳轉到爬蟲路線工作台。

點擊新建，創建一條線索。

選擇線索類型，設置翻頁線索時通常選擇記號線索，本文主要介紹的就是記號線索。

勾選連貫抓取，表示在執行抓取任務時，爬蟲可以在同一個DS打數機窗口內抓取完當前頁面後直接跳轉到下一個頁面進行抓取。

勾選連貫抓取後，目標主題名自動填寫當前規則主題名，在本規則內不應修改，表示翻頁後繼續使用當前規則進行抓取。

• 選擇線索定位選項

具體操作步驟如下：

在爬蟲路線工作台中點擊定位選項。

線索定位選擇偏好class。

網頁結構中的@id屬性每個頁面不同的幾率較大，如果線索定位偏好@id，容易導致在後續的抓取中翻頁失敗。所以一般我們手工修改選擇較為穩定不變的@class屬性，作為線索定位的首選項。

• 定位翻頁標志，並在網頁結構中找到對應節點

具體操作步驟如下：

1.在網頁上點擊翻頁標志「下一頁」，會彈出該信息的定位提示框，通常是定位到模塊節點（即包含多個下層節點，可雙擊展開，例如A節點）
2.展開A節點，找到「下一頁」對應text節點（text節點即為文本節點）
3.點擊對應text節點會在顯示工作台中顯示。
在網頁結構窗口中找到，對應節點後，即開始進行線索映射。

• 線索映射——記號映射

具體操作步驟如下：

選擇對應節點進行記號映射，右擊對應的text節點，選擇線索映射後點擊記號映射，在可爬蟲路線工作台記號值中看到「下一頁」，記號定位編號顯示「下一頁」text在網頁結構窗口中的對應編號。

• 線索映射——線索定位映射

在做完記號映射之後，要進行線索定位映射，就是選擇包含記號標志的范圍進行映射。

具體操作步驟如下：

1.選擇線索定位區塊，線索定位的區塊一般是包含"下一頁"翻頁標志的區塊節點，也就是網頁上的翻頁區塊（在網頁結構窗口中點擊包含 「下一頁」翻頁標志的區塊節點，會在瀏覽器窗口中顯示）。
2.進行線索定位映射，右擊翻頁區塊節點，選擇線索映射→定位→線索1 。完成後定位編號會顯示翻頁區塊節點的定位編號。
這樣就完成了網站翻頁規則的定義，可以使用DS打數機進行翻頁數據抓取。

⑶ Excel怎麼從提取網頁數據

• 單擊【數據】--【獲取外部數據】--【自網站】，單擊進入。

  

⑷ 如何用python抓取網頁上的數據

使用內置的包來抓取，就是在模仿瀏覽器訪問頁面，再把頁面的數據給解析出來，也可以看做是一次請求。

⑸ 怎麼樣從網路上獲取所需要的數據

關於從網頁上獲取數據
網頁上常包含適合在 Microsoft Excel 中進行分析的信息。例如，可以在 Excel 中使用直接從網頁上獲取的信息分析股票報價。根據需要，可以檢索可刷新的數據（即可以藉助網頁上的最新信息在 Excel 中更新數據），或者可以從網頁上獲取數據並將其靜態保存在工作表中。

1.使用 Web 查詢獲取可刷新的數據

藉助 Web 查詢，可以檢索網頁上的數據，如單個表格、多個表格或全部文本，然後利用 Excel 中的工具和功能對這些數據進行分析。只需單擊一下按鈕，即可方便地藉助網頁上的最新信息刷新數據。例如，可以從公共網頁上檢索和更新股票報價，或者從公司的網頁上檢索和更新銷售信息表格。

Web 查詢可檢索網頁上的數據並將其返回到 Excel 中進行分析。

2.復制和粘貼靜態數據或可刷新的查詢

可以使用熟悉的復制和粘貼命令將網頁上的數據復制到 Excel 工作表。將網頁上的數據粘貼到 Excel 中時，通過單擊「粘貼選項」 可靜態保存數據或者使其可以刷新。

3.從 Microsoft Office Web Components 中導出數據

在瀏覽器中，可以使用「導出到 Microsoft Excel」工具欄按鈕從互動式電子表格和數據透視表列表中導出數據。有關詳細信息，請參閱數據透視表列表或電子表格的「Microsoft Office Web Component 幫助」。

4.打開 HTML、MHTML 或 XML 文件

在 Excel 中，使用「文件」菜單上的「打開」命令可打開任意一個 HTML 文件、MTHML 文件或格式更完善的 XML 文件。

當打開一個 HTML 或 MHTML 文件時，將獲得整個網頁，但可能丟失一些格式、腳本、.gif 圖像文件（只在 HTML 中）或單個單元格中的數據列表。

當打開一個 XML 文件時，可以選擇應用一個還是多個引用樣式表。

⑹ 如何從網站或者軟體中抓取數據

這個需求有點泛，是想要工具還是代碼技術實現。
如是想要採集網頁上公開的信息的工具，推薦使用簡數採集。
簡數採集操作簡便，智能化識別列表頁、內容頁、翻頁，輕松方便的發布到wordpress、zblog、dede等主流的cms系統。

⑺ 如何抓取網站上的實時數據

1.找到網址 2.打開網頁，查看源碼 推薦用Notepad++ 不了解的去看： Notepad++的默認HTML查看器 3.找到源碼中你所需要的外匯行情的數據 自己找，也只有你自己知道你要啥 4.分析其中的規則，比如對應的是在哪個div等等之內的 5.寫正則表達式去提取對應的數據 如果不會寫，可以參考前面已經提到的： 【教程】抓取網並提取網頁中所需要的信息 之 Python版 對於復雜的內容的提取，不熟悉的話，可以貼出部分來，我再教你如何寫正則去提取。 對於更加復雜的，則建議換用Pytho中的BeautifulSoup

⑻ 如何抓取網頁上的數據

具體說明是什麼樣的數據，如果只是需要頁面資源（音樂、視頻、圖片等），可以用瀏覽器的嗅探功能獲取。如果想要查看源碼，可以用瀏覽器的「查看網頁源代碼/查看頁面信息」功能獲取。還可以用開發者工具調試網頁。

⑼ 怎麼用VBA或網路爬蟲程序抓取網站數據

VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭

也可以利用採集工具進行採集網頁端的數據，無需寫代碼。

⑽ vba如何抓取網頁上的數據

代碼：
Private Sub CommandButton1_Click()
Dim IE As Object
Dim i As Integer
i = 1
'打開網頁：創建一個IE對象，然後給一些屬性賦值。Visible是可見性，navigate是網頁地址
Set IE = CreateObject('internetexplorer.application')
With IE
.Visible = True
.navigate 'http://hanyu.iciba.com/pinyin.html'
'等待網頁完全載入
Do Until .ReadyState = 4
DoEvents
Loop
'拷貝漢字到網頁文本框,然後點擊轉換按鈕,並取出轉換結果
Do While Sheets('sheet1').Cells(i 1, 1).Value <> ''
'從IE.Document.all句柄中把頁面上要使用的節點找出來。這里的方法是：
.document.all('source').Value 給以source為ID的文本框賦值
.document.all.tags('img')(1).Click 點擊圖片集合里的第二張圖片
.document.all('to').Value 取出以to為ID的文本框內容
.document.all('source').Value = Sheets('sheet1').Cells(i 1, 1).Value
.document.all.tags('img')(1).Click
Do Until .ReadyState = 4
DoEvents
Loop
Sheets('sheet1').Cells(i 1, 2).Value = .document.all('to').Value
i = i 1
Loop
'關閉網頁
.quit
End With
End Sub
代碼解釋：(見注釋)
貼士：
1)VBA只能操作IE瀏覽器，原因就一句話：都是微軟家的產品嘛
2)要先引用Micorsoft Internet Controls