1. 有哪些不錯的爬蟲軟體是可以免費爬取網頁數據的
這里介紹2個不錯的爬蟲軟體—Excel和八爪魚，對於規整的靜態網頁來說，使用Excel就可以爬取，稍微復雜一些的網頁，可以使用八爪魚來爬取，下面我簡單介紹一下這2個軟體，主要內容如下：
Excel
Excel大部分人都應該使用過，除了日常的數據統計處理外，也可以爬取網頁數據，下面我簡單介紹一下爬取過程，主要步驟如下，這里以爬取PM2.5數據為例：
1.首先，新建一個Excel文件並打開，依次點擊菜單欄的「數據」->「自網站」，如下：
2.接著，在彈出的「新建Web查詢」對話框中輸入需要爬取的網址，點擊「轉到」，就會載入出我們需要爬取的網頁，如下：
3.然後，點擊右下角的「導入」按鈕，選擇需要存放數據的工作表或新建工作表，點擊「確定」按鈕，就會自動導入數據，成功導入後的數據如下：
4.這里如果你需要定時刷新數據，可以點擊菜單欄的「屬性」，在彈出的對話框中設置刷新頻率，就可定時刷新數據，如下：
八爪魚
這是一個專門用於採集數據的爬蟲軟體，簡單好學，容易掌握，只需要設置一下頁面要爬取的元素，就可以自動爬取數據，並且可以保存為Excel或導出資料庫，下面我簡單介紹一下這個軟體的安裝和使用：
1.下載安裝八爪魚，這個直接到官網上下載就行，如下，直接點擊下載安裝就行：
2.安裝完成後，打開這個軟體，枯握在主頁面中點擊「自定義採集」，如下：
3.接著在任務頁面中輸入需要爬取的網頁地址，如下，這里以爬取大眾點評數據為例:
4.點擊「保存網址」，就能自動打開網頁，如下：
5.接著，我們就可以直接選取需消卜要爬取的標簽數據，如下，按著操作提示一步一步往下走就行，很簡單：
6.設置完成後，直接點擊「啟動本地採集」，就能自動開始爬取數據，成功爬取後的數據如下，就是我們剛才設置的標簽數據：
7.這里點擊「導出數據」，可以將爬取的數據導出為你需要的格式，如下，可以是Excel、CSV、資料庫等：
至此，我們就完成了利用Excel和八爪魚來爬取網頁數據。總的來說，這2個軟體使用起來都非常簡單，只要你熟悉一下相關操作，很快就能掌握的，當然，你也可以使用其他爬蟲軟體，像火車頭等，基本功能和八爪魚差不多，網上也有相關資沒橋慶料和教程，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言。
2. 如何爬取網頁數據
1、URL管旁帶理
首先url管理器添加了新的url到待爬取集合中，判斷了待添加的url是否在容器中、是否有待爬取的url，並且獲取待爬取的url，將url從待爬取的url集合移動到已爬取的url集合
頁面下載，下載器將接收到的url傳給互聯網，互聯網返回html文件給下載器，下載器將其保存到本地，一般的會對下載器做分布式部署，一個是提交效率，再一個是起到請求代理作用
2、內容提取
頁面解析器主要完成的是從獲取的html網頁字元串中取得有價值的感興趣的數據和新的url列表。數據抽取比較常用的手段有基於css選擇器、正則表達式、xpath的規則提取。一般提取完後還會對數據進行一定的清洗或自定義處理，從而將請求到的非結構數據轉化為我們需要的結構化數據。
3、數據保存
數據保存到相關的資料庫、隊列、文件等方便做數據橘啟歲計算和與應用對接。
爬蟲採集成為很多公司企業個人的需求，但正因為如此，反爬蟲的技術也層出不窮，像時間限制、IP限制、驗證碼限制等等圓睜，都可能會導致爬蟲無法進行，所以也出現了很多像代理IP、時間限制調整這樣的方法去解決反爬蟲限制，當然具體的操作方法需要你針對性的去研究。兔子動態IP軟體可以實現一鍵IP自動切換，千萬IP庫存，自動去重，支持電腦、手機多端使用。
3. 怎麼爬取網頁上的表格數據，導入到office的Excel或者Word文檔中呢
關於怎麼爬取網上的信息，有時候我們經常在網頁上看到很多表格數據，有些不能直接復制粘貼到文檔或者Excel表格中，有些能復制但是格式會發生很多錯亂，要是信息量大的話，修改格式都是一項大工程了。
舉個例子，之前有同學在網上看到一個表格數據：
要是我們直接復制很難把表格格式也復制進去，尤其對於一些每天都在變化的數據，也不能同步更新數據。
所以我們可以把網頁的數據用Excel表格， 導入網頁的鏈接實現表格數據爬取，同步自動更新表格數據
首先我們需要復製表格數據所在網頁的鏈接
然後打開Excel表格。
注意：Excel表格需要2016以上的版本才可以。
然後把我們剛才復制好的數據所在網頁鏈接粘貼進去，按確定
稍等片刻，就會自動獲取網頁所有表格數據，我們找到我們需要獲取的數據表格，然後點擊載入進Excel表格中。
載入到Excel表格中後，我們可以對外部數據進行編輯等其他參數調整
因為是直接獲取外部的鏈接數據，所以要是外部數據變化，我們也可以設置自定數據更新。
在表格屬性設計中找到刷新選項的查看鏈接屬性，然後可以自定義設置一些自動更新時間。
如下動態圖演示：
同時我們可以直接復制進Word文檔中，選擇性粘貼保留原格式，那麼也可以跟Excel和網頁數據實現同步更新了
4. 如何使用Excel完成網站上的數據爬取
注意：本章節主要講解數據獲取部分
將網頁中展示的數據爬取到可以編輯的文本工具中從而實現批量操作。在具體的爬取過程中，經常使用的根據有Excel和Python。
該板塊由三個模塊組成：
在爬蟲過程中，最為常用的瀏覽器為谷歌瀏覽器和火狐瀏覽器。
實操步驟：
1.獲取瀏覽器標識
以谷歌瀏覽器為例：
打開瀏覽器輸入目標網站後，右鍵點擊檢查（快捷鍵Ctrl+Shift+I(註：不是L,是I)），在檢查頁面中點擊Network後重新載入頁面，在檢查Network頁面中單擊第一個網頁信息：index.html。在右邊出現的窗口Headers中，將頁面拉至底部可查找到瀏覽器標識UserAgent，復制UserAgent信息即可。
2.設置響應時間（位置用戶瀏覽）
新建Excel並打開，點擊自網站，在彈出的窗口中選擇高級選項，將我們需要爬取的目標網址信息粘貼到Url位置處，同時在響應時間欄中設置1分鍾的響應時間，
3.設置瀏覽器標識
在HTTP請求標頭參數中下拉選擇UserAgent，粘貼瀏覽器的UserAgent信息。
4.將數據載入到Power Query中進行預處理，建立網頁鏈接後，選擇數據Table0，選擇編輯進入Power Query中進行數據預處理。處理完數據後，依照慣例，製作可視化地圖。
5. 如何用python爬取網站數據
這里簡單介紹一下吧，以抓取網站靜態、動態2種數據為慧返拍例，實驗環境win10+python3.6+pycharm5.0，主要內容如下：
抓取網站靜態數據（數據在網頁源碼中）：以糗事網路網站數據為例
1.這里假設我們抓取的數據如下，主要包括用戶昵稱、內容、好笑數和評論數這4個欄位，如下：
對應的網頁源碼如下，包含我們所需要的數據：
2.對應網頁結構，主要代碼如下，很簡單，主要用到requests+BeautifulSoup，其中requests用於請求頁面，BeautifulSoup用於解析頁面：
程序運行截圖如下，已經成功爬取到數據：
抓取網站動態數據（數據不在網頁源碼中，json等文件中）：以人人貸網站數據為例
1.這里假設我們爬取的是債券數據，主要包括年利率世型、借款標題、期限、金額和進度這5個欄位信息，截圖如下：
打開網頁源碼中，可以發現數據不在網頁源碼中，按F12抓包分析時，才發現在一個json文件中，如下：
2.獲取到json文件的url後，我們就可以爬取對應數據了，這里使用的包與上面類似，因為是json文件，所以還用了json這個包（解析json），主要內容如下：
程序運行截圖如下，前羨已經成功抓取到數據：
至此，這里就介紹完了這2種數據的抓取，包括靜態數據和動態數據。總的來說，這2個示例不難，都是入門級別的爬蟲，網頁結構也比較簡單，最重要的還是要會進行抓包分析，對頁面進行分析提取，後期熟悉後，可以藉助scrapy這個框架進行數據的爬取，可以更方便一些，效率更高，當然，如果爬取的頁面比較復雜，像驗證碼、加密等，這時候就需要認真分析了，網上也有一些教程可供參考，感興趣的可以搜一下，希望以上分享的內容能對你有所幫助吧。