如何爬數據

1. 如何用代碼爬抓電商數據

現在電商的很多數據都是關閉的，只能抓取外圍數據，比如銷量、價格等，這個要找專業機構。

2. 如何用Python爬取數據

方法/步驟

• 在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。

  

• 7

  這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。

3. 怎麼爬網路游戲的數據，不用改只是爬數據

原始的數據可能會有很多問題，比如殘缺的數據、重復的數據、無效的數據等等。把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
比如空氣質量的數據，其中有很多天的數據由於設備的原因是沒有監測到的，有一些數據是記錄重復的，還有一些數據是設備故障時監測無效的。

4. 好大夫網站的數據怎麼爬

首先來看下好大夫這個站給人第一印象如何：
1，用網站測速軟體測試了下，無論電信還是網通，速度都相當的不錯，截圖看下，最長1.59秒，最短0.28秒左右平均0.74秒，記得國平老師在網速是如何影響SEO效果的文章里詳細說明了這個速度對搜索引擎對用戶是何等的重要，此為第一關。應該說做的很不錯。

再來用Pagespeed分析下，得分82分，，在部分排版圖片方面和圖片壓縮方面可以繼續提高下。用pagespeed所提醒的處理方法就可以解決這里所顯示的問題，對提高頁面打開速度很有好處。

從haodf.com返回的頭部代碼里我們實際上可以看到一些不曾注意的信息

這個頭文件里有一條是：X-Cache: HIT cache22.haodf.com，還有兩條信息是X-Proxy: 22
從地址cache22.haodf.com我們可以發現，這是緩存地址，也就是說，打開首頁如此之快是緩存在起作用，應該是負載平衡
系統在起作用，負載相對小的提供了本次訪問所需要的數據。
實際上通過ping chache22.haodf.com和www.haodf.com所得到的IP地址不同就可以說明一些問題：

這個IP地址段通過查詢是北京電信通所提供的。
這里的X-Cache: HIT cache22.haodf.com是緩存技術無疑，具體如何的細節了解可以去搜索下，相關技術文章解釋的挺清楚。

2，再來看下域名haodf.com的相關信息：
Created: 2004-08-07 00:00:00
Expires: 2018-08-07 12:08:16
Last Modified: 2008-09-02 19:45:11
04年注冊，08年續費時一次性續費十年，老域名。

3，再來看看自從域名注冊了之後，此站是否一直是做醫療類的內容呢？看歷史記錄數據來回答你心中的疑問：
各位可以去infomall.cn里查詢下看此站的歷史界面，可以發現，雖然04年注冊，但是直到06年左右才開始做醫療類的信息的，之前做的都是網址大全

點開05-5-14的樣子看下
，
名字和內容是地地道道的網址大全，在後來的06-11-12日的樣子已經是醫療方面的信息了，

具體哪個時間開始做的也許只有當事人了解了。

看完了其歷史和整體信息，下面來分析下網站

首先是首頁。
首頁里一些明顯優化的因素都不存在，首頁沒有任何H1 H2 H3標簽，首頁沒有nofollow，全部鏈接都是有效鏈接沒有用JS隱藏，連最下面鏈到備案地址的鏈接也是如此。
網站title description keywords（可有可無）的數據分別是：

最重要的標題部分是：好大夫在線_中國最大的醫療網站
結構是 品牌_行業解釋

這里的title沒有堆砌任何關鍵字，比如疾病名稱、比如葯物名稱、比如醫院名稱等，就是說明自己的品牌：好大夫在線，及好大夫在線是中國最大的醫療網站
關鍵字部分可有可無，加了可以增加品牌關鍵字密度
描述部分是詳細說明網站所提供的服務。這里對品牌的強調有點可以學習的是：前面出現的是&＃8220;好大夫在線，中國最大的醫療網站。&＃8221;緊接著出現的是&＃8220;好大夫提供...&＃8221;，將好大夫在線和好大夫分別強調一下，以增強品牌。

這里的首頁部分安排實際上對大站來說是最合理的，因為首頁只需要解決用戶慕名而來也就是直接搜索好大夫或者好大夫在線即可，那麼多的疾病名稱醫院名稱什麼的可以直接交給數量龐大的內頁來完成，從而很好的把權重內移，共同取得排名和流量。

復制代碼

接著來分析下整個首頁的HTML代碼傳達了怎麼樣的優化手法：

一些可能影響網站打開速度的都用其他的方法來規避了：1，就是外部CSS文件、JS文件和排版圖片可以充分保證主站打開時HTML代碼可以出來，外部CSS也同時被用戶自己的瀏覽器調用來加速頁面打開速度。

同時，我們PING 下看hdfimg.com域名

可以發現，其IP地址和主站及緩存類的是在一個IP地址段，也就是都在219.238.150這個段IP地址里，應該是同一個機房另一台機器專門在處理CSS、JS和排版圖片。
分工明確的幾台伺服器同時處理用戶的需求加速了網站打開的時間，不錯！
（也考慮過是一台大伺服器捆綁了多個IP地址，不過想來這么大的站應該會分工非常明確，將大問題化為很多小的問題來逐個優化達到總體效果最佳，也便於故障時進行排查）

除了CSS、JS、排版圖片是單獨用hdfimg.com域名來提供數據，另一個圖片出現的情況就是新聞文章或者產品或者介紹等等正文里出現，那麼這種圖片haodf是如何處理的呢？
通過查看源代碼，直接發現了另一個域名：n1.haodf.com，是存放的醫生的頭像。

從以上這兩個域名hdfimg.com和n1.haodf.com的分析可以看出，好大夫在影響網站打開速度方面的處理真是細致入微，將可能的外在因素全部解決，值得學習！

復制代碼

再仔細檢查每個鏈接，可以發現，很多內容性的東西，全部採用二級域名來跑。
比如某個醫生的訪問地址是drsunkun.haodf.com，其中drsunkun是醫生注冊的用戶名。
某個地區的訪問地址比如江蘇：jiangsu.haodf.com，其他省區的類似，均才用二級域名的形式來跑。

而疾病名稱、醫院名稱、咨詢信息、專家文章、看病經歷、感謝信都沒有使用二級域名，而是直接以www.haodf.com/二級目錄名/頁面名.htm

這里二級目錄名總共有這幾個：hospital表示醫院，faculty表示醫院科室，jibing表示全部疾病，zhuanjiaguandian是專家文章觀點，wenda是咨詢問答，doctor是看病經驗和感謝信，info是聯系信息及自我介紹。
頁面名中醫院的名稱是隨機生成的名字，疾病那裡是疾病的拼音，問答那裡是醫生拼音_隨機數字，這里的頁面名除了疾病名稱可能有人搜索拼音之外醫生名醫院名和問答沒有規律可言對整體沒有影響。

疾病名稱用拼音搜索時網路也會提醒你是搜索的可能是什麼中文內容，比如搜索buyunbuyu，網路就知道你搜索的是不孕不育，所以目錄里的拼音對優化的作用可以不必太過考慮，但對用戶的友好度還是不錯的，看拼音總比看一堆亂七八糟的隨機字母數據要舒服的多。

復制代碼

三級目錄有：匯總了各種疾病所對應不同醫院的醫生，省區醫院列表更多

使用二級域名的總共有：省區所包含醫院、網上咨詢、預約、醫生注冊帳號、權威專家觀點專題、400咨詢、幫助等等

沒有完全全部羅列出來，僅以目前以上的數據來分析下，為什麼這么安排。

為什麼一些數據使用二級域名一些數據還是在主域名下用二級目錄來存放，原因應該就是跟流量有關。
為此，我們通過實際數據來說明下放目錄下的流量和放二級目錄下的流量對比。
拿出火車頭採集愛站里前50頁總計1250條記錄，可以發現

二級域名無論在排名還是流量搜索量方面都比根目錄下的要少的多的多

復制代碼

附件是採集的愛站顯示出來的好大夫網址：

為何好大夫站要如此安排鏈接？說到底肯定是為了權重為了排名為了流量
我們來看下二級域名的頁面里都發生了些什麼：
先拿羅列了全部江蘇的醫院的二級域名jiangsu.haodf.com來看他的頁面里都發生了些什麼事情。
這個頁面里除了Head部分跟網站首頁一樣，之外，裡面都有哪些鏈接類型和內容呢？
1，全江蘇省各個市縣的醫院，裡面鏈接的目的地由醫院、問答、醫院科室、醫生鏈接（二級域名）、醫生評價、咨詢（二級域名）、全國地區導航（二級域名），而醫院、問答類所佔篇幅是最大的。

2，再看數量巨大的醫生的二級域名頁面都含有什麼樣的數據：專家觀點的文章二級目錄類的、問答咨詢也是二級目錄類的、醫生主治的疾病名稱鏈接還是二級目錄類的

3，再看下400.haodf.com咨詢類的頁面，鏈接主要是去此醫生二級域名頁下的咨詢頁，那麼進入此二級域名頁下的咨詢頁查看，可以看到，這里的鏈 接主要類型是：其他醫生二級域名頁、醫生自己的二級域名頁、問答咨詢頁二級目錄類、相關專題文章二級域名類以及此疾病相關的推薦醫院二級目錄類的。

看完網站鏈接結構，我們來看下內容以及外鏈部分。
搜索一個競爭壓力山大的詞&＃8220;整形&＃8221;，在網路里排第一，鏈接地址是www.haodf.com/jibing/zhengxing.htm，我們來看下這個詞的頁面內容。首先看下H1 H2，這里好大夫竟然使用了3個H1，大站里第一次見過同時使用3個H1的，截圖如下

三個H1的標簽寫法是：
<h1>整形專家觀點</h1>
<h1>相關疾病-<span title="整形">整形</span></h1>
<h1>最近在線大夫-<span title="整形">整形</span></h1>
H2部分寫法是：
<h2> <a href="http://www.haodf.com/jibing/zhengxing.htm" title="整形首頁">整形</a> <span class="font16" style="color:＃000;"></span></h2>

<H1>部分強調整形，同時使用小技巧<span>的title標簽來加強關鍵字，提升關鍵字密度和頻率。

復制代碼

整個頁面里&＃8220;整形&＃8221;這個詞出現的非常頻率非常之高，同時分布也很平均，從左到右從上到下，不斷的進行重復和強調。

復制代碼

標題里出現兩次，正文部分出現88次，描述里出現1次。那麼再分析下此頁的外鏈情況：122929，12萬多的鏈，除去站內的再算下看：1218

12萬多的鏈接全部是來自內部！而剩餘的1218純外部鏈接中，有80％以上都是別的站的文章頁，也就是通過轉載好大夫的文章而自然產生外鏈，轉載的站大部分都是跟醫療整形有關的，多麼高質量的相關站鏈接，指向的目標頁面又是驚心優化的，想沒有好的排名也難啊！

復制代碼

分析好大夫站發現，通常建議的1個H1 多個H2 H3 H4的規律在這里並不適用，好大夫的一些排名靠前的頁面里，使用H1跟使用H2 H3一樣，同時使用就是幾個，如圖醫院介紹主頁

四個H1當作H2來使用。

5. 如何爬取網頁表格數據

如何把網路的網頁表格數據導入到Excel表中_網路經驗 http://jingyan..com/article/6b97984d9df4ef1ca2b0bf29.html

6. 用爬蟲爬一些平台的數據 是怎麼爬

顯然不能直接儲存，你還得解析出自己需要的內容。 比如我爬取某新聞網今日的國內新聞，那麼我創建一個實體類，裡面有屬性：新聞標題，新聞時間，正文等等。解析出你需要的內容，封到實體裡面，然後在層直接save到資料庫即可 如果你爬下的是整.

7. 爬蟲怎麼爬取word數據

那麼如果說需要找到對應的一些數據的話，你可以通過相關設置裡面找到對應那些word文檔裡面所包含各方面的設置以及各方面的一些數據代碼，就可以進行對應一些參數的連接網使用。

8. 爬蟲怎麼爬數據

很簡單，2-3 個月我就學會了，用一個專門的爬蟲框架，就3個步驟，核心是第二步：
定義item類
開發spider類
開發pipeline

詳細內容可看《瘋狂Python講義》

9. 如何爬excel數據

網頁鏈接

10. 用爬蟲爬下來的數據怎麼放在網頁上

顯然不能直接儲存，你還得解析出自己需要的內容。

比如我爬取某新聞網今日的國內新聞，那麼我創建一個實體類，裡面有屬性：新聞標題，新聞時間，正文等等。解析出你需要的內容，封到實體裡面，然後在層直接save到資料庫即可

如果你爬下的是整個網頁，這個好辦，把它當做文件一樣，用流操作保存到電腦上即可。當然保存網頁會遇到編碼問題，這個很棘手。