如何在網上獲取網路數據

Ⅰ 如何在網站找數據

1、伺服器日誌

隨著網站應用的不斷擴張，網站日誌不再局限於點擊流的日誌數據，如果你的網站提供上傳下載、視頻音樂、網頁游戲等服務，那麼很明顯，你的網站伺服器產生的絕不僅有用戶瀏覽點擊網頁的日誌，也不只有標準的apache日誌格式日誌，更多的W3C、JSON或自定義格式的輸出日誌也給網站分析提供了新的方向。

網站分析不再局限於網頁瀏覽的PV、UV，轉化流失等，基於事件(Events)的分析將會越來越普遍，將會更多的關注用戶在接受網站服務的整個流程的情況：上傳下載是否完成，速度如何;用戶是否觀看的整部視頻，視頻的載入情況;及用戶在玩網頁游戲時的操作和體驗分析等。

2、網站分析工具

當然，通過網站分析工具獲得數據是一個最為簡便快捷的方式，從原先的基於網站日誌的AWStats、webalizer，到目前非常流行的基於JS Tags的Google Analytics、99click的SiteFlow，及JS和網站日誌通吃的WebTrends。通過網站分析工具獲得的數據一般都已經經過特殊計算，較為規范，如PV、UV、Exit Rate、Bounce Rate等，再配上一些趨勢圖或比例圖，通過細分、排序等方法讓結果更為直觀。

但通過網站分析工具得到數據也不遠只這些，上面的這些數據也一樣可以通過統計網站日誌獲得，但網站分析工具的優勢在於其能通過一些嵌入頁面的JS代碼獲得一些有趣的結果。

3、資料庫數據

對於一般的網站來說，存放於資料庫中的數據可以大致分為3個部分：

1、網站用戶信息，一般提供注冊服務的網站都會將用戶的注冊賬號和填寫的基本信息存放在資料庫裡面;

2、網站應用或產品數據，就像電子商務的商品詳細信息或者博客的文章信息，如商品信息會包含商品名稱、庫存數量、價格、特徵描述等;

Ⅱ excel怎樣獲取網路數據

1.首先打開Excel 2007工作表，點擊想要把數據導入的位置，然後在菜單欄找到第五項"數據「，點擊，在「獲取外部數據」項下找到「自網站」並點擊。

Ⅲ 如何在網路上搜尋數據

搜索數據是門學問首先是找一個恰當的關鍵詞,這個關鍵詞要和你搜索的內容符合。然後是要能縮小搜索的范圍,可以用空格或者+進行搜索內容的再查詢,比如找最近發生過的某個事件新聞,直接用新聞這個關鍵詞搜索,肯定結果差距很大,可以用「**事件 新聞」來進行搜索,結果就會比較准確。而且可以把更關鍵的詞放在最前面,增加找到的幾率。再比如,之前看過某個網站的某個頁面或者內容,找不到了,可以用「site:網站地址」來限定搜索的范圍,這樣也能找的比較准確。找特點的材料,比如word文檔什麼的,可以用「filetype:doc」來進行搜尋能活用以上的功能,基本上應該沒有問題了

Ⅳ 網路大數據在什麼地方獲取

網路大數據獲取的地方有（在法律范圍內，獲取公開數據）：

社區、論壇、微博、知乎、FACEBOOK、Twitter、Ins等社交媒體

網路、搜狗、360、谷歌、必應、雅虎等搜索引擎

美團、大眾點評、58同城、趕集網等信息分類網站

企查查、天眼查等企業工商信息API

智聯、BooS直聘、拉勾、中華英才、領英等招聘網站

阿里巴巴、慧聰、商業新知、軟服之家等ToB類平台或行業網站

公共數據開放網站：

政府數據開放平台

北京市政務數據資源網、上海市政府數據服務網、天津市信息資源統一開放平台、開放廣東、浙江政務服務網「數據開放」專題網站、武漢市政務公開數據服務網、長沙市政府門戶網站數據開放平台、蘇州市政府數據開放平台、成都市公共數據開放平台、數據開放--四川省人民政府網站……

國家相關部門統計信息網站

中國人民銀行、中國銀行業監督管理委員會、中國證券監督管理委員會、中國銀保險監督管理委員會、中國國家統計局……

國外數據開放網站

紐約政府開放數據平台、美國官網數據超市、新加坡政府開放數據平台、休斯頓市開放數據門戶網站、Academic Torrents、hadoopilluminated.com、美國人口普查局、世界銀行開放數據搜索網站、費城開放數據平台……

資源節選自：

【Open Data】國外開放數據中心及政府數據開放平台匯總

最全的中國開放數據(open data)及政府數據開放平台匯總

Ⅳ 互聯網採集數據有哪幾種常見的方法

通過日誌獲取數據的，一般是伺服器，工程類的，這類型數據一般是人為制定數據協議的，對接非常簡單，然後通過日誌數據結構化，來分析或監測一些工程類的項目通過JS跟蹤代碼的，就像GA，網路統計，就屬於這一類，網頁頁尾放一段JS，用戶打開瀏覽網頁的時候，就會觸發，他會把瀏覽器的一些信息送到伺服器，基於此類數據做分析，幫助網站運營，APP優化。通過API，就像一些天氣介面，國內這方面的平台有很多，聚合就是其中一個，上面有非常多的介面。此類的，一般是實時，更新型的數據，按需付費通過爬蟲的，就像網路蜘蛛，或類似我們八爪魚採集器，只要是互聯網公開數據均可採集，這類型的產品有好幾款，面向不同的人群，各有特色吧。而說能做到智能的，一般來說，也就只有我們這塊的智能演算法做得還可以一點。（利益相關）比如自動幫你識別網頁上的元素，自動幫你加速等。埋點的，其實跟JS那個很像，一般是指APP上的，像神策，GROWINGIO之類的，這種的原理是嵌套一個SDK在APP裡面。如果對某項採集需要了解更深再說吧，說白就是通過前端，或自動化的技術，收集數據。

Ⅵ 如何抓取網路數據包

sniffer一般用來抓取區域網中的數據包。因為目前區域網一般採用乙太網技術，而乙太網是基於廣播實現數據收發的。每時每刻網卡都在偵聽區域網中的數據包，正常情況下，網卡會自動丟棄掉那些不是發給自己的數據包。而sniffer可以將網卡設為「混雜」模式，在該模式下，網卡會收取所有的數據包，不管是不是發給自己的，這樣就實現了對數據包的抓取。

Ⅶ 如何從網上獲取信息

網路信息資源1. 網路信息資源含義
網路信息資源是指通過計算機網路可以利用的各種信息資源的總和。具體的說是指所有以電子數據形式把文字、圖像、聲音、動畫等多種形式的信息存儲在光、磁等非紙介質的載體中，並通過網路通信、計算機或終端等方式再現出來的資源。
2. 網路信息資源的特點
2.1存儲數字化
信息資源由紙張上的文字變為磁性介質上的電磁信號或者光介質上的光信息，是信息的存儲和傳遞，查詢更加方便，而且所存儲的信息密度高，容量大，可以無損耗地被重復使用。以數字化形式存在地信息，既可以在計算機內高速處理，又可以通過信息網路進行遠距離傳送
2.2 表現形式多樣化
傳統信息資源主要是以文字活數字形式表現出來的信息。而網路信息資源則可以是文本，圖像，音頻，視頻，軟體，資料庫等多種形式存在的，涉及領域從經濟，科研，教育，藝術，到具體的行業和個體，包含的文獻類型從電子報刊，電子工具書，商業信息，新聞報道，書目資料庫，文獻信息索引到統計數據，圖表，電子地圖等
2.3 以網路為傳播媒介
傳統的信息存儲載體為紙張，磁帶，磁碟，而在網路時代，信息的存在是以網路為載體，以虛擬化的姿勢狀態展示的，人們得到的是網路上的信息，而不必過問信息是存儲在磁碟上還是磁帶上的。體系那了網路資源的社會性和共享性。
2.4 數量巨大，增長迅速
CNNIC一年兩次發布的《中國互聯網路發展狀況統計報告》，全面反映和分析了中國互聯網路發展狀況，以其權威性著稱。從本次報告中可以看出，截至到2002年12月31日，我國上網計算機數量為2083萬台；CN下注冊的域名數量達到17.9萬個；網站數量達到了37.1萬個；國際出口帶寬總量為9380M。
2.5 傳播方式的動態性
網路環境下，信息的傳遞和反饋快速靈敏，具有動態性和實時性等特點。信息在網路種的流動性非常迅速，電子流取代惡劣紙張和郵政的物流，加上無線電和衛星通訊技術的充分運用，上傳到網上的任何信息資源，都只需要短短的數秒鍾就能傳遞到世界各地的沒一個角落。
2.6 信息源復雜
網路共享性與開放性使得人人都可以在互聯網上所取和存放信息，由於沒有質量控制和管理機制，這些信息沒有經過嚴格編輯和整理，良莠不齊，各種不良和無用的信息大量充斥在網路上，形成了一個紛繁復雜的信息世界，給用戶選擇，利用網路信息帶來了障礙。

Ⅷ Excel怎麼從提取網頁數據

• 單擊【數據】--【獲取外部數據】--【自網站】，單擊進入。

  

Ⅸ 如何獲取並分析一個網站的相關信息

隨著很多網站的做大做細，網站數據分析變得更為重要。通過網站數據分析可以充分了解一個網站的運作情況，並加以改進。這些數據會告訴你，你的網站流量是否有效？流量在哪裡流失？目標受眾是否精準？如何改善網站產品格局和網站運營？等等一系列問題。但在這之前的第一步就是需要獲取網站的數據。本文主要介紹如何獲取網站數據以及需要獲取哪些關鍵數據。
1，網站內部數據
網站內部數據是網站最容易獲取到的數據，它們往往就存放在網站的文件系統或資料庫中，也是與網站本身最為密切相關的數據，是網站分析最常見的數據來源，我們需要好好利用這部分數據。
伺服器日誌
網站分析不再局限於網頁瀏覽的PV、UV，轉化流失等，基於Events的分析將會越來越普遍，將會更多的關注用戶在接受網站服務的整個流程的情況。
隨著網站應用的不斷擴張，以及前端技術的不斷升華。網站日誌不再局限於點擊流的日誌數據，如果你的網站提供上傳下載、視頻音樂、網頁游戲等服務，那麼很明顯，你的網站伺服器產生的絕不僅有用戶瀏覽點擊網頁的日誌，也不只有標準的apache日誌格式日誌，更多的W3C、JSON或自定義格式的輸出日誌也給網站分析提供了新的方向。
網站分析工具
通過網站分析工具獲得數據是一個最為簡便快捷的方式，通過網站分析工具獲得的數據一般都已經經過特殊計算，較為規范，如PV、UV、Exit Rate、Bounce Rate等，再配上一些趨勢圖或比例圖，通過細分、排序等方法讓結果更為直觀。
但通過網站分析工具得到數據也遠不止這些，上面的這些數據也一樣可以通過統計網站日誌獲得，但網站分析工具的優勢在於其能通過一些嵌入頁面的JS代碼獲得一些有趣的結果，如一些網站分析工具提供的點擊熱圖，甚至滑鼠移動軌跡圖。這些分析結果往往對網站優化和用戶行為分析更為有效。
資料庫數據
對於一般的網站來說，存放於資料庫中的數據可以大致分為3個部分：
網站用戶信息，一般提供注冊服務的網站都會將用戶的注冊賬號和填寫的基本信息存放在資料庫裡面；
網站應用或產品數據，就像電子商務的商品詳細信息，如商品信息會包含商品名稱、特徵描述、產品屬性等；
用戶在應用服務或購買產品時產生的數據，最簡單的例子就是電商網站的用戶購買(購買單、報價單、詢盤)數據——購買時間、購買的用戶、購買的商品、購買數量、支付的金額等。
當然，這一部分數據的具體形式會根據網站的運營模式存在較大差異，一些業務范圍很廣，提供多樣服務的網站其資料庫中數據的組合會相當復雜。
其它
其它一切網站運營過程中產生的數據，有可能是用戶創造，也有可能是網站內部創造，其中有一大部分我們可以稱其為「線下數據」。
2，外部數據
網站分析除了可以從網站內部獲取數據以外，通過互聯網這個開放的環境，從網站外部獲取一些數據可以讓分析的結果更加全面。
互聯網環境數據
可以去一些網路數據分析平台查一下互聯網中頂級網站的訪問量趨勢。
競爭對手數據
時刻關注競爭對手的情況可以讓你的網站不至於在競爭中落伍。除了一些網站數據查詢平台以外，直接從競爭對手網站上獲取數據也是另外一條有效的途徑，也有網站會出於某些原因（信息透明、數據展示等）將自己的部分統計信息展現在網站上，看看那些數據對於掌握你的競爭對手的情況是否有幫助。
在獲取上述幾類數據的同時，也許我們還可以從其他方面獲取一些更為豐富的數據。
合作夥伴數據
如果你有合作的網站或者你經營的是一個電子商務網站，也許你會有相關的產品提供商、物流供應商等合作夥伴，看看他們能為你提供些什麼數據。
用戶數據
如果你的網站已經小有名氣，那麼嘗試在搜索引擎看看用戶是怎麼評價你的網站，或者通過SNS網站等看看用戶正在上面發表什麼關於你的網站的言論。
當然通過用戶調研獲取數據是另外一個不錯的途徑，通過網站上的調查問卷或者線下的用戶回訪，電話、IM調查，可用性實驗測試等方式可以獲取一些用戶對網站的直觀感受和真實評價，這些數據往往是十分有價值的，也是普通的網站分析工具所獲取不到的。

在分析網站的外部數據的時候，需要注意的是不要過於相信數據，外部數據相比內部數據不確定性會比較高。網站內部數據即使也不準確，但我們至少能知道數據的誤差大概會有多大，是什麼原因造成了數據存在誤差。而外部數據一般都是有其他網站或機構公布的，每個公司，無論是數據平台、咨詢公司還是合作夥伴都可能會為了某些利益而使其公布的數據更加可信或更具一定的偏向性，所以我們在分析外部數據是需要更加嚴格的驗證和深入的分析。而對於用戶調研中獲取的數據，我們一般會通過統計學的方法檢驗數據是否可以被接受，或者是否滿足一定的置信區間，這是進行數據分析前必須完成的一步。

Ⅹ 怎麼用VBA或網路爬蟲程序抓取網站數據

VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭

也可以利用採集工具進行採集網頁端的數據，無需寫代碼。