Ⅰ 關於如何收集APP數據的思考
我們知道現在有很多的各種各種的APP,並且分布在不同的移動平台上。APP作為原生應用在安全性和性能上肯定比web應用有優勢,但是有一個很大的問題就是共享性很差。我們知道在網站上產生的數據是可以被搜索引擎抓取的,這樣用戶可通過搜索引擎方便的找到所需要的信息。
但是app的封閉性也導致了其所產生數據的封閉性,現在大量的app數據是無法被共享的,這樣數據只能被自己的用戶使用,而無法向外傳播。
所以就想是不是需要一個方案來手機這些數據,而收集的方式只有兩種:爬蟲主動抓取和被動接受。
顯然目前還沒看到成熟的app數據抓取方案和具體實現。
所以這里我在思考被動接受的方式是否可行。
這里有幾個問題:
1、需要一個巨大的數據存儲伺服器
2、需要有一個數據接收規范,包括接收哪些數據,如何發送數據等
3、數據生產者,也就是app所有者願意提供數據
4、生產者提供的數據是否有接收的必要,並不是數據越多越好好,沒有意義的數據只是在浪費存儲空間和帶寬。
5、如何利用這些數據,暫時想到了幾點:
a. 以網頁形式呈現,供通用搜索引擎抓取
b. 把數據按一定的格式整理,通過專門的網站呈現出來
這些數據可以更好的共享有價值的信息,也可以幫助app擁有者更好的推廣自己的產品。
Ⅱ App中的數據可以用網路爬蟲抓取么
可以,你可以用抓包,然後通過代理ip的方式,讓你的手機和電腦處在一個網路,然後通過發送請求的方式去獲取