如何抓取app數據

① 如何使用網頁抓取工具抓取APP數據

如果用前嗅的ForeSpider數據採集軟體就可以的。但是需要知道app的協議是什麼。如果是http，https的，就可以直接採集。
實時更新也是可以做到的，軟體支持定時採集、一定間隔時間採集，設置好間隔時間，就相當於是在實時更新了。
ForeSpider直接連接資料庫，數據入庫有多種策略，而且入庫前會有兩次自動排重，以保證只插入更新後的數據。
有免費版可以下載，不限制功能。

② 蘋果如何提取app數據

蘋果如何提取app數據？Mac上面的應用通常通過App Store下載，那麼想要提取出來給第二台Mac安裝怎麼辦呢？其實方法很簡單的。因為Mac上面的安裝格式有兩種一種是dmg格式，一種是pkg格式。前一種就是打包的格式，Mac上面安裝的時候還是需要解壓的。後者跟win的exe一樣。例如輸入法就是這種格式的。
工具原料keka for mac
方法/步驟分步閱讀
1
/5
這個應用的提取方式適用本身是dmg格式的文件pkg文件未測試。首先是打開finder，選擇需要提取的文件，右鍵它拷貝。
2
/5
在桌面右鍵一個新的文件夾，進去新文件夾把應用粘貼在這里。
到這里應用就可以在其他的電腦上面運行了，後綴名是APP的可以直接運行不必要安裝。但是這樣子顯然不符合我們的要求，要把它變成dmg文件，方便使用以及安裝軟體。
3
/5
為了製作dmg文件，首先是安裝keka這個軟體，打開軟體後點擊箭頭的位置。
4
/5
然後再打開一個dmg文件，把裡面的應用文件夾拖入我們剛剛建立的文件夾內。這樣子，除了APP後綴的應用外，還有一個應用文件夾。等人家電腦用的時候，就直接拖入裡面即可。
5
/5
打包成dmg文件，把新建立的文件夾拖入keka主界面即可打包成一個標準的dmg文件。

③ 如何從網站或者軟體中抓取數據

這個需求有點泛，是想要工具還是代碼技術實現。
如是想要採集網頁上公開的信息的工具，推薦使用簡數採集。
簡數採集操作簡便，智能化識別列表頁、內容頁、翻頁，輕松方便的發布到wordpress、zblog、dede等主流的cms系統。

④ fiddler怎麼抓取app數據包怎麼用

Fiddler基本原理

Fiddler數據包的原理是Fiddler將自己設置為一個代理伺服器，默認監聽127.0.0.1：8888埠同時將瀏覽器的HTTP、HTTPS協議設置為使用代理伺服器也就是使用自己作為瀏覽器的代理伺服器；

打開Fiddler後Fiddler自動為你設置的HTTP代理：

抓取Andriod與IOS數據包的原理也是一樣，在Andriod上設置Http代理為Fiddler代理伺服器；

Fiddler初步使用

安裝Fiddler，這里使用的是v4.6.1.5版本；
設置Fiddler：Tools菜單下Fiddler Options選項，選擇Connections，勾選Allow romte computers to connect；

該設置是指Fiddler允許遠程電腦連接，設置好後重啟Fiddler；
在命令行下使用ipconfig查看本機地址，如：192.168.1.104；

注意Andriod與IOS設備必須與PC在一個區域網中；

Andriod設置

設置->WLAN，找到當前正在使用的Wifi，長按該連接，彈出選項後選擇 「修改網路」 ，然後勾選實現高級選項
在代理選擇框中選手動，在代理伺服器主機名中填入剛剛在電腦上看到的地址：192.168.1.104，埠填8888，然後點擊保存；

IOS設置

這里使用的是IOS 9，點擊設置圖標，選擇無線區域網，找到當前連接的wifi點擊後面的！號圖標，在HTTP代理中選擇手動，
伺服器地址填，電腦的地址：192.168.1.104，埠填8888，然後即可，IOS中設置好後自動保存；

證書安裝

由於有些App有使用了HTTPS證書，所以在Andriod、IOS上沒有安裝Fiddler證書就可以回出現App無法使用的情況；

安裝證書，在瀏覽器中輸入：192.168.1.104:8888（你電腦的IP地址），點擊FiddlerRoot certificate，然後安裝證書；
設置好後就可以在電腦上使用Fiddler對Andriod或IOS上的App進行抓包

⑤ 電腦怎麼抓取手機app的數據包

使用fiddler，Charles都是不錯的抓包工具

⑥ App中的數據可以用網路爬蟲抓取么

可以，你可以用抓包，然後通過代理ip的方式，讓你的手機和電腦處在一個網路，然後通過發送請求的方式去獲取

⑦ 方便好用的抓取數據的工具有哪些

方便好用的抓取數據的工具有：八爪魚、火車頭、近探中國。

1、八爪魚採集器八爪魚是基於運營商在網實名制真實數據是整合了網頁數據採集、移動互聯網數據及API介面服務等服務為一體的數據服務平台。它最大的特色就是無需懂得網路爬蟲技術，就能輕松完成採集。

2、火車頭採集器火車採集器是目前使用人數較多的互聯網數據採集軟體。它憑借靈活的配置與強大的性能領先國內同類產品，並贏得眾多用戶的一致認可。使用火車頭採集器幾乎可以採集所有網頁。

3、近探中國近探中國的數據服務平台裡面有很多開發者上傳的採集工具還有很多是免費的。不管是採集境內外網站、行業網站、政府網站、app、微博、搜索引擎、公眾號、小程序等的數據還是其他數據，近探都可以完成採集還可以定製這是他們的一最大的亮點。

網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

⑧ 如何使用Burpsuite抓取手機APP的HTTPS數據

1.所需條件
· 手機已經獲取root許可權
· 手機已經成功安裝xposed框架
· 電腦一台
2.詳細步驟
2.1 在手機上面安裝xposed JustTrustMe
JustTrustMe是一個去掉https證書校驗的xposed hook插件，去掉之後就可以抓取做了證書校驗的app的數據包。JustTrustMe在github的地址位： https://github.com/Fuzion24/JustTrustMe
安裝好模塊之後勾選JustTrustMe模塊，然後重啟手機

2.2 配置burpsuite
打開burpsuite，切換到Proxy，然後切換到下面的Options選項，然後點擊add，然後配置好埠，ip選擇本機的ip地址，然後點擊ok添加

將running框勾選上

2.3 導入burpsuite證書
在電腦端使用Firefox瀏覽器訪問設置的代理ip:埠，下載burpsuite證書，比如我上面的ip為192.168.1.105，埠為8080，就訪問http://192.168.1.105:8080/然後去下載證書

點擊CA certificate下載burpsuite的證書，保存證書文件

進入Firefox的設置裡面，選擇高級，然後選擇證書，點擊查看證書

然後選擇伺服器，點擊導入，導入剛剛下載的cacert.der證書，導入之後會多一個PortSwigger的證書，選中它，然後點擊導出,選擇X.509證書，然後重新命名導出,這里之所以要這樣導出證書，是因為手機上面識別不了burpsuite默認導出的證書格式，要轉換一下。

導出之後，將證書放到手機的sd卡中，然後進入手機設置，安全，從sd卡安裝，然後選擇放到手機的證書文件，如果手機沒有設置鎖屏密碼，這里會要求設置手機鎖屏密碼。不同的手機導入略微有些不同，但是都是在設置，安全設置裡面去導入證書。

點擊從sd卡安裝就可以選擇sd卡中的證書文件，然後安裝了。
2.4 在手機上配置代理伺服器
進入手機設置，WLAN，將手機和wifi連接到同一個路由器上面，然後設置wifi，有些手機是長按當前連接的wifi進行設置，有些是點擊向右的箭頭進行設置，這里兩中都說一下
第一種：
進入設置，點擊wlan，然後長按當前連接的wifi，選擇修改網路，滑到最下面，勾選顯示高級選項，然後選擇代理設置為手動代理伺服器主機名字填電腦ip，埠填你剛剛設置的埠。然後確定，就設置成功了。

第二種：
進入設置，wlan，點擊當前連接的wifi最右邊的向右詳情圖標，打開編輯當前連接的wifi，然後將代理設置選擇為手動，主機名填電腦ip地址，埠填剛剛在burpsuite裡面設置的地址，然後點擊確定保存，就設置成功了。

設置好之後便可以抓取https的數據包了，帶證書校驗的也可以正常抓取，如果不裝JustTrusMe插件，就不能抓帶證書校驗的app的https數據包。

使用burpsuite抓取https的教程到這里就結束了。

⑨ 請問安卓有沒有什麼軟體可以抓取APP 的頁面數據

抓取美團商家菜單數據不是app的范疇，而屬於後台的范疇，應該針對後台介面進行抓取或者針對美團的網頁進行分析。一般使用python

⑩ 如何通過程序抓取手機app的內容

如果用前嗅的ForeSpider數據採集軟體就可以的。但是需要知道app的協議是什麼。需要定製。
實時更新也是可以做到的，軟體支持定時採集、一定間隔時間採集，設置好間隔時間，就相當於是在實時更新了。
ForeSpider直接連接資料庫，數據入庫有多種策略，而且入庫前會有兩次自動排重，以保證只插入更新後的數據。
官網上有免費版可以下載，不限制功能。