如何抓取app数据

① 如何使用网页抓取工具抓取APP数据

如果用前嗅的ForeSpider数据采集软件就可以的。但是需要知道app的协议是什么。如果是http，https的，就可以直接采集。
实时更新也是可以做到的，软件支持定时采集、一定间隔时间采集，设置好间隔时间，就相当于是在实时更新了。
ForeSpider直接连接数据库，数据入库有多种策略，而且入库前会有两次自动排重，以保证只插入更新后的数据。
有免费版可以下载，不限制功能。

② 苹果如何提取app数据

苹果如何提取app数据？Mac上面的应用通常通过App Store下载，那么想要提取出来给第二台Mac安装怎么办呢？其实方法很简单的。因为Mac上面的安装格式有两种一种是dmg格式，一种是pkg格式。前一种就是打包的格式，Mac上面安装的时候还是需要解压的。后者跟win的exe一样。例如输入法就是这种格式的。
工具原料keka for mac
方法/步骤分步阅读
1
/5
这个应用的提取方式适用本身是dmg格式的文件pkg文件未测试。首先是打开finder，选择需要提取的文件，右键它拷贝。
2
/5
在桌面右键一个新的文件夹，进去新文件夹把应用粘贴在这里。
到这里应用就可以在其他的电脑上面运行了，后缀名是APP的可以直接运行不必要安装。但是这样子显然不符合我们的要求，要把它变成dmg文件，方便使用以及安装软件。
3
/5
为了制作dmg文件，首先是安装keka这个软件，打开软件后点击箭头的位置。
4
/5
然后再打开一个dmg文件，把里面的应用文件夹拖入我们刚刚建立的文件夹内。这样子，除了APP后缀的应用外，还有一个应用文件夹。等人家电脑用的时候，就直接拖入里面即可。
5
/5
打包成dmg文件，把新建立的文件夹拖入keka主界面即可打包成一个标准的dmg文件。

③ 如何从网站或者软件中抓取数据

这个需求有点泛，是想要工具还是代码技术实现。
如是想要采集网页上公开的信息的工具，推荐使用简数采集。
简数采集操作简便，智能化识别列表页、内容页、翻页，轻松方便的发布到wordpress、zblog、dede等主流的cms系统。

④ fiddler怎么抓取app数据包怎么用

Fiddler基本原理

Fiddler数据包的原理是Fiddler将自己设置为一个代理服务器，默认监听127.0.0.1：8888端口同时将浏览器的HTTP、HTTPS协议设置为使用代理服务器也就是使用自己作为浏览器的代理服务器；

打开Fiddler后Fiddler自动为你设置的HTTP代理：

抓取Andriod与IOS数据包的原理也是一样，在Andriod上设置Http代理为Fiddler代理服务器；

Fiddler初步使用

安装Fiddler，这里使用的是v4.6.1.5版本；
设置Fiddler：Tools菜单下Fiddler Options选项，选择Connections，勾选Allow romte computers to connect；

该设置是指Fiddler允许远程电脑连接，设置好后重启Fiddler；
在命令行下使用ipconfig查看本机地址，如：192.168.1.104；

注意Andriod与IOS设备必须与PC在一个局域网中；

Andriod设置

设置->WLAN，找到当前正在使用的Wifi，长按该连接，弹出选项后选择 “修改网络” ，然后勾选实现高级选项
在代理选择框中选手动，在代理服务器主机名中填入刚刚在电脑上看到的地址：192.168.1.104，端口填8888，然后点击保存；

IOS设置

这里使用的是IOS 9，点击设置图标，选择无线局域网，找到当前连接的wifi点击后面的！号图标，在HTTP代理中选择手动，
服务器地址填，电脑的地址：192.168.1.104，端口填8888，然后即可，IOS中设置好后自动保存；

证书安装

由于有些App有使用了HTTPS证书，所以在Andriod、IOS上没有安装Fiddler证书就可以回出现App无法使用的情况；

安装证书，在浏览器中输入：192.168.1.104:8888（你电脑的IP地址），点击FiddlerRoot certificate，然后安装证书；
设置好后就可以在电脑上使用Fiddler对Andriod或IOS上的App进行抓包

⑤ 电脑怎么抓取手机app的数据包

使用fiddler，Charles都是不错的抓包工具

⑥ App中的数据可以用网络爬虫抓取么

可以，你可以用抓包，然后通过代理ip的方式，让你的手机和电脑处在一个网络，然后通过发送请求的方式去获取

⑦ 方便好用的抓取数据的工具有哪些

方便好用的抓取数据的工具有：八爪鱼、火车头、近探中国。

1、八爪鱼采集器八爪鱼是基于运营商在网实名制真实数据是整合了网页数据采集、移动互联网数据及API接口服务等服务为一体的数据服务平台。它最大的特色就是无需懂得网络爬虫技术，就能轻松完成采集。

2、火车头采集器火车采集器是目前使用人数较多的互联网数据采集软件。它凭借灵活的配置与强大的性能领先国内同类产品，并赢得众多用户的一致认可。使用火车头采集器几乎可以采集所有网页。

3、近探中国近探中国的数据服务平台里面有很多开发者上传的采集工具还有很多是免费的。不管是采集境内外网站、行业网站、政府网站、app、微博、搜索引擎、公众号、小程序等的数据还是其他数据，近探都可以完成采集还可以定制这是他们的一最大的亮点。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

⑧ 如何使用Burpsuite抓取手机APP的HTTPS数据

1.所需条件
· 手机已经获取root权限
· 手机已经成功安装xposed框架
· 电脑一台
2.详细步骤
2.1 在手机上面安装xposed JustTrustMe
JustTrustMe是一个去掉https证书校验的xposed hook插件，去掉之后就可以抓取做了证书校验的app的数据包。JustTrustMe在github的地址位： https://github.com/Fuzion24/JustTrustMe
安装好模块之后勾选JustTrustMe模块，然后重启手机

2.2 配置burpsuite
打开burpsuite，切换到Proxy，然后切换到下面的Options选项，然后点击add，然后配置好端口，ip选择本机的ip地址，然后点击ok添加

将running框勾选上

2.3 导入burpsuite证书
在电脑端使用Firefox浏览器访问设置的代理ip:端口，下载burpsuite证书，比如我上面的ip为192.168.1.105，端口为8080，就访问http://192.168.1.105:8080/然后去下载证书

点击CA certificate下载burpsuite的证书，保存证书文件

进入Firefox的设置里面，选择高级，然后选择证书，点击查看证书

然后选择服务器，点击导入，导入刚刚下载的cacert.der证书，导入之后会多一个PortSwigger的证书，选中它，然后点击导出,选择X.509证书，然后重新命名导出,这里之所以要这样导出证书，是因为手机上面识别不了burpsuite默认导出的证书格式，要转换一下。

导出之后，将证书放到手机的sd卡中，然后进入手机设置，安全，从sd卡安装，然后选择放到手机的证书文件，如果手机没有设置锁屏密码，这里会要求设置手机锁屏密码。不同的手机导入略微有些不同，但是都是在设置，安全设置里面去导入证书。

点击从sd卡安装就可以选择sd卡中的证书文件，然后安装了。
2.4 在手机上配置代理服务器
进入手机设置，WLAN，将手机和wifi连接到同一个路由器上面，然后设置wifi，有些手机是长按当前连接的wifi进行设置，有些是点击向右的箭头进行设置，这里两中都说一下
第一种：
进入设置，点击wlan，然后长按当前连接的wifi，选择修改网络，滑到最下面，勾选显示高级选项，然后选择代理设置为手动代理服务器主机名字填电脑ip，端口填你刚刚设置的端口。然后确定，就设置成功了。

第二种：
进入设置，wlan，点击当前连接的wifi最右边的向右详情图标，打开编辑当前连接的wifi，然后将代理设置选择为手动，主机名填电脑ip地址，端口填刚刚在burpsuite里面设置的地址，然后点击确定保存，就设置成功了。

设置好之后便可以抓取https的数据包了，带证书校验的也可以正常抓取，如果不装JustTrusMe插件，就不能抓带证书校验的app的https数据包。

使用burpsuite抓取https的教程到这里就结束了。

⑨ 请问安卓有没有什么软件可以抓取APP 的页面数据

抓取美团商家菜单数据不是app的范畴，而属于后台的范畴，应该针对后台接口进行抓取或者针对美团的网页进行分析。一般使用python

⑩ 如何通过程序抓取手机app的内容

如果用前嗅的ForeSpider数据采集软件就可以的。但是需要知道app的协议是什么。需要定制。
实时更新也是可以做到的，软件支持定时采集、一定间隔时间采集，设置好间隔时间，就相当于是在实时更新了。
ForeSpider直接连接数据库，数据入库有多种策略，而且入库前会有两次自动排重，以保证只插入更新后的数据。
官网上有免费版可以下载，不限制功能。