1. 有哪些不错的爬虫软件是可以免费爬取网页数据的
这里介绍2个不错的爬虫软件—Excel和八爪鱼，对于规整的静态网页来说，使用Excel就可以爬取，稍微复杂一些的网页，可以使用八爪鱼来爬取，下面我简单介绍一下这2个软件，主要内容如下：
Excel
Excel大部分人都应该使用过，除了日常的数据统计处理外，也可以爬取网页数据，下面我简单介绍一下爬取过程，主要步骤如下，这里以爬取PM2.5数据为例：
1.首先，新建一个Excel文件并打开，依次点击菜单栏的“数据”->“自网站”，如下：
2.接着，在弹出的“新建Web查询”对话框中输入需要爬取的网址，点击“转到”，就会加载出我们需要爬取的网页，如下：
3.然后，点击右下角的“导入”按钮，选择需要存放数据的工作表或新建工作表，点击“确定”按钮，就会自动导入数据，成功导入后的数据如下：
4.这里如果你需要定时刷新数据，可以点击菜单栏的“属性”，在弹出的对话框中设置刷新频率，就可定时刷新数据，如下：
八爪鱼
这是一个专门用于采集数据的爬虫软件，简单好学，容易掌握，只需要设置一下页面要爬取的元素，就可以自动爬取数据，并且可以保存为Excel或导出数据库，下面我简单介绍一下这个软件的安装和使用：
1.下载安装八爪鱼，这个直接到官网上下载就行，如下，直接点击下载安装就行：
2.安装完成后，打开这个软件，枯握在主页面中点击“自定义采集”，如下：
3.接着在任务页面中输入需要爬取的网页地址，如下，这里以爬取大众点评数据为例:
4.点击“保存网址”，就能自动打开网页，如下：
5.接着，我们就可以直接选取需消卜要爬取的标签数据，如下，按着操作提示一步一步往下走就行，很简单：
6.设置完成后，直接点击“启动本地采集”，就能自动开始爬取数据，成功爬取后的数据如下，就是我们刚才设置的标签数据：
7.这里点击“导出数据”，可以将爬取的数据导出为你需要的格式，如下，可以是Excel、CSV、数据库等：
至此，我们就完成了利用Excel和八爪鱼来爬取网页数据。总的来说，这2个软件使用起来都非常简单，只要你熟悉一下相关操作，很快就能掌握的，当然，你也可以使用其他爬虫软件，像火车头等，基本功能和八爪鱼差不多，网上也有相关资没桥庆料和教程，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。
2. 如何爬取网页数据
1、URL管旁带理
首先url管理器添加了新的url到待爬取集合中，判断了待添加的url是否在容器中、是否有待爬取的url，并且获取待爬取的url，将url从待爬取的url集合移动到已爬取的url集合
页面下载，下载器将接收到的url传给互联网，互联网返回html文件给下载器，下载器将其保存到本地，一般的会对下载器做分布式部署，一个是提交效率，再一个是起到请求代理作用
2、内容提取
页面解析器主要完成的是从获取的html网页字符串中取得有价值的感兴趣的数据和新的url列表。数据抽取比较常用的手段有基于css选择器、正则表达式、xpath的规则提取。一般提取完后还会对数据进行一定的清洗或自定义处理，从而将请求到的非结构数据转化为我们需要的结构化数据。
3、数据保存
数据保存到相关的数据库、队列、文件等方便做数据橘启岁计算和与应用对接。
爬虫采集成为很多公司企业个人的需求，但正因为如此，反爬虫的技术也层出不穷，像时间限制、IP限制、验证码限制等等圆睁，都可能会导致爬虫无法进行，所以也出现了很多像代理IP、时间限制调整这样的方法去解决反爬虫限制，当然具体的操作方法需要你针对性的去研究。兔子动态IP软件可以实现一键IP自动切换，千万IP库存，自动去重，支持电脑、手机多端使用。
3. 怎么爬取网页上的表格数据，导入到office的Excel或者Word文档中呢
关于怎么爬取网上的信息，有时候我们经常在网页上看到很多表格数据，有些不能直接复制粘贴到文档或者Excel表格中，有些能复制但是格式会发生很多错乱，要是信息量大的话，修改格式都是一项大工程了。
举个例子，之前有同学在网上看到一个表格数据：
要是我们直接复制很难把表格格式也复制进去，尤其对于一些每天都在变化的数据，也不能同步更新数据。
所以我们可以把网页的数据用Excel表格， 导入网页的链接实现表格数据爬取，同步自动更新表格数据
首先我们需要复制表格数据所在网页的链接
然后打开Excel表格。
注意：Excel表格需要2016以上的版本才可以。
然后把我们刚才复制好的数据所在网页链接粘贴进去，按确定
稍等片刻，就会自动获取网页所有表格数据，我们找到我们需要获取的数据表格，然后点击加载进Excel表格中。
加载到Excel表格中后，我们可以对外部数据进行编辑等其他参数调整
因为是直接获取外部的链接数据，所以要是外部数据变化，我们也可以设置自定数据更新。
在表格属性设计中找到刷新选项的查看链接属性，然后可以自定义设置一些自动更新时间。
如下动态图演示：
同时我们可以直接复制进Word文档中，选择性粘贴保留原格式，那么也可以跟Excel和网页数据实现同步更新了
4. 如何使用Excel完成网站上的数据爬取
注意：本章节主要讲解数据获取部分
将网页中展示的数据爬取到可以编辑的文本工具中从而实现批量操作。在具体的爬取过程中，经常使用的根据有Excel和Python。
该板块由三个模块组成：
在爬虫过程中，最为常用的浏览器为谷歌浏览器和火狐浏览器。
实操步骤：
1.获取浏览器标识
以谷歌浏览器为例：
打开浏览器输入目标网站后，右键点击检查（快捷键Ctrl+Shift+I(注：不是L,是I)），在检查页面中点击Network后重新加载页面，在检查Network页面中单击第一个网页信息：index.html。在右边出现的窗口Headers中，将页面拉至底部可查找到浏览器标识UserAgent，复制UserAgent信息即可。
2.设置响应时间（位置用户浏览）
新建Excel并打开，点击自网站，在弹出的窗口中选择高级选项，将我们需要爬取的目标网址信息粘贴到Url位置处，同时在响应时间栏中设置1分钟的响应时间，
3.设置浏览器标识
在HTTP请求标头参数中下拉选择UserAgent，粘贴浏览器的UserAgent信息。
4.将数据载入到Power Query中进行预处理，建立网页链接后，选择数据Table0，选择编辑进入Power Query中进行数据预处理。处理完数据后，依照惯例，制作可视化地图。
5. 如何用python爬取网站数据
这里简单介绍一下吧，以抓取网站静态、动态2种数据为慧返拍例，实验环境win10+python3.6+pycharm5.0，主要内容如下：
抓取网站静态数据（数据在网页源码中）：以糗事网络网站数据为例
1.这里假设我们抓取的数据如下，主要包括用户昵称、内容、好笑数和评论数这4个字段，如下：
对应的网页源码如下，包含我们所需要的数据：
2.对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面：
程序运行截图如下，已经成功爬取到数据：
抓取网站动态数据（数据不在网页源码中，json等文件中）：以人人贷网站数据为例
1.这里假设我们爬取的是债券数据，主要包括年利率世型、借款标题、期限、金额和进度这5个字段信息，截图如下：
打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下：
2.获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包（解析json），主要内容如下：
程序运行截图如下，前羡已经成功抓取到数据：
至此，这里就介绍完了这2种数据的抓取，包括静态数据和动态数据。总的来说，这2个示例不难，都是入门级别的爬虫，网页结构也比较简单，最重要的还是要会进行抓包分析，对页面进行分析提取，后期熟悉后，可以借助scrapy这个框架进行数据的爬取，可以更方便一些，效率更高，当然，如果爬取的页面比较复杂，像验证码、加密等，这时候就需要认真分析了，网上也有一些教程可供参考，感兴趣的可以搜一下，希望以上分享的内容能对你有所帮助吧。