如何抓取网页上的数据

A. 用excel怎么抓取网页数据，网页上面的数据每一秒都在变化，我试了抓取不到，怎么办，谢谢啦帮帮我

Excel只能从网页获取表格，一般数据无法抓取。抓取网页局部内容可以用MutouBrowser浏览器，抓取后亦可保存到Excel中。

B. 如何翻页抓取网页数据

我们在抓取数据时，通常不会只抓取网页当前页面的数据，往往都会继续抓取翻页后的数据。本文就为大家介绍，集搜客GooSeeker网络爬虫如何在进行数据抓取时，自动抓取翻页后的数据。

在MS谋数台的爬虫路线工作台有三种线索方式可以实现自动抓取翻页后的数据，分别是定点线索、记号线索、相对线索。本文主要介绍比较常用的记号线索。

一、完成抓取内容映射

理箱中创建抓取内容，并完成映射。

具体操作步骤如下：

在整理箱中创建抓取内容，并完成映射，选择网页上要抓取的内容映射到整理箱后，跳转到爬虫路线工作台设置翻页线索。

做完抓取内容基本操作后，为了抓取网页上所有相同产品的数据本规则还使用了样例复制管理功能

二、创建翻页线索

• 在爬虫路线工作台新建一条记号线索

具体操作步骤如下：

跳转到爬虫路线工作台。

点击新建，创建一条线索。

选择线索类型，设置翻页线索时通常选择记号线索，本文主要介绍的就是记号线索。

勾选连贯抓取，表示在执行抓取任务时，爬虫可以在同一个DS打数机窗口内抓取完当前页面后直接跳转到下一个页面进行抓取。

勾选连贯抓取后，目标主题名自动填写当前规则主题名，在本规则内不应修改，表示翻页后继续使用当前规则进行抓取。

• 选择线索定位选项

具体操作步骤如下：

在爬虫路线工作台中点击定位选项。

线索定位选择偏好class。

网页结构中的@id属性每个页面不同的几率较大，如果线索定位偏好@id，容易导致在后续的抓取中翻页失败。所以一般我们手工修改选择较为稳定不变的@class属性，作为线索定位的首选项。

• 定位翻页标志，并在网页结构中找到对应节点

具体操作步骤如下：

1.在网页上点击翻页标志“下一页”，会弹出该信息的定位提示框，通常是定位到模块节点（即包含多个下层节点，可双击展开，例如A节点）
2.展开A节点，找到“下一页”对应text节点（text节点即为文本节点）
3.点击对应text节点会在显示工作台中显示。
在网页结构窗口中找到，对应节点后，即开始进行线索映射。

• 线索映射——记号映射

具体操作步骤如下：

选择对应节点进行记号映射，右击对应的text节点，选择线索映射后点击记号映射，在可爬虫路线工作台记号值中看到“下一页”，记号定位编号显示“下一页”text在网页结构窗口中的对应编号。

• 线索映射——线索定位映射

在做完记号映射之后，要进行线索定位映射，就是选择包含记号标志的范围进行映射。

具体操作步骤如下：

1.选择线索定位区块，线索定位的区块一般是包含"下一页"翻页标志的区块节点，也就是网页上的翻页区块（在网页结构窗口中点击包含 “下一页”翻页标志的区块节点，会在浏览器窗口中显示）。
2.进行线索定位映射，右击翻页区块节点，选择线索映射→定位→线索1 。完成后定位编号会显示翻页区块节点的定位编号。
这样就完成了网站翻页规则的定义，可以使用DS打数机进行翻页数据抓取。

C. 如何用python抓取网页上的数据

使用内置的包来抓取，就是在模仿浏览器访问页面，再把页面的数据给解析出来，也可以看做是一次请求。

D. 请问如何把网站的数据抓取下来

可以借助采集器软件，即使不懂代码也能采集网页上的数据，然后导出excel

E. Excel怎么从提取网页数据

• 单击【数据】--【获取外部数据】--【自网站】，单击进入。

  

F. 如何提取网页中的内容

有用又简单的办法：
工具——Internet选项——安全——自定义级别——设置
找到脚本的设置，
即Java小程序脚本、活动脚本和允许通过脚本进行粘贴
设置三个脚本为禁用。（允许通过脚本进行粘贴脚本设置也可为启用）
确定后，刷新网页。一切OK
特别提醒：用完后一定记得要重新将三个脚本设置还原为
启用，要不网页显示会不正常。

G. vba如何抓取网页上的数据

代码：
Private Sub CommandButton1_Click()
Dim IE As Object
Dim i As Integer
i = 1
'打开网页：创建一个IE对象，然后给一些属性赋值。Visible是可见性，navigate是网页地址
Set IE = CreateObject('internetexplorer.application')
With IE
.Visible = True
.navigate 'http://hanyu.iciba.com/pinyin.html'
'等待网页完全加载
Do Until .ReadyState = 4
DoEvents
Loop
'拷贝汉字到网页文本框,然后点击转换按钮,并取出转换结果
Do While Sheets('sheet1').Cells(i 1, 1).Value <> ''
'从IE.Document.all句柄中把页面上要使用的节点找出来。这里的方法是：
.document.all('source').Value 给以source为ID的文本框赋值
.document.all.tags('img')(1).Click 点击图片集合里的第二张图片
.document.all('to').Value 取出以to为ID的文本框内容
.document.all('source').Value = Sheets('sheet1').Cells(i 1, 1).Value
.document.all.tags('img')(1).Click
Do Until .ReadyState = 4
DoEvents
Loop
Sheets('sheet1').Cells(i 1, 2).Value = .document.all('to').Value
i = i 1
Loop
'关闭网页
.quit
End With
End Sub
代码解释：(见注释)
贴士：
1)VBA只能操作IE浏览器，原因就一句话：都是微软家的产品嘛
2)要先引用Micorsoft Internet Controls

H. java 怎样获取一个网页的内容 要网页里面的表格数据 (通过源码不能直接获取数据)，请教

根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。
针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。

比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。

需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。

I. 如何从网站或者软件中抓取数据

这个需求有点泛，是想要工具还是代码技术实现。
如是想要采集网页上公开的信息的工具，推荐使用简数采集。
简数采集操作简便，智能化识别列表页、内容页、翻页，轻松方便的发布到wordpress、zblog、dede等主流的cms系统。

J. 如何抓取网页上的数据

具体说明是什么样的数据，如果只是需要页面资源（音乐、视频、图片等），可以用浏览器的嗅探功能获取。如果想要查看源码，可以用浏览器的“查看网页源代码/查看页面信息”功能获取。还可以用开发者工具调试网页。