如何从网页上抓取数据

⑴ 请问如何把网站的数据抓取下来

可以借助采集器软件，即使不懂代码也能采集网页上的数据，然后导出excel

⑵ 如何翻页抓取网页数据

我们在抓取数据时，通常不会只抓取网页当前页面的数据，往往都会继续抓取翻页后的数据。本文就为大家介绍，集搜客GooSeeker网络爬虫如何在进行数据抓取时，自动抓取翻页后的数据。

在MS谋数台的爬虫路线工作台有三种线索方式可以实现自动抓取翻页后的数据，分别是定点线索、记号线索、相对线索。本文主要介绍比较常用的记号线索。

一、完成抓取内容映射

理箱中创建抓取内容，并完成映射。

具体操作步骤如下：

在整理箱中创建抓取内容，并完成映射，选择网页上要抓取的内容映射到整理箱后，跳转到爬虫路线工作台设置翻页线索。

做完抓取内容基本操作后，为了抓取网页上所有相同产品的数据本规则还使用了样例复制管理功能

二、创建翻页线索

• 在爬虫路线工作台新建一条记号线索

具体操作步骤如下：

跳转到爬虫路线工作台。

点击新建，创建一条线索。

选择线索类型，设置翻页线索时通常选择记号线索，本文主要介绍的就是记号线索。

勾选连贯抓取，表示在执行抓取任务时，爬虫可以在同一个DS打数机窗口内抓取完当前页面后直接跳转到下一个页面进行抓取。

勾选连贯抓取后，目标主题名自动填写当前规则主题名，在本规则内不应修改，表示翻页后继续使用当前规则进行抓取。

• 选择线索定位选项

具体操作步骤如下：

在爬虫路线工作台中点击定位选项。

线索定位选择偏好class。

网页结构中的@id属性每个页面不同的几率较大，如果线索定位偏好@id，容易导致在后续的抓取中翻页失败。所以一般我们手工修改选择较为稳定不变的@class属性，作为线索定位的首选项。

• 定位翻页标志，并在网页结构中找到对应节点

具体操作步骤如下：

1.在网页上点击翻页标志“下一页”，会弹出该信息的定位提示框，通常是定位到模块节点（即包含多个下层节点，可双击展开，例如A节点）
2.展开A节点，找到“下一页”对应text节点（text节点即为文本节点）
3.点击对应text节点会在显示工作台中显示。
在网页结构窗口中找到，对应节点后，即开始进行线索映射。

• 线索映射——记号映射

具体操作步骤如下：

选择对应节点进行记号映射，右击对应的text节点，选择线索映射后点击记号映射，在可爬虫路线工作台记号值中看到“下一页”，记号定位编号显示“下一页”text在网页结构窗口中的对应编号。

• 线索映射——线索定位映射

在做完记号映射之后，要进行线索定位映射，就是选择包含记号标志的范围进行映射。

具体操作步骤如下：

1.选择线索定位区块，线索定位的区块一般是包含"下一页"翻页标志的区块节点，也就是网页上的翻页区块（在网页结构窗口中点击包含 “下一页”翻页标志的区块节点，会在浏览器窗口中显示）。
2.进行线索定位映射，右击翻页区块节点，选择线索映射→定位→线索1 。完成后定位编号会显示翻页区块节点的定位编号。
这样就完成了网站翻页规则的定义，可以使用DS打数机进行翻页数据抓取。

⑶ Excel怎么从提取网页数据

• 单击【数据】--【获取外部数据】--【自网站】，单击进入。

  

⑷ 如何用python抓取网页上的数据

使用内置的包来抓取，就是在模仿浏览器访问页面，再把页面的数据给解析出来，也可以看做是一次请求。

⑸ 怎么样从网络上获取所需要的数据

关于从网页上获取数据
网页上常包含适合在 Microsoft Excel 中进行分析的信息。例如，可以在 Excel 中使用直接从网页上获取的信息分析股票报价。根据需要，可以检索可刷新的数据（即可以借助网页上的最新信息在 Excel 中更新数据），或者可以从网页上获取数据并将其静态保存在工作表中。

1.使用 Web 查询获取可刷新的数据

借助 Web 查询，可以检索网页上的数据，如单个表格、多个表格或全部文本，然后利用 Excel 中的工具和功能对这些数据进行分析。只需单击一下按钮，即可方便地借助网页上的最新信息刷新数据。例如，可以从公共网页上检索和更新股票报价，或者从公司的网页上检索和更新销售信息表格。

Web 查询可检索网页上的数据并将其返回到 Excel 中进行分析。

2.复制和粘贴静态数据或可刷新的查询

可以使用熟悉的复制和粘贴命令将网页上的数据复制到 Excel 工作表。将网页上的数据粘贴到 Excel 中时，通过单击“粘贴选项” 可静态保存数据或者使其可以刷新。

3.从 Microsoft Office Web Components 中导出数据

在浏览器中，可以使用“导出到 Microsoft Excel”工具栏按钮从交互式电子表格和数据透视表列表中导出数据。有关详细信息，请参阅数据透视表列表或电子表格的“Microsoft Office Web Component 帮助”。

4.打开 HTML、MHTML 或 XML 文件

在 Excel 中，使用“文件”菜单上的“打开”命令可打开任意一个 HTML 文件、MTHML 文件或格式更完善的 XML 文件。

当打开一个 HTML 或 MHTML 文件时，将获得整个网页，但可能丢失一些格式、脚本、.gif 图像文件（只在 HTML 中）或单个单元格中的数据列表。

当打开一个 XML 文件时，可以选择应用一个还是多个引用样式表。

⑹ 如何从网站或者软件中抓取数据

这个需求有点泛，是想要工具还是代码技术实现。
如是想要采集网页上公开的信息的工具，推荐使用简数采集。
简数采集操作简便，智能化识别列表页、内容页、翻页，轻松方便的发布到wordpress、zblog、dede等主流的cms系统。

⑺ 如何抓取网站上的实时数据

1.找到网址 2.打开网页，查看源码 推荐用Notepad++ 不了解的去看： Notepad++的默认HTML查看器 3.找到源码中你所需要的外汇行情的数据 自己找，也只有你自己知道你要啥 4.分析其中的规则，比如对应的是在哪个div等等之内的 5.写正则表达式去提取对应的数据 如果不会写，可以参考前面已经提到的： 【教程】抓取网并提取网页中所需要的信息 之 Python版 对于复杂的内容的提取，不熟悉的话，可以贴出部分来，我再教你如何写正则去提取。 对于更加复杂的，则建议换用Pytho中的BeautifulSoup

⑻ 如何抓取网页上的数据

具体说明是什么样的数据，如果只是需要页面资源（音乐、视频、图片等），可以用浏览器的嗅探功能获取。如果想要查看源码，可以用浏览器的“查看网页源代码/查看页面信息”功能获取。还可以用开发者工具调试网页。

⑼ 怎么用VBA或网络爬虫程序抓取网站数据

VBA网抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。
优点：效率高，基本无兼容性问题。
缺点：需要借助如fiddler的工具来模拟http请求。
2、IE/webbrowser法：
创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。
优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。
缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。
3、QueryTables法：
因为它是excel自带，所以勉强也算是一种方法。其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。
优点：excel自带，可以通过录制宏得到代码，处理table很方便
。代码简短，适合快速获取一些存在于源代码的table里的数据。
缺点：无法模拟referer等发包头

也可以利用采集工具进行采集网页端的数据，无需写代码。

⑽ vba如何抓取网页上的数据

代码：
Private Sub CommandButton1_Click()
Dim IE As Object
Dim i As Integer
i = 1
'打开网页：创建一个IE对象，然后给一些属性赋值。Visible是可见性，navigate是网页地址
Set IE = CreateObject('internetexplorer.application')
With IE
.Visible = True
.navigate 'http://hanyu.iciba.com/pinyin.html'
'等待网页完全加载
Do Until .ReadyState = 4
DoEvents
Loop
'拷贝汉字到网页文本框,然后点击转换按钮,并取出转换结果
Do While Sheets('sheet1').Cells(i 1, 1).Value <> ''
'从IE.Document.all句柄中把页面上要使用的节点找出来。这里的方法是：
.document.all('source').Value 给以source为ID的文本框赋值
.document.all.tags('img')(1).Click 点击图片集合里的第二张图片
.document.all('to').Value 取出以to为ID的文本框内容
.document.all('source').Value = Sheets('sheet1').Cells(i 1, 1).Value
.document.all.tags('img')(1).Click
Do Until .ReadyState = 4
DoEvents
Loop
Sheets('sheet1').Cells(i 1, 2).Value = .document.all('to').Value
i = i 1
Loop
'关闭网页
.quit
End With
End Sub
代码解释：(见注释)
贴士：
1)VBA只能操作IE浏览器，原因就一句话：都是微软家的产品嘛
2)要先引用Micorsoft Internet Controls