如何从互联网上采集股票数据

㈠ 大数据采集方法有哪些 流程是怎样的

数据采集是所有数据系统必不可少的，大数据的采集方法有离线采集、实时采集、互联网采集和其他数据采集方法。

大数据的采集方法是什么

1、离线采集：

工具：ETL。在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取唤蔽、转换(Transform)和加载。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。

2、实时采集：

工具：Flume/Kafka。实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作正链漏活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。

这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求

3、互联网采集：

工具：Crawler，DPI等。Scribe是Facebook开发的数据（日志）收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。

大数据采集的流程是什么

大数据数据采集处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析等环节，数据质量贯穿于整个大数据流程，非常的关键。每一个数据处理环节都会对大数据质量产生影响作用。下面就来说一下大数据数据采集的流程及处理方法。

大数据数据采集在数据收集过程中，数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。

数据预处理大数据采集过程中通常有一个或多个数据源，这些数举烂据源包括同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、数据值缺失、数据冲突等影响，因此需首先对收集到的大数据集合进行预处理，以保证大数据分析与预测结果的准确性与价值性。

㈡ 如何获取实时的股票行情信息，有相关的公用接口或者数据源吗

实时股票数据接口

股票数据的获取目前有如下两种方法可以获取:
1.
http/javascript接口取数据
2.
web-service接口
1.http/javascript接口取数据
1.1Sina股票数据接口
以大秦铁路（股票代码：601006）为例，如果要获取它的最新行情，只需访问新浪的股票数据
接口：
http://hq.sinajs.cn/list=sh601006
这个url会返回一串文本，例如：
var
hq_str_sh601006="大秦铁路, 27.55, 27.25, 26.91, 27.55, 26.20, 26.91,
26.92,
22114263, 589824680, 4695, 26.91, 57590, 26.90, 14700,
26.89, 14300,
26.88, 15100, 26.87, 3100, 26.92, 8900, 26.93,
14230, 26.94, 25150, 26.95, 15220, 26.96, 2008-01-11,
15:05:32";
这个字符串由许多数据拼接在一起，不同含义的数据用逗号隔开了，按照程序员的思路，顺序号从0开始。
0：”大秦铁路”，股票名字；
1：”27.55″，今日开盘价；
2：”27.25″，昨日收盘价；
3：”26.91″，当前价格；
4：”27.55″，今日最高价；
5：”26.20″，今日最低价；
6：”26.91″，竞买价，即“买一”报价；
7：”26.92″，竞卖价，即“卖一”报价；
8：”22114263″，成交的股票数，由于股票交易以一百股为基本单位，所以在使用时，通常把该值除以一百；
9：”589824680″，成交金额，单位为“元”，为了一目了然，通常以“万元”为成交金额的单位，所以通常把该值除以一万；
10：”4695″，“买一”申请4695股，即47手；
11：”26.91″，“买一”报价；
12：”57590″，“买二”
13：”26.90″，“买二”
14：”14700″，“买三”
15：”26.89″，“买三”
16：”14300″，“买四”
17：”26.88″，“买四”
18：”15100″，“买五”
19：”26.87″，“买五”
20：”3100″，“卖一”申报3100股，即31手；
21：”26.92″，“卖一”报价
(22,
23), (24, 25), (26,27), (28,
29)分别为“卖二”至“卖四的情况”
30：”2008-01-11″，日期；
31：”15:05:32″，时间；
一个简单的JavaScript应用例子:
script
type="text/javascript" src="http://hq.sinajs.cn/list=sh601006"
charset="gb2312">/script>
/javascript">
var
elements=hq_str_sh601006.split(",");
document.write("current
price:"+elements[3]);
这段代码输出大秦铁路（股票代码：601006）的当前股价
current
price:14.20
如果你要同时查询多个股票，那么在URL最后加上一个逗号，再加上股票代码就可以了；比如你要一次查询大秦铁路（601006）和大同煤业（601001）的行情，就这样使用URL：
http://hq.sinajs.cn/list=sh601003,sh601001
查询大盘指数，比如查询上证综合指数（000001）：
http://hq.sinajs.cn/list=s_sh000001
服务器返回的数据为：
var
hq_str_s_sh000001="上证指数,3094.668,-128.073,-3.97,436653,5458126";
数据含义分别为：指数名称，当前点数，当前价格，涨跌率，成交量（手），成交额（万元）；
查询深圳成指数：
http://hq.sinajs.cn/list=s_sz399001
对于股票的K线图，日线图等的获取可以通过请求http://image.sinajs.cn/…./…/*.gif此URL获取，其中*代表股票代码，详见如下：
查看日K线图：
http://image.sinajs.cn/newchart/daily/n/sh601006.gif

分时线的查询：
http://image.sinajs.cn/newchart/min/n/sh000001.gif

日K线查询：
http://image.sinajs.cn/newchart/daily/n/sh000001.gif

周K线查询：
http://image.sinajs.cn/newchart/weekly/n/sh000001.gif

月K线查询：
http://image.sinajs.cn/newchart/monthly/n/sh000001.gif

1.2
Bai&Google的财经数据
在,
google中搜索某只股票代码时，将会在头条显示此股票的相关信息，例如在google搜索601006时，
第一条搜索结果如下图：
通过点击左边的图片我们发现会将此图片链接到sina财经频道上，也就是说google股票数据的获取也是从sina获取。后经抓包分析，发现google也是采用1.1中介绍的接口。
Bai的股票数据来自的财经频道
http://stock..com/
1.3
其他方式
除了sina，等网站提供股票信息外，其他网站也有类似的接口。我们分析了一款论坛上采用的股票插件，
其中有关于实时股票数据获取的介绍，详见如下代码，其中可以看到有些数据来自sina。
以下是ASP示例:
=5
then
stockdata=gethttp("http://hq.sinajs.cn/list=sh"&code&"")
if
not len(stockdata)=0 then
stockdata=split(stockdata,chr(34))(1)
end if
if
len(stockdata)=0
then
stockdata="0,0,0,0,0,0,0,0,0,0,0,0"
else
stockdatasplit=split(stockdata,",")
stockdata=""&exstock.checkstr(stockdatasplit(0))&","&stockdatasplit(1)&","&stockdatasplit(2)&","&stockdatasplit(3)&","&stockdatasplit(4)&","&stockdatasplit(5)&","&formatdatetime(""&stockdatasplit(30)&"
"&stockdatasplit(31)&"",0)&""
end
if
‘0=股票名称,1=开盘价格,2=昨收盘价格,3=当前价格,4=最高价,5=最低价,6=更新时间
getstockdata=stockdata
end
function
function getstockimg(code)
dim
rndnum,addnum,checkcode,imgsource
if len(code)=5
then
getstockimg="http://image.sinajs.cn/newchart/daily/n/sh"&code&".gif"
end
if
imgsource="http://finance.sina.com.cn"
case
3
getstockimg="http://hq.gazxfe.com/stockchart/realline.chart?"&code&"&1003&SZ
500 330"
imgsource="http://hq.gazxfe.com"
case
4
getstockimg="http://chartse.stockstar.com/chartserver?code="&code&""
imgsource="http://www.stockstar.com/"
end
select
getstockimg=split(""&getstockimg&"||"&imgsource&"","||")
end
function
function getastockimg()
dim
rndnum,addnum,checkcode
dim
getastockimgb,imgsource
addnum=6
randomize:rndnum=cint(rnd*addnum)
select
case rndnum
case
0
getastockimg="http://202.109.106.1/gifchartse/gif/000001.gif"
getastockimgb="http://202.109.106.1/gifchartse/gif/399001.gif"
imgsource="http://www.stockstar.com/"
case
1
getastockimg="http://money.163.com/special/100.gif?C39"
getastockimgb="http://money.163.com/special/101.gif?HrS"
imgsource="http://www.163.com"
case
2
getastockimg="http://www.10jqka.com.cn/curve/realtime/index2.php?code=1a0001&w=180&h=140"
getastockimgb="http://www.10jqka.com.cn/curve/realtime/index2.php?code=399001&w=180&h=140"
imgsource="http://www.10jqka.com.cn"
case
3
getastockimg="http://chart.cnlist.com/stockchart/realline.chart?1a0001&1002&SZ
180
140"
getastockimgb="http://chart.cnlist.com/stockchart/realline.chart?399001&1002&SZ
180
140"
imgsource="http://chart.cnlist.com/"
case
4
getastockimg="http://image.sinajs.cn/newchart/small/ish000001.gif?1189176558328"
getastockimgb="http://image.sinajs.cn/newchart/small/isz399001.gif?1189176558328"
imgsource="http://www.sinajs.cn"
case
5
getastockimg="http://218.1.72.66/cgi/pic/sh/realtime/JA000001164143.png"
getastockimgb="http://218.1.72.66/cgi/pic/sz/realtime/JA399001164143.png"
imgsource="http://www.cnstock.com/"
case
6
getastockimg="http://222.73.29.85/img/000001.png"
getastockimgb="http://222.73.29.85/img/399001.png"
imgsource="http://www.eastmoney.com/"
end
select
getastockimg=split(""&getastockimg&"||"&getastockimgb&"||"&imgsource&"","||")
end
function
%>
2.
web-service接口
2.1 CHINAstock的web-service：
http://www.webxml.com.cn/WebServices/ChinaStockWebService.asmx
中国股票行情数据
WEB 服务（支持深圳和上海股市的全部基金、债券和股票），数据即时更新。输出GIF分时走势图、日/周/月 K
线图、及时行情数据（股票名称、行情时间、最新价、昨收盘、今开盘、涨跌额、最低、最高、涨跌幅、成交量、成交额、竞买价、竞卖价、委比、买一 - 买五、卖一 -
卖五）。此WEB服务提供了如下几个接口：
2.1.1
getStockImageByCode
GET
股票GIF分时走势图
INput：theStockCode =
股票代号，如：sh000001
POST /WebServices/ChinaStockWebService.asmx
HTTP/1.1
Host: www.webxml.com.cn
Content-Type:
text/xml; charset=utf-8
Content-Length:
length
SOAPAction:
"http://WebXml.com.cn/getStockImageByCode"

string

Output：
2.1.2
getStockImageByteByCode
获得中国股票GIF分时走势图字节数组
INput：theStockCode
= 股票代号，如：sh000001
POST /WebServices/ChinaStockWebService.asmx
HTTP/1.1Host: www.webxml.com.cnContent-Type: text/xml;
charset=utf-8Content-Length: lengthSOAPAction:
"http://WebXml.com.cn/getStockImageByteByCode"
string
返回的数据如下：
hkMyt4m4VkJtstbv8A
2.1.3
getStockImage_kByCode
直接获得中国股票GIF日/周/月 K
线图（545*300pixel/72dpi）
INPUT: theStockCode =
股票代号
theType = K 线图类型（D：日[默认]、W：周、M：月），
POST
/WebServices/ChinaStockWebService.asmx HTTP/1.1Host:
www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length:
lengthSOAPAction: "http://WebXml.com.cn/getStockImage_kByCode" string
string
比如按照下图所示输入：
返回的结果就是周K线图：
2.1.4
getStockImage_kByteByCode
获得中国股票GIF日/周/月 K
线图字节数组
Input：theStockCode = 股票代号，如：sh000001
POST
/WebServices/ChinaStockWebService.asmx HTTP/1.1Host:
www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length:
lengthSOAPAction: "http://WebXml.com.cn/getStockImage_kByteByCode" string string
HTTP/1.1 200 OKContent-Type: text/xml; charset=utf-8Content-Length: length
base64Binary
比如按照下图输入：
返回的结果就是周K线图字节数组
hkMyt4m4VkJtstbv8A
2.1.5
getStockInfoByCode
获得中国股票及时行情
input：theStockCode
= 股票代号
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1Host:
www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length:
lengthSOAPAction: "http://WebXml.com.cn/getStockInfoByCode"
string
返回的值一个一维字符串数组
String(24)，结构为：String(0)股票代号、String(1)股票名称、String(2)行情时间、String(3)最新价（元）、String(4)昨收盘（元）、String(5)今开盘（元）、String(6)涨跌额（元）、String(7)最低（元）、String(8)最高（元）、String(9)涨跌幅（%）、String(10)成交量（手）、String(11)成交额（万元）、String(12)竞买价（元）、String(13)竞卖价（元）、String(14)委比（%）、String(15)-String(19)买一
- 买五（元）/手、String(20)-String(24)卖一 - 卖五（元）/手。
Web
service的方法类似于现在concurrent项目的DBWS数据的获取，都是通过SOAP协议向DBWS服务器获取相关的数据。
利用雅虎查中国股票
http://quote.yahoo.com/d/quotes.csv?s=MSFT&f=slc1wop
返回微软的股票价格
"MSFT","4:00pm
- 30.70",+1.04,"21.46 -
30.75",29.77,29.66
http://quote.yahoo.com/d/quotes.csv?s=000969.SZ&f=slc1wop
这个返回安泰科技的，一般有半个小时的延迟。
但是s=000969.sz
这个后面的sz是深圳的意思, 沪市是SS后缀

㈢ 如何使用 Yahoo，Finance stock API 获取股票数据

有三种方法获得数据，具体如下：

1、通过API获取实时数据

请求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名称>&f=<数据列选项>

具体参数：

s – 表示股票名称，多个股票之间使用英文“+”分隔如：”XOM+BBDb.TO+MSFT”，表示三个公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回数据列，如”snd1l1yr”。更详细的参见雅虎股票 API f 参数对照表。

2、通过API获取历史数据

请求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具体参数：

s – 股票名称

a – 起始时间，月

b – 起始时间，日

c – 起始时间，年

d – 结束时间，月

e – 结束时间，日

f – 结束时间，年

g – 时间周期。

例如: g=w, 表示周期是“周"。d表示“日”(day)，w表示“周”(week)，m表示“月”(mouth)，一定注意月份参数，其值比真实数据少1。如需要9月数据，则写为08。

3、通过API获取深沪股票数据

雅虎的API是国际性的，支持查询国内沪深股市的数据，但代码稍微变动一下，如浦发银行的代号是：600000.SS。规则是：上海市场末尾加.SS，深圳市场末尾加.SZ。

㈣ 想要金融类数据，应该如何收集

金融大数据平台的搭建和应用是两个部分，对于金融大数据平台来说，这两个部分都很重要。

所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。

一、大数据平台

大数据平台的整体架构可以由以下几个部分组成：

1.一个客户

客户主题：客户属性（客户编号、客户类别）、指标（资产总额、持有产品、交易笔数、交易金额、RFM）、签约（渠道签约、业务签约）组成宽表

2.做了一笔交易

交易主题：交易金融属性、业务类别、支付通道组成宽表。

3.使用哪个账户

账户主题：账户属性（所属客户、开户日期、所属分行、产品、利率、成本）组成宽表

4.通过什么渠道

渠道主题：渠道属性、维度、限额组成宽表

5.涉及哪类业务&产品

产品主题：产品属性、维度、指标组成宽表

㈤ java 如何实现 获取实时股票数据

一般有三种方式：

1. 网页爬虫。采用爬虫去爬取目标网页的股票数据，去GitHub或技术论坛（如CSDN、51CTO）上找一下别人写的爬虫集成到项目中。

2. 请求第三方API。会有专门的公司（例如网络API市场）提供股票数据，你只需要去购买他们的服务，使用他们提供的SDK，仿照demo开发实现即可。如下图所示：

㈥ 开发炒股软件，从哪里获得股票数据

行情数据源在上交所和深交所。需要购买。而且很贵。

象我们平常看到行情，是券商营业部所买，我们连到他们服务器，而接收到数据。

P2P数据接口使用说明(1)2009-03-18 08:58接口使用说明:
1. 压缩包包含四个文件，分别为P2P.exe，P2P.CFG，zlib.dll和使用说明.txt，可以解压到任意盘任意目录下使用。
2. 支持的行情分析软件有:
(1) 分析家2006，2005等，要求分析家主窗口标题最前面的几个字是"分析家 -"，是否是破解版关系不大，最好是下载分析家官方网站的正版分析家，网址是http://www.fxj.com.cn，分析家其他版本号是否支持，我也没全做试验。
(2) 飞狐交易师，支持飞狐交易师，要求飞狐交易师主窗口标题最前面的几个字是"飞狐交易师"或"证券分析师"，是否是破解版关系不大，最好是支持正版，用正版的。
(3) 大智慧新一代，要求大智慧主窗口标题最前面的几个字是"大智慧Level" 支持的版本号有 09.0226，08.0907，08.0801，07.0205 共四个。
注：如果分析软件的窗口标题不符合上面说的，则分析软件无法接收数据。以上三个分析软件最好都是正版的，只要下载正版的软件，安装后，无需做任何修改即可使用。接口再次说明一下，接口中的四个文件解压到任意目录下使用都可以，而无需解压到某个分析软件的某个目录下，或替代某个分析软件的某个文件。接口完全是绿色的，无需安装，也不会在注册表中留下任何信息。
3. 每天9:15分以后用行情软件中的数据管理功能先清除当天的行情数据，然后把右下角“发送数据”发送数据前面的钩选上。
4. 如果不能在开盘前打开该软件，比如10点半才打开，那么该接口会自动补充10点半之前的行情数据，为了能够尽快的把前面的数据补充完毕，请把速度调节到100以上。但如果是飞狐，则把该值调低一些，否则飞狐会来不及处理数据，把大量的数据放到内存中，造成飞狐使用内存越来越大，最后由于内存耗完造成飞狐或接口非法退出。大智慧和分析家则不存在这个问题。
5. 收盘后，该接口具有白天行情的回放功能，回放前，最好先清除行情软件中当天的行情数据。
6. 该接口由于是P2P接收数据，因此数据接收需要种子，只有和别的种子连上了，你就能接收数据了，你至少要和一个种子连上，当然，你连上别的种子后，你也就能称为种子了，你也就能为别的人提供数据服务功能了。
7. 两个人要连接成功，最好两个人中有一个人的IP地址是公网地址，如果两个全是内网地址则相互无法直接联通，必须借助第三方才能联通，该方法这里不再介绍了。
8. 如果网络情况比较良好，则行情数据的延时一般不会大于0.5秒。
9. 接口的P2P连接信息中的字段说明
(1). 远程完成--为该IP接收到完整数据包的个数。
(2). 远程请求--为该IP请求你发送的数据包序号。
(3). 本机请求--为本机请求远程发送数据包序号。
(4). 请求返回--远程响应本机请求的次数。

㈦ 如何接收详细的实时股票交易数据

接收详细的实时股票交易数据的方法：
1，通过webservice调用http://www.webxml.com.cn/zh_cn/web_services.aspx，该网站提供了免费的和收费的服务，
2，调用sina专门的js服务器来解析数据，
3，行情数据不是来自证券公司，而是来自交易所。

4，股民无权自己接收，证券公司更没有，可以去交易所网站看看，行情数据是提供给相关运营商的，例如通达信等等。
附：
证券交易所是依据国家有关法律，经政府证券主管机关批准设立的集中进行证券交易的有形场所。在我国有四个:上海证券交易所和深圳证券交易所，香港交易所，台湾证券交易所。

㈧ 如何利用一些 finance 数据库 api 批量获取股票信息

使用Yahoo API获取股票信息。