如何從互聯網上採集股票數據

㈠ 大數據採集方法有哪些 流程是怎樣的

數據採集是所有數據系統必不可少的，大數據的採集方法有離線採集、實時採集、互聯網採集和其他數據採集方法。

大數據的採集方法是什麼

1、離線採集：

工具：ETL。在數據倉庫的語境下，ETL基本上就是數據採集的代表，包括數據的提取喚蔽、轉換(Transform)和載入。在轉換的過程中，需要針對具體的業務場景對數據進行治理，例如進行非法數據監測與過濾、格式轉換與數據規范化、數據替換、保證數據完整性等。

2、實時採集：

工具：Flume/Kafka。實時採集主要用在考慮流處理的業務場景，比如，用於記錄數據源的執行的各種操作正鏈漏活動，比如網路監控的流量管理、金融應用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據採集會成為Kafka的消費者，就像一個水壩一般將上游源源不斷的數據攔截住，然後根據業務場景做對應的處理（例如去重、去噪、中間計算等），之後再寫入到對應的數據存儲中。

這個過程類似傳統的ETL，但它是流式的處理方式，而非定時的批處理Job，些工具均採用分布式架構，能滿足每秒數百MB的日誌數據採集和傳輸需求

3、互聯網採集：

工具：Crawler，DPI等。Scribe是Facebook開發的數據（日誌）收集系統。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的採集。

大數據採集的流程是什麼

大數據數據採集處理流程主要包括數據收集、數據預處理、數據存儲、數據處理與分析等環節，數據質量貫穿於整個大數據流程，非常的關鍵。每一個數據處理環節都會對大數據質量產生影響作用。下面就來說一下大數據數據採集的流程及處理方法。

大數據數據採集在數據收集過程中，數據源會影響大數據質量的真實性、完整性數據收集、一致性、准確性和安全性。

數據預處理大數據採集過程中通常有一個或多個數據源，這些數舉爛據源包括同構或異構的資料庫、文件系統、服務介面等，易受到雜訊數據、數據值缺失、數據沖突等影響，因此需首先對收集到的大數據集合進行預處理，以保證大數據分析與預測結果的准確性與價值性。

㈡ 如何獲取實時的股票行情信息，有相關的公用介面或者數據源嗎

實時股票數據介面

股票數據的獲取目前有如下兩種方法可以獲取:
1.
http/javascript介面取數據
2.
web-service介面
1.http/javascript介面取數據
1.1Sina股票數據介面
以大秦鐵路（股票代碼：601006）為例，如果要獲取它的最新行情，只需訪問新浪的股票數據
介面：
http://hq.sinajs.cn/list=sh601006
這個url會返回一串文本，例如：
var
hq_str_sh601006="大秦鐵路, 27.55, 27.25, 26.91, 27.55, 26.20, 26.91,
26.92,
22114263, 589824680, 4695, 26.91, 57590, 26.90, 14700,
26.89, 14300,
26.88, 15100, 26.87, 3100, 26.92, 8900, 26.93,
14230, 26.94, 25150, 26.95, 15220, 26.96, 2008-01-11,
15:05:32";
這個字元串由許多數據拼接在一起，不同含義的數據用逗號隔開了，按照程序員的思路，順序號從0開始。
0：」大秦鐵路」，股票名字；
1：」27.55″，今日開盤價；
2：」27.25″，昨日收盤價；
3：」26.91″，當前價格；
4：」27.55″，今日最高價；
5：」26.20″，今日最低價；
6：」26.91″，競買價，即「買一」報價；
7：」26.92″，競賣價，即「賣一」報價；
8：」22114263″，成交的股票數，由於股票交易以一百股為基本單位，所以在使用時，通常把該值除以一百；
9：」589824680″，成交金額，單位為「元」，為了一目瞭然，通常以「萬元」為成交金額的單位，所以通常把該值除以一萬；
10：」4695″，「買一」申請4695股，即47手；
11：」26.91″，「買一」報價；
12：」57590″，「買二」
13：」26.90″，「買二」
14：」14700″，「買三」
15：」26.89″，「買三」
16：」14300″，「買四」
17：」26.88″，「買四」
18：」15100″，「買五」
19：」26.87″，「買五」
20：」3100″，「賣一」申報3100股，即31手；
21：」26.92″，「賣一」報價
(22,
23), (24, 25), (26,27), (28,
29)分別為「賣二」至「賣四的情況」
30：」2008-01-11″，日期；
31：」15:05:32″，時間；
一個簡單的JavaScript應用例子:
script
type="text/javascript" src="http://hq.sinajs.cn/list=sh601006"
charset="gb2312">/script>
/javascript">
var
elements=hq_str_sh601006.split(",");
document.write("current
price:"+elements[3]);
這段代碼輸出大秦鐵路（股票代碼：601006）的當前股價
current
price:14.20
如果你要同時查詢多個股票，那麼在URL最後加上一個逗號，再加上股票代碼就可以了；比如你要一次查詢大秦鐵路（601006）和大同煤業（601001）的行情，就這樣使用URL：
http://hq.sinajs.cn/list=sh601003,sh601001
查詢大盤指數，比如查詢上證綜合指數（000001）：
http://hq.sinajs.cn/list=s_sh000001
伺服器返回的數據為：
var
hq_str_s_sh000001="上證指數,3094.668,-128.073,-3.97,436653,5458126";
數據含義分別為：指數名稱，當前點數，當前價格，漲跌率，成交量（手），成交額（萬元）；
查詢深圳成指數：
http://hq.sinajs.cn/list=s_sz399001
對於股票的K線圖，日線圖等的獲取可以通過請求http://image.sinajs.cn/…./…/*.gif此URL獲取，其中*代表股票代碼，詳見如下：
查看日K線圖：
http://image.sinajs.cn/newchart/daily/n/sh601006.gif

分時線的查詢：
http://image.sinajs.cn/newchart/min/n/sh000001.gif

日K線查詢：
http://image.sinajs.cn/newchart/daily/n/sh000001.gif

周K線查詢：
http://image.sinajs.cn/newchart/weekly/n/sh000001.gif

月K線查詢：
http://image.sinajs.cn/newchart/monthly/n/sh000001.gif

1.2
Bai&Google的財經數據
在,
google中搜索某隻股票代碼時，將會在頭條顯示此股票的相關信息，例如在google搜索601006時，
第一條搜索結果如下圖：
通過點擊左邊的圖片我們發現會將此圖片鏈接到sina財經頻道上，也就是說google股票數據的獲取也是從sina獲取。後經抓包分析，發現google也是採用1.1中介紹的介面。
Bai的股票數據來自的財經頻道
http://stock..com/
1.3
其他方式
除了sina，等網站提供股票信息外，其他網站也有類似的介面。我們分析了一款論壇上採用的股票插件，
其中有關於實時股票數據獲取的介紹，詳見如下代碼，其中可以看到有些數據來自sina。
以下是ASP示例:
=5
then
stockdata=gethttp("http://hq.sinajs.cn/list=sh"&code&"")
if
not len(stockdata)=0 then
stockdata=split(stockdata,chr(34))(1)
end if
if
len(stockdata)=0
then
stockdata="0,0,0,0,0,0,0,0,0,0,0,0"
else
stockdatasplit=split(stockdata,",")
stockdata=""&exstock.checkstr(stockdatasplit(0))&","&stockdatasplit(1)&","&stockdatasplit(2)&","&stockdatasplit(3)&","&stockdatasplit(4)&","&stockdatasplit(5)&","&formatdatetime(""&stockdatasplit(30)&"
"&stockdatasplit(31)&"",0)&""
end
if
『0=股票名稱,1=開盤價格,2=昨收盤價格,3=當前價格,4=最高價,5=最低價,6=更新時間
getstockdata=stockdata
end
function
function getstockimg(code)
dim
rndnum,addnum,checkcode,imgsource
if len(code)=5
then
getstockimg="http://image.sinajs.cn/newchart/daily/n/sh"&code&".gif"
end
if
imgsource="http://finance.sina.com.cn"
case
3
getstockimg="http://hq.gazxfe.com/stockchart/realline.chart?"&code&"&1003&SZ
500 330"
imgsource="http://hq.gazxfe.com"
case
4
getstockimg="http://chartse.stockstar.com/chartserver?code="&code&""
imgsource="http://www.stockstar.com/"
end
select
getstockimg=split(""&getstockimg&"||"&imgsource&"","||")
end
function
function getastockimg()
dim
rndnum,addnum,checkcode
dim
getastockimgb,imgsource
addnum=6
randomize:rndnum=cint(rnd*addnum)
select
case rndnum
case
0
getastockimg="http://202.109.106.1/gifchartse/gif/000001.gif"
getastockimgb="http://202.109.106.1/gifchartse/gif/399001.gif"
imgsource="http://www.stockstar.com/"
case
1
getastockimg="http://money.163.com/special/100.gif?C39"
getastockimgb="http://money.163.com/special/101.gif?HrS"
imgsource="http://www.163.com"
case
2
getastockimg="http://www.10jqka.com.cn/curve/realtime/index2.php?code=1a0001&w=180&h=140"
getastockimgb="http://www.10jqka.com.cn/curve/realtime/index2.php?code=399001&w=180&h=140"
imgsource="http://www.10jqka.com.cn"
case
3
getastockimg="http://chart.cnlist.com/stockchart/realline.chart?1a0001&1002&SZ
180
140"
getastockimgb="http://chart.cnlist.com/stockchart/realline.chart?399001&1002&SZ
180
140"
imgsource="http://chart.cnlist.com/"
case
4
getastockimg="http://image.sinajs.cn/newchart/small/ish000001.gif?1189176558328"
getastockimgb="http://image.sinajs.cn/newchart/small/isz399001.gif?1189176558328"
imgsource="http://www.sinajs.cn"
case
5
getastockimg="http://218.1.72.66/cgi/pic/sh/realtime/JA000001164143.png"
getastockimgb="http://218.1.72.66/cgi/pic/sz/realtime/JA399001164143.png"
imgsource="http://www.cnstock.com/"
case
6
getastockimg="http://222.73.29.85/img/000001.png"
getastockimgb="http://222.73.29.85/img/399001.png"
imgsource="http://www.eastmoney.com/"
end
select
getastockimg=split(""&getastockimg&"||"&getastockimgb&"||"&imgsource&"","||")
end
function
%>
2.
web-service介面
2.1 CHINAstock的web-service：
http://www.webxml.com.cn/WebServices/ChinaStockWebService.asmx
中國股票行情數據
WEB 服務（支持深圳和上海股市的全部基金、債券和股票），數據即時更新。輸出GIF分時走勢圖、日/周/月 K
線圖、及時行情數據（股票名稱、行情時間、最新價、昨收盤、今開盤、漲跌額、最低、最高、漲跌幅、成交量、成交額、競買價、競賣價、委比、買一 - 買五、賣一 -
賣五）。此WEB服務提供了如下幾個介面：
2.1.1
getStockImageByCode
GET
股票GIF分時走勢圖
INput：theStockCode =
股票代號，如：sh000001
POST /WebServices/ChinaStockWebService.asmx
HTTP/1.1
Host: www.webxml.com.cn
Content-Type:
text/xml; charset=utf-8
Content-Length:
length
SOAPAction:
"http://WebXml.com.cn/getStockImageByCode"

string

Output：
2.1.2
getStockImageByteByCode
獲得中國股票GIF分時走勢圖位元組數組
INput：theStockCode
= 股票代號，如：sh000001
POST /WebServices/ChinaStockWebService.asmx
HTTP/1.1Host: www.webxml.com.cnContent-Type: text/xml;
charset=utf-8Content-Length: lengthSOAPAction:
"http://WebXml.com.cn/getStockImageByteByCode"
string
返回的數據如下：
hkMyt4m4VkJtstbv8A
2.1.3
getStockImage_kByCode
直接獲得中國股票GIF日/周/月 K
線圖（545*300pixel/72dpi）
INPUT: theStockCode =
股票代號
theType = K 線圖類型（D：日[默認]、W：周、M：月），
POST
/WebServices/ChinaStockWebService.asmx HTTP/1.1Host:
www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length:
lengthSOAPAction: "http://WebXml.com.cn/getStockImage_kByCode" string
string
比如按照下圖所示輸入：
返回的結果就是周K線圖：
2.1.4
getStockImage_kByteByCode
獲得中國股票GIF日/周/月 K
線圖位元組數組
Input：theStockCode = 股票代號，如：sh000001
POST
/WebServices/ChinaStockWebService.asmx HTTP/1.1Host:
www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length:
lengthSOAPAction: "http://WebXml.com.cn/getStockImage_kByteByCode" string string
HTTP/1.1 200 OKContent-Type: text/xml; charset=utf-8Content-Length: length
base64Binary
比如按照下圖輸入：
返回的結果就是周K線圖位元組數組
hkMyt4m4VkJtstbv8A
2.1.5
getStockInfoByCode
獲得中國股票及時行情
input：theStockCode
= 股票代號
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1Host:
www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length:
lengthSOAPAction: "http://WebXml.com.cn/getStockInfoByCode"
string
返回的值一個一維字元串數組
String(24)，結構為：String(0)股票代號、String(1)股票名稱、String(2)行情時間、String(3)最新價（元）、String(4)昨收盤（元）、String(5)今開盤（元）、String(6)漲跌額（元）、String(7)最低（元）、String(8)最高（元）、String(9)漲跌幅（%）、String(10)成交量（手）、String(11)成交額（萬元）、String(12)競買價（元）、String(13)競賣價（元）、String(14)委比（%）、String(15)-String(19)買一
- 買五（元）/手、String(20)-String(24)賣一 - 賣五（元）/手。
Web
service的方法類似於現在concurrent項目的DBWS數據的獲取，都是通過SOAP協議向DBWS伺服器獲取相關的數據。
利用雅虎查中國股票
http://quote.yahoo.com/d/quotes.csv?s=MSFT&f=slc1wop
返回微軟的股票價格
"MSFT","4:00pm
- 30.70",+1.04,"21.46 -
30.75",29.77,29.66
http://quote.yahoo.com/d/quotes.csv?s=000969.SZ&f=slc1wop
這個返回安泰科技的，一般有半個小時的延遲。
但是s=000969.sz
這個後面的sz是深圳的意思, 滬市是SS後綴

㈢ 如何使用 Yahoo，Finance stock API 獲取股票數據

有三種方法獲得數據，具體如下：

1、通過API獲取實時數據

請求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名稱>&f=<數據列選項>

具體參數：

s – 表示股票名稱，多個股票之間使用英文「+」分隔如：」XOM+BBDb.TO+MSFT」，表示三個公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回數據列，如」snd1l1yr」。更詳細的參見雅虎股票 API f 參數對照表。

2、通過API獲取歷史數據

請求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具體參數：

s – 股票名稱

a – 起始時間，月

b – 起始時間，日

c – 起始時間，年

d – 結束時間，月

e – 結束時間，日

f – 結束時間，年

g – 時間周期。

例如: g=w, 表示周期是「周"。d表示「日」(day)，w表示「周」(week)，m表示「月」(mouth)，一定注意月份參數，其值比真實數據少1。如需要9月數據，則寫為08。

3、通過API獲取深滬股票數據

雅虎的API是國際性的，支持查詢國內滬深股市的數據，但代碼稍微變動一下，如浦發銀行的代號是：600000.SS。規則是：上海市場末尾加.SS，深圳市場末尾加.SZ。

㈣ 想要金融類數據，應該如何收集

金融大數據平台的搭建和應用是兩個部分，對於金融大數據平台來說，這兩個部分都很重要。

所以以下的部分我們從大數據平台和銀行可以分析哪些指標這兩個角度來闡述。

一、大數據平台

大數據平台的整體架構可以由以下幾個部分組成：

1.一個客戶

客戶主題：客戶屬性（客戶編號、客戶類別）、指標（資產總額、持有產品、交易筆數、交易金額、RFM）、簽約（渠道簽約、業務簽約）組成寬表

2.做了一筆交易

交易主題：交易金融屬性、業務類別、支付通道組成寬表。

3.使用哪個賬戶

賬戶主題：賬戶屬性（所屬客戶、開戶日期、所屬分行、產品、利率、成本）組成寬表

4.通過什麼渠道

渠道主題：渠道屬性、維度、限額組成寬表

5.涉及哪類業務&產品

產品主題：產品屬性、維度、指標組成寬表

㈤ java 如何實現 獲取實時股票數據

一般有三種方式：

1. 網頁爬蟲。採用爬蟲去爬取目標網頁的股票數據，去GitHub或技術論壇（如CSDN、51CTO）上找一下別人寫的爬蟲集成到項目中。

2. 請求第三方API。會有專門的公司（例如網路API市場）提供股票數據，你只需要去購買他們的服務，使用他們提供的SDK，仿照demo開發實現即可。如下圖所示：

㈥ 開發炒股軟體，從哪裡獲得股票數據

行情數據源在上交所和深交所。需要購買。而且很貴。

象我們平常看到行情，是券商營業部所買，我們連到他們伺服器，而接收到數據。

P2P數據介面使用說明(1)2009-03-18 08:58介面使用說明:
1. 壓縮包包含四個文件，分別為P2P.exe，P2P.CFG，zlib.dll和使用說明.txt，可以解壓到任意盤任意目錄下使用。
2. 支持的行情分析軟體有:
(1) 分析家2006，2005等，要求分析家主窗口標題最前面的幾個字是"分析家 -"，是否是破解版關系不大，最好是下載分析家官方網站的正版分析家，網址是http://www.fxj.com.cn，分析家其他版本號是否支持，我也沒全做試驗。
(2) 飛狐交易師，支持飛狐交易師，要求飛狐交易師主窗口標題最前面的幾個字是"飛狐交易師"或"證券分析師"，是否是破解版關系不大，最好是支持正版，用正版的。
(3) 大智慧新一代，要求大智慧主窗口標題最前面的幾個字是"大智慧Level" 支持的版本號有 09.0226，08.0907，08.0801，07.0205 共四個。
註：如果分析軟體的窗口標題不符合上面說的，則分析軟體無法接收數據。以上三個分析軟體最好都是正版的，只要下載正版的軟體，安裝後，無需做任何修改即可使用。介面再次說明一下，介面中的四個文件解壓到任意目錄下使用都可以，而無需解壓到某個分析軟體的某個目錄下，或替代某個分析軟體的某個文件。介面完全是綠色的，無需安裝，也不會在注冊表中留下任何信息。
3. 每天9:15分以後用行情軟體中的數據管理功能先清除當天的行情數據，然後把右下角「發送數據」發送數據前面的鉤選上。
4. 如果不能在開盤前打開該軟體，比如10點半才打開，那麼該介面會自動補充10點半之前的行情數據，為了能夠盡快的把前面的數據補充完畢，請把速度調節到100以上。但如果是飛狐，則把該值調低一些，否則飛狐會來不及處理數據，把大量的數據放到內存中，造成飛狐使用內存越來越大，最後由於內存耗完造成飛狐或介面非法退出。大智慧和分析家則不存在這個問題。
5. 收盤後，該介面具有白天行情的回放功能，回放前，最好先清除行情軟體中當天的行情數據。
6. 該介面由於是P2P接收數據，因此數據接收需要種子，只有和別的種子連上了，你就能接收數據了，你至少要和一個種子連上，當然，你連上別的種子後，你也就能稱為種子了，你也就能為別的人提供數據服務功能了。
7. 兩個人要連接成功，最好兩個人中有一個人的IP地址是公網地址，如果兩個全是內網地址則相互無法直接聯通，必須藉助第三方才能聯通，該方法這里不再介紹了。
8. 如果網路情況比較良好，則行情數據的延時一般不會大於0.5秒。
9. 介面的P2P連接信息中的欄位說明
(1). 遠程完成--為該IP接收到完整數據包的個數。
(2). 遠程請求--為該IP請求你發送的數據包序號。
(3). 本機請求--為本機請求遠程發送數據包序號。
(4). 請求返回--遠程響應本機請求的次數。

㈦ 如何接收詳細的實時股票交易數據

接收詳細的實時股票交易數據的方法：
1，通過webservice調用http://www.webxml.com.cn/zh_cn/web_services.aspx，該網站提供了免費的和收費的服務，
2，調用sina專門的js伺服器來解析數據，
3，行情數據不是來自證券公司，而是來自交易所。

4，股民無權自己接收，證券公司更沒有，可以去交易所網站看看，行情數據是提供給相關運營商的，例如通達信等等。
附：
證券交易所是依據國家有關法律，經政府證券主管機關批准設立的集中進行證券交易的有形場所。在我國有四個:上海證券交易所和深圳證券交易所，香港交易所，台灣證券交易所。

㈧ 如何利用一些 finance 資料庫 api 批量獲取股票信息

使用Yahoo API獲取股票信息。