Ⅰ 大數據採集技術有哪些
我知道的數據採集方法有這幾種：
第一種：軟體介面方式
通過各軟體廠商開放數據介面，實現不同軟體數據的互聯互通。這是目前最為常見的一種數據對接方式。
優勢：介面對接方式的數據可靠性與價值較高，一般不存在數據重復的情況；數據可通過介面實時傳輸，滿足數據實時應用要求。
缺點：①介面開發費用高；②需協調多個軟體廠商，工作量大且容易爛尾；③可擴展性不高，如：由於新業務需要各軟體系統開發出新的業務模塊，其和大數據平台之間的數據介面也需做相應修改和變動，甚至要推翻以前的所有數據介面編碼，工作量大、耗時長。
第二種：軟體機器人採集
軟體機器人是目前比較前沿的軟體數據對接技術，即能採集客戶端軟體數據，也能採集網站網站中的軟體數據。
常見的是博為小幫軟體機器人，產品設計原則為「所見即所得」，即不需要軟體廠商配合的情況下，採集軟體界面上的數據，輸出的結果是結構化的資料庫或者excel表。
如果只需要界面上的業務數據，或者遇到軟體廠商不配合/倒閉、資料庫分析困難的情況下， 利用軟體機器人採集數據更可取，尤其是詳情頁數據的採集功能比較有特色。
技術特點如下：
①無需原軟體廠商配合；②兼容性強，可採集匯聚Windows平台各種軟體系統數據；③輸出結構化數據；④即配即用，實施周期短、簡單高效；⑤配置簡單，不用編程，每個人都可以DIY一個軟體機器人；⑥價格相對人工和介面，降低不少。
缺點：採集軟體數據的實時性有一定限制。
第三種：網路爬蟲
網路爬蟲是模擬客戶端發生網路請求，接收請求響應，一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
爬蟲採集數據的缺點：①輸出數據多為非結構化數據；②只能採集網站數據，容易受網站反爬機制影響；③使用人群狹窄，需要有專業編程知識才能玩轉。
第四種：開放資料庫方式
數據的採集融合，開放資料庫是最直接的一種方式。
優勢：開放資料庫方式可以直接從目標資料庫中獲取需要的數據，准確性高，實時性也有保證，是最直接、便捷的一種方式。
缺點：開放資料庫方式也需要協調各軟體廠商開放資料庫，這需要看對方的意願，一般出於安全考慮，不會開放；一個平台如果同時連接多個軟體廠商的資料庫，並實時獲取數據，這對平台性能也是巨大挑戰。
以上便是常用的4種數據採集方式，各有優勢，適合不同的應用場景。
Ⅱ ODBC是什麼
開放資料庫互連（ODBC)是Microsoft引進的一種早期資料庫介面技術。它實際上是我們要在本章後面加以討論的ADO的前身。Microsoft引進這種技術的一個主要原因是，以非語言專用的方式，提供給程序員一種訪問資料庫內容的簡單方法。換句話說，訪問DBF文件或Access Basic以得到MDB文件中的數據時，無需懂得Xbase程序設計語言。事實上，Visual C++就是這樣一個程序設計平台，即Microsoft最初是以ODBC為目標的。
你會發現，ODBC工作起來和Windows一樣棗它用包含在DLL內的驅動程序完成任務。其實，ODBC提供一套兩個驅動程序：一個是資料庫管理器的語言，另一個為程序設計語言提供公用介面。允許Visual C++用標準的函數調用經公用介面訪問資料庫的內容，是這兩個驅動程序的匯合點。當然，還有其它和ODBC有關的實用程序類型的DLL。例如，一個這樣的DLL允許你管理ODBC數據源。ODBC的實際管理介面出現在SYSTEM文件夾中的某個CPL（控制面板）文件中棗我們在後面要談到這方面的問題。
ODBC的確能履行承諾，提供對資料庫內容的訪問，並且沒有太多的問題。它沒有提供資料庫管理器和C之間盡可能最好的數據轉換，這種情況是有的，但它多半能像廣告所說的那樣去工作。唯一影響ODBC前程的是，它的速度極低棗至少較早版本的產品是這樣。ODBC最初面世時，一些開發者曾說，因為速度問題，ODBC永遠也不會在資料庫領域產生太大的影響。然而，以Microsoft的市場影響力，ODBC毫無疑問是成功了。今天，只要有兩種ODBC驅動程序的一種，那麼幾乎每一個資料庫管理器的表現都會很卓越。
Ⅲ SQL資料庫區域網共享
可以用ODBC來解決。
ODBC(Open Database Connectivity，開放資料庫互連)是微軟公司開發的一套開放資料庫系統應用程序介面規范，目前它已成為一種工業標准，它提供了統一的資料庫應用程序編程介面（API）。這些API利用SQL來完成其大部分任務。ODBC本身也提供了對SQL語言的支持，用戶可以直接將SQL語句送給ODBC。
SQL語言提供了兩種不同的使用方式。一種是在終端互動式方式下使用，另一種是將SQL語言嵌入到某種高級語言如PL/1、COBOL、FORTRAN、C中使用，利用高級語言的過程性結構來彌補SQL語言在實現復雜應用方面的不足，這種方式下使用的SQL語言稱為嵌入式SQL（Embedded SQL），而嵌入SQL的高級語言稱為主語言或宿主語言。
對宿主型資料庫語言SQL，DBMS可採用兩種方法處理，一種是預編譯，另一種是修改和擴充主語言使之能處理SQL語句。目前採用較多的是預編譯的方法。即由DBMS的預處理程序對源程序進行掃描，識別出SQL語句，把它們轉換成主語言調用語句，以使主語言編譯程序能識別它，最後由主語言的編譯程序將整個源程序編譯成目標碼。
三、 實驗內容：
一個基於ODBC的應用程序對資料庫的操作不依賴任何DBMS，不直接與DBMS打交道，所有的資料庫操作由對應的DBMS的ODBC驅動程序完成。
一個完整的ODBC由下列幾個部件組成：應用程序、ODBC管理器、驅動程序管理器(Driver Manager)、ODBC API、ODBC 驅動程序、數據源。
下面我們在前面實驗建立的資料庫的基礎上，配置相應的ODBC數據源。具體步驟如下：
1、通過程序—>設置—>控制面板—>管理工具—>點擊數據源圖標,出現ODBC數據源管理器對話框，點擊系統DSN選項卡，添加系統數據源。
2、選擇SQL SERVER的驅動
3、建立一個數據源名為ds，伺服器：HP或（202.201.224.123）的數據源。
4、SQL SERVER登錄驗證方式採用輸入登錄ID和密碼的SQL SERVER驗證
登錄ID和密碼均為：你的登錄名和密碼
5、默認資料庫指定為你所在班級的資料庫名
6、如下圖，這里使用默認選項，不做改動
7、出現如下圖所示：點擊測試數據源，驗證是否成功。
8、測試結果會出現在下圖所示的對話框中：
如測試成功，點擊確定，名為ds的數據源就建立好了。
這里將結合配置好的數據源，給出一個用Visual Basic連接SQL SERVER2000的實例：即創建一個客戶或前端資料庫應用程序，並在窗體中添加 ADO Data 控制項，以及其它所需要的任何 Visual Basic 控制項。可以根據您的需要在窗體中放置多個 ADO Data 控制項。
這里先介紹一下有關ADO Data 控制項的內容：
ADO Data 控制項使用 Microsoft ActiveX 數據對象(ADO) 來快速建立數據綁定的控制項和數據提供者之間的連接。數據綁定控制項是任何具有「數據源」屬性的控制項。數據提供者可以是任何符合 OLE DB 規范的數據源。使用Visual Basic 的類模塊也可以很方便地創建子集的數據提供者。盡管可以在應用程序中直接使用 ActiveX 數據對象，但 ADO Data 控制項有作為一個圖形控制項的優勢（具有「向前」和「向後」按鈕），以及一個易於使用的界面，使您可以用最少的代碼創建資料庫應用程序。在 Visual Basic 的「工具箱」中，不少控制項都可以作為數據綁定的控制項，包括復選框、組合框、圖像、標簽、列表框、圖片框以及文本框控制項等。此外，Visual Basic 還包括了若干種數據綁定的 ActiveX 控制項，諸如DataGrid、DataCombo、Chart以及 DataList 控制項等。用戶也可以創建自己的數據綁定的 ActiveX 控制項，或從其他開發商購買控制項。
Visual Basic以前的版本提供了內在的 Data 控制項和 Remote Data 控制項(RDC) 來進行數據訪問。這兩種控制項仍包括在 Visual Basic 中，以提供向後兼容。不過，因為 ADO 的適應性更廣，因此建議用戶使用 ADO Data 控制項來創建新的資料庫應用程序。
ADO DATA可能的用法
l 連接一個本地資料庫或遠程資料庫。
l 打開一個指定的資料庫表，或定義一個基於結構化查詢語言 (SQL) 的查詢、或存儲過程、或該資料庫中的表的視圖的記錄集合。
l 將數據欄位的數值傳遞給數據綁定的控制項，可以在這些控制項中顯示或更改這些數值。
l 添加新的記錄，或根據對顯示在綁定的控制項中的數據的任何更改來更新一個資料庫。
創建一個簡單的前端資料庫應用程序：
1、打開Visual Basic，創建一個標准工程（standard exe）。
2、在窗體上放置一個 ADO Data 控制項 （該圖標的工具提示為 "ADODC"），如果該控制項不在「工具箱」中，請按 CTRL+T 鍵，顯示「部件」對話框。在這個「部件」對話框中，單擊「Microsoft ADO Data Control」，再單擊「應用」。
2. 在「工具箱」中，單擊選定「ADO Data控制項」。就建立了一個名為Adodc1的ADO Data控制項，然後按 F4 鍵顯示「屬性」窗口。
3. 在「屬性」窗口中，單擊「ConnectionString」，在它的有側將顯示 圖標。
4. 在「屬性」窗口中，將「RecordSource」屬性設置為一個 SQL 語句。例如：SELECT * FROM Departemnt .
ADO Data控制項屬性設置：
屬性
屬性值
ConnectionString
DSN=ds
CommandType
8-adCmdUnknown
RecordSource
SELECT * FROM Department
5.在窗體上放置一個「標簽」控制項，顯示說明內容。
6.在窗體上再放置一個「文本框」控制項，用來顯示資料庫信息。
7. 在其「屬性」窗口中，將 Text1 的「DataSource」屬性設為 ADO Data 控制項的名稱 (ADODC1)。這樣就將這個文本框和 ADO Data 控制項綁定在一起。
8. 在其「屬性」窗口中，單擊「DataField」將下拉得到一個可用的欄位列表。單擊所要顯示的欄位的名稱。
控制項名
屬性
屬性值
Text1
DataSource
Adodc1
DataField
要顯示的欄位名
9. 對希望訪問的其它每個欄位重復第 5、6、7、8 步。
10.按 F5 鍵運行該應用程序。用戶可以在 ADO Data 控制項中使用四個箭頭按鈕，從而允許用戶到達數據的開始、記錄的末尾或在數據內從一個記錄移動到另一個記錄。
SQL語言與主語言具有不同數據處理方式。SQL語言是面向集合的，一條SQL語句原則上可以產生或處理多條記錄。而主語言是面向記錄的，一組主變數一次只能存放一條記錄。所以僅使用主變數並不能完全滿足SQL語句向應用程序輸出數據的要求，為此嵌入式SQL引入了游標的概念，用游標來協調這兩種不同的處理方式。游標是系統為用戶開設的一個數據緩沖區，存放SQL語句的執行結果。每個游標區都有一個名字。用戶可以用SQL語句逐一從游標中獲取記錄，並賦給主變數，交由主語言進一步處理。
使用游標在需要一行一行處理時，游標十分有用。游標可以打開一個結果集合，並提供在結果集中一行一行處理的功能。下面的例子給出了一個利用游標來查詢指定學號的學生所選修的課程成績。
引自：http://www.nx5127.com/863.html
Ⅳ 如何給SQL資料庫開放許可權,讓所有人都可以訪問
我來回答吧，我以前也遇到過你這樣的問題，後來我自己解決了。
1、xp系統安裝的 SQL資料庫伺服器，肯定是不能遠程聯機的，因為xp系統只能裝非企業版的資料庫SQL Server。非企業版SQL Server對遠程連接做了限制，不可以遠程連接。就是非本機的用戶連接時，全部拒絕，但ipc連接登錄後除外。
2、建議換做非xp系統，最好windows 2000server 或者 windows 2003 server+ SQL Server企業版。因為只有這些系統才可以安裝企業版的SQL Server，因為其他非企業版的SQL Server只允許本機鏈接，非本機的sql鏈接將會出錯。
3、裝SQL Server的那台機器要開通1433埠，用於其他機器連接SQL Server。
4、查看安裝的SQL Server伺服器版本：SQL企業管理器-展開控制台跟目錄-展開到-本地組-（local）-右擊屬性- 常規-產品，如果是企業版，大多顯示 SQL Server Enterprice Edition, 否則顯示其他的版本。個人版：SQL Server Personal Edition
如果還不清楚，可以問我。