Ⅰ 大数据采集技术有哪些
我知道的数据采集方法有这几种:
第一种:软件接口方式
通过各软件厂商开放数据接口,实现不同软件数据的互联互通。这是目前最为常见的一种数据对接方式。
优势:接口对接方式的数据可靠性与价值较高,一般不存在数据重复的情况;数据可通过接口实时传输,满足数据实时应用要求。
缺点:①接口开发费用高;②需协调多个软件厂商,工作量大且容易烂尾;③可扩展性不高,如:由于新业务需要各软件系统开发出新的业务模块,其和大数据平台之间的数据接口也需做相应修改和变动,甚至要推翻以前的所有数据接口编码,工作量大、耗时长。
第二种:软件机器人采集
软件机器人是目前比较前沿的软件数据对接技术,即能采集客户端软件数据,也能采集网站网站中的软件数据。
常见的是博为小帮软件机器人,产品设计原则为“所见即所得”,即不需要软件厂商配合的情况下,采集软件界面上的数据,输出的结果是结构化的数据库或者excel表。
如果只需要界面上的业务数据,或者遇到软件厂商不配合/倒闭、数据库分析困难的情况下, 利用软件机器人采集数据更可取,尤其是详情页数据的采集功能比较有特色。
技术特点如下:
①无需原软件厂商配合;②兼容性强,可采集汇聚Windows平台各种软件系统数据;③输出结构化数据;④即配即用,实施周期短、简单高效;⑤配置简单,不用编程,每个人都可以DIY一个软件机器人;⑥价格相对人工和接口,降低不少。
缺点:采集软件数据的实时性有一定限制。
第三种:网络爬虫
网络爬虫是模拟客户端发生网络请求,接收请求响应,一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。
爬虫采集数据的缺点:①输出数据多为非结构化数据;②只能采集网站数据,容易受网站反爬机制影响;③使用人群狭窄,需要有专业编程知识才能玩转。
第四种:开放数据库方式
数据的采集融合,开放数据库是最直接的一种方式。
优势:开放数据库方式可以直接从目标数据库中获取需要的数据,准确性高,实时性也有保证,是最直接、便捷的一种方式。
缺点:开放数据库方式也需要协调各软件厂商开放数据库,这需要看对方的意愿,一般出于安全考虑,不会开放;一个平台如果同时连接多个软件厂商的数据库,并实时获取数据,这对平台性能也是巨大挑战。
以上便是常用的4种数据采集方式,各有优势,适合不同的应用场景。
Ⅱ ODBC是什么
开放数据库互连(ODBC)是Microsoft引进的一种早期数据库接口技术。它实际上是我们要在本章后面加以讨论的ADO的前身。Microsoft引进这种技术的一个主要原因是,以非语言专用的方式,提供给程序员一种访问数据库内容的简单方法。换句话说,访问DBF文件或Access Basic以得到MDB文件中的数据时,无需懂得Xbase程序设计语言。事实上,Visual C++就是这样一个程序设计平台,即Microsoft最初是以ODBC为目标的。
你会发现,ODBC工作起来和Windows一样枣它用包含在DLL内的驱动程序完成任务。其实,ODBC提供一套两个驱动程序:一个是数据库管理器的语言,另一个为程序设计语言提供公用接口。允许Visual C++用标准的函数调用经公用接口访问数据库的内容,是这两个驱动程序的汇合点。当然,还有其它和ODBC有关的实用程序类型的DLL。例如,一个这样的DLL允许你管理ODBC数据源。ODBC的实际管理接口出现在SYSTEM文件夹中的某个CPL(控制面板)文件中枣我们在后面要谈到这方面的问题。
ODBC的确能履行承诺,提供对数据库内容的访问,并且没有太多的问题。它没有提供数据库管理器和C之间尽可能最好的数据转换,这种情况是有的,但它多半能像广告所说的那样去工作。唯一影响ODBC前程的是,它的速度极低枣至少较早版本的产品是这样。ODBC最初面世时,一些开发者曾说,因为速度问题,ODBC永远也不会在数据库领域产生太大的影响。然而,以Microsoft的市场影响力,ODBC毫无疑问是成功了。今天,只要有两种ODBC驱动程序的一种,那么几乎每一个数据库管理器的表现都会很卓越。
Ⅲ SQL数据库局域网共享
可以用ODBC来解决。
ODBC(Open Database Connectivity,开放数据库互连)是微软公司开发的一套开放数据库系统应用程序接口规范,目前它已成为一种工业标准,它提供了统一的数据库应用程序编程接口(API)。这些API利用SQL来完成其大部分任务。ODBC本身也提供了对SQL语言的支持,用户可以直接将SQL语句送给ODBC。
SQL语言提供了两种不同的使用方式。一种是在终端交互式方式下使用,另一种是将SQL语言嵌入到某种高级语言如PL/1、COBOL、FORTRAN、C中使用,利用高级语言的过程性结构来弥补SQL语言在实现复杂应用方面的不足,这种方式下使用的SQL语言称为嵌入式SQL(Embedded SQL),而嵌入SQL的高级语言称为主语言或宿主语言。
对宿主型数据库语言SQL,DBMS可采用两种方法处理,一种是预编译,另一种是修改和扩充主语言使之能处理SQL语句。目前采用较多的是预编译的方法。即由DBMS的预处理程序对源程序进行扫描,识别出SQL语句,把它们转换成主语言调用语句,以使主语言编译程序能识别它,最后由主语言的编译程序将整个源程序编译成目标码。
三、 实验内容:
一个基于ODBC的应用程序对数据库的操作不依赖任何DBMS,不直接与DBMS打交道,所有的数据库操作由对应的DBMS的ODBC驱动程序完成。
一个完整的ODBC由下列几个部件组成:应用程序、ODBC管理器、驱动程序管理器(Driver Manager)、ODBC API、ODBC 驱动程序、数据源。
下面我们在前面实验建立的数据库的基础上,配置相应的ODBC数据源。具体步骤如下:
1、通过程序—>设置—>控制面板—>管理工具—>点击数据源图标,出现ODBC数据源管理器对话框,点击系统DSN选项卡,添加系统数据源。
2、选择SQL SERVER的驱动
3、建立一个数据源名为ds,服务器:HP或(202.201.224.123)的数据源。
4、SQL SERVER登录验证方式采用输入登录ID和密码的SQL SERVER验证
登录ID和密码均为:你的登录名和密码
5、默认数据库指定为你所在班级的数据库名
6、如下图,这里使用默认选项,不做改动
7、出现如下图所示:点击测试数据源,验证是否成功。
8、测试结果会出现在下图所示的对话框中:
如测试成功,点击确定,名为ds的数据源就建立好了。
这里将结合配置好的数据源,给出一个用Visual Basic连接SQL SERVER2000的实例:即创建一个客户或前端数据库应用程序,并在窗体中添加 ADO Data 控件,以及其它所需要的任何 Visual Basic 控件。可以根据您的需要在窗体中放置多个 ADO Data 控件。
这里先介绍一下有关ADO Data 控件的内容:
ADO Data 控件使用 Microsoft ActiveX 数据对象(ADO) 来快速建立数据绑定的控件和数据提供者之间的连接。数据绑定控件是任何具有“数据源”属性的控件。数据提供者可以是任何符合 OLE DB 规范的数据源。使用Visual Basic 的类模块也可以很方便地创建子集的数据提供者。尽管可以在应用程序中直接使用 ActiveX 数据对象,但 ADO Data 控件有作为一个图形控件的优势(具有“向前”和“向后”按钮),以及一个易于使用的界面,使您可以用最少的代码创建数据库应用程序。在 Visual Basic 的“工具箱”中,不少控件都可以作为数据绑定的控件,包括复选框、组合框、图像、标签、列表框、图片框以及文本框控件等。此外,Visual Basic 还包括了若干种数据绑定的 ActiveX 控件,诸如DataGrid、DataCombo、Chart以及 DataList 控件等。用户也可以创建自己的数据绑定的 ActiveX 控件,或从其他开发商购买控件。
Visual Basic以前的版本提供了内在的 Data 控件和 Remote Data 控件(RDC) 来进行数据访问。这两种控件仍包括在 Visual Basic 中,以提供向后兼容。不过,因为 ADO 的适应性更广,因此建议用户使用 ADO Data 控件来创建新的数据库应用程序。
ADO DATA可能的用法
l 连接一个本地数据库或远程数据库。
l 打开一个指定的数据库表,或定义一个基于结构化查询语言 (SQL) 的查询、或存储过程、或该数据库中的表的视图的记录集合。
l 将数据字段的数值传递给数据绑定的控件,可以在这些控件中显示或更改这些数值。
l 添加新的记录,或根据对显示在绑定的控件中的数据的任何更改来更新一个数据库。
创建一个简单的前端数据库应用程序:
1、打开Visual Basic,创建一个标准工程(standard exe)。
2、在窗体上放置一个 ADO Data 控件 (该图标的工具提示为 "ADODC"),如果该控件不在“工具箱”中,请按 CTRL+T 键,显示“部件”对话框。在这个“部件”对话框中,单击“Microsoft ADO Data Control”,再单击“应用”。
2. 在“工具箱”中,单击选定“ADO Data控件”。就建立了一个名为Adodc1的ADO Data控件,然后按 F4 键显示“属性”窗口。
3. 在“属性”窗口中,单击“ConnectionString”,在它的有侧将显示 图标。
4. 在“属性”窗口中,将“RecordSource”属性设置为一个 SQL 语句。例如:SELECT * FROM Departemnt .
ADO Data控件属性设置:
属性
属性值
ConnectionString
DSN=ds
CommandType
8-adCmdUnknown
RecordSource
SELECT * FROM Department
5.在窗体上放置一个“标签”控件,显示说明内容。
6.在窗体上再放置一个“文本框”控件,用来显示数据库信息。
7. 在其“属性”窗口中,将 Text1 的“DataSource”属性设为 ADO Data 控件的名称 (ADODC1)。这样就将这个文本框和 ADO Data 控件绑定在一起。
8. 在其“属性”窗口中,单击“DataField”将下拉得到一个可用的字段列表。单击所要显示的字段的名称。
控件名
属性
属性值
Text1
DataSource
Adodc1
DataField
要显示的字段名
9. 对希望访问的其它每个字段重复第 5、6、7、8 步。
10.按 F5 键运行该应用程序。用户可以在 ADO Data 控件中使用四个箭头按钮,从而允许用户到达数据的开始、记录的末尾或在数据内从一个记录移动到另一个记录。
SQL语言与主语言具有不同数据处理方式。SQL语言是面向集合的,一条SQL语句原则上可以产生或处理多条记录。而主语言是面向记录的,一组主变量一次只能存放一条记录。所以仅使用主变量并不能完全满足SQL语句向应用程序输出数据的要求,为此嵌入式SQL引入了游标的概念,用游标来协调这两种不同的处理方式。游标是系统为用户开设的一个数据缓冲区,存放SQL语句的执行结果。每个游标区都有一个名字。用户可以用SQL语句逐一从游标中获取记录,并赋给主变量,交由主语言进一步处理。
使用游标在需要一行一行处理时,游标十分有用。游标可以打开一个结果集合,并提供在结果集中一行一行处理的功能。下面的例子给出了一个利用游标来查询指定学号的学生所选修的课程成绩。
引自:http://www.nx5127.com/863.html
Ⅳ 如何给SQL数据库开放权限,让所有人都可以访问
我来回答吧,我以前也遇到过你这样的问题,后来我自己解决了。
1、xp系统安装的 SQL数据库服务器,肯定是不能远程联机的,因为xp系统只能装非企业版的数据库SQL Server。非企业版SQL Server对远程连接做了限制,不可以远程连接。就是非本机的用户连接时,全部拒绝,但ipc连接登录后除外。
2、建议换做非xp系统,最好windows 2000server 或者 windows 2003 server+ SQL Server企业版。因为只有这些系统才可以安装企业版的SQL Server,因为其他非企业版的SQL Server只允许本机链接,非本机的sql链接将会出错。
3、装SQL Server的那台机器要开通1433端口,用于其他机器连接SQL Server。
4、查看安装的SQL Server服务器版本:SQL企业管理器-展开控制台跟目录-展开到-本地组-(local)-右击属性- 常规-产品,如果是企业版,大多显示 SQL Server Enterprice Edition, 否则显示其他的版本。个人版:SQL Server Personal Edition
如果还不清楚,可以问我。