‘壹’ 什么是数据采集
数据采集,又称数据获取,是利用一种装置,从系统外部采集数据并输入到系统内部的一个接口。在如今大数据时代,很多东西都可以是数据采集器,比如街头摄像头、各种智能穿戴设备。但是如果是指网络数据采集的话,就有专门的网页数据采集器可以帮助个人实现数据采集。如果你需要的话,可以追问我(不想打广告)。
‘贰’ 名词解释(数据)采集
词语解释:原始社会前期以采集天然生长植物为生的经济。在原始群阶段,人们只能使用棍棒和石块等原始的生产工具,无力猎取大的动物,主要靠采集植物的茎叶、果实或根为生。
‘叁’ 什么是数据采集
数据采集通常有两种解释:一种是指盘点机、掌上电脑等终端电脑设备;另外一种是指网络数据采集用的软件
。数据采集系统包括了:可视化的报表定义、审核关系的定义、报表的审批和发布、数据填报、数据预处理、数据评审、综合查询统计等功能模块。通过信息采集网络化和数字化,扩大数据采集的覆盖范围,提高审核工作的全面性、及时性和准确性;最终实现相关业务工作管理现代化、程序规范化、决策科学化,服务网络化。
设备类
是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据采集系统是结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。比如条码机、扫描仪等都是数据采集工具(系统)。
网络类
用来批量采集网页,论坛等的内容,直接保存到数据库或发布到网络的一种信息化工具。可以根据用户设定的规则自动采集原网页,获取格式网页中需要的内容,也可以对数据进行处理。比如乐思(Knowlesys)数据采集系统等。
该系统具有如下特点:
a.数据采集通用性较强。不仅可采集电气量,亦可采集非电气量。电气参数采集用交流离散采样,非电气参数采集采用继电器巡测,信号处理由高精度隔离运算放大器AD202JY调理,线性度好,精度高。
b.整个系统采用分布式结构,软、硬件均采用了模块化设计。数据采集部分采用自行开发的带光隔离的RS-485网,通信效率高,安全性好,结构简单。后台系统可根据实际被监控系统规模大小及要求,构成485网、Novell网及WindowsNT网等分布式网络。由于软、硬件均为分布式、模块化结构,因而便于系统升级、维护,且根据需要组成不同的系统。
c.数据处理在WindowsNT平台上采用VisualC++语言编程,处理能力强、速度快、界面友好,可实现网络数据共享。
d.整个系统自行开发,符合我国国情。对发电厂原有系统的改动很小,系统造价较低,比较适合中小型发电厂技术改造需要。
(打字好累)
‘肆’ 数据采集的概念
数据采集的概念,是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据采集系统是数据采集结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。目前被广泛应用于电力电子测试,航空/航天测试,汽车电子测试,船舶测试等领域。
数据采集的概念是OITEK提供以多样化接口的采集模块为基础,为用户提供高效完整的数据采集系统解决方案。
OITEK提出创新性的数据采集模块+控制主机的解决方案,根据采集对象的特点,提供定制化方案,在为客户最大限度节约成本的前提下,保证系统功能完整性和高效性和灵活的扩展性。OITEK提供的各式功能卡兼有PCI、PCIE、PXI/E、USB、RS485、LAN口等多种标准,功能卡覆盖模拟输入输出,数字输入输出,计数器等多种选择。同时,为支持ICP传感器及应力应变等各式传感器,OITEK还提供和功能卡配合使用的信号调理设备。不论是需要高精度测量的电压,温度及压力等静态信号,或是需要高速度测试的动态信号,及回路控制及模拟,OITEK都能为您提供全面,小巧,高速,且精度极高的测试工具。
OITEK数据采集软件是基于数据采集系统的硬件资源,配合其他的硬件资源,实现数据的采集功能,数据采集应用软件可以用于:
硬件资源自检功能;测试资源配置功能;采集显示测量数据。
存储测试数据并对测试数据进行分析、处理、回放。实现其他功能通过:合作伙伴推出的软件;日常办公软件;分析软件的标准驱动程序包。
数据采集概念的主要特点:
-广泛的测试参数:覆盖了电压,电流,频率,温度,湿度,振动,加速度,速度,转速,液位,流量,压力等信号的测量。
-高速的采样速率:最高可达20GS/s采样。
-多样的输出/输入类型:模拟输入、模拟输出、数字输入、数字输出、开关矩阵等。
-支持多通道数:最高可达1000通道以上,并保持同步。
-优越的硬件性能:采用16/18/24位独立的ADC/DAC。
-较高的测量精度:业内最高精度,DC精度最高0.0012%FSR。
-最大输入电压(隔离):1200V。
-多种总线:LXI、 CPCI、 PCIE、 PXI/E、 PCI、 USB、 RS485。
应用领域:
OITEK产品正成功应用于广泛的领域:电力电子测试,电源测试,电机测试,风洞数据采集及控制,汽车电子行业;航空/航天测试,覆盖了飞机总线与结构测试,导弹测试,声学测试,振动测试,船舶测试,以及其他要求的测试应用中。了解数据采集产品点击数据采集与储存。
‘伍’ 什么是数据采集
数据采集
数据采集,又称数据获取,是利用一种装置,从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛引用在各个领域。比如摄像头,麦克风,都是数据采集工具。
被采集数据是已被转换为电讯号的各种物理量,如温度、水位、风速、压力等,可以是模拟量,也可以是数字量。采集一般是采样方式,即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值,也可是某段时间内的一个特征值。准确的数据量测是数据采集的基础。数据量测方法有接触式和非接触式,检测元件多种多样。不论哪种方法和元件,均以不影响被测对象状态和测量环境为前提,以保证数据的正确性。数据采集含义很广,包抱对面状连续物理量的采集。在计算机辅助制图、测图、设计中,对图形或图像数字化过程也可称为数据采集,此时被采集的是几何量(或包括物理量,如灰度)数据。
在互联网行业快速发展的今天,数据采集已经被广泛互联网及分布式领域,数据采集领域已经发生了重要的变化。首先,分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次,总线兼容型数据采集插件的数量不断增大,与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世,将数据采集带入了一个全新的时代。
‘陆’ 什么是数据采集
数据采集,又称数据获取,在计算机广泛应用的今天,数据采集的重要性是十分显着的。它是计算机与外部物理世界连接的桥梁。
数据采集一般需要遵循以下原则:
1. 数据采集任务不能影响业务系统的运行。一般来说,核心业务系统白天工作频繁,难以承载数据抽取的要求,这种情形下数据抽取工作原则上要安排在非工作时段进行。数据采集任务调度必须可以设定数据采集任务的优先时段表。
2. 不同业务系统的数据产生周期不同,会影响到数据采集的周期。数据采集应根据业务系统及交换数据的周期要求,设定数据采集时间周期表。
3. 数据采集任务的执行时间原则上应与数据采集周期时间成正比,即数据采集周期时间间隔要求短(长)的采集任务,其采集任务的执行时间也要求短(长)。如对按日采集的数据,应能在3一5h内完成抽取、清洗、加载、处理等工作;对按月采集的数据,数据抽取、清洗、加载和处理等工作可以放宽到48h内完成。
4. 对于数据采集量特别大且数据转换操作特别复杂的任务,利用ETL工具会消耗大量的资源和时间,建议通过编制专门数据采集接口程序完成数据采集任务,以提高数据采集工作的效率。
5. 以数据源为单位进行的全量采集的任务,可以以数据源为单位进行数据初始化操作,当数据源的数据采集操作出现问题时,可以仅对该数据源进行全量采集恢复,而对其他数据源的数据采集没有任何影响。
现在的101 异构数据采集技术可以做到无需软件厂商配合,直接采集异构数据,这样的数据采集就不需要协调各个厂家,不需要花费高昂的接口费用,而施工周期也不会太长,是很多领域大型企业数据采集业务的第一选择。
‘柒’ 数据采集是什么意思
2019年发布的《水污染源在线监测系统(CODCr、NH3N等)安装技术规范》(HJ353-2019)以及相应的验收、运行和数据有效性判别技术规范(HJ354-2019、HJ355-2019、HJ356-2019),要求数据采集传输仪符合新的要求。
DR-295A数据采集传输仪达到并优于《HJ477污染源在线自动监控(监测)数据采集传输仪技术要求》和《污染源在线自动监控(监测)系统数据传输标准》(HJ/T 212)。针对污染源污水排放的特点,根据HJ35X系列数据控制单元标准规范,可以远程操控,协调统一运行水污染源在线监测系统,采集、储存、显示监测数据及运行日志,向监控中心平台上传污染源监测数据。
想找个兴趣相投的人?来这里遇见青春与活力!
广告
想找个兴趣相投的人?来这里遇见青春与活力!
工作流程如下:
数据采集仪应安装在室内,使用场所不得有腐蚀性气体,并避免阳光直射、强烈冲击、振动及外界强磁场的干扰本仪器广泛应用于废水、废气的污染源排放口,及饮用水水源地、河流、湖泊、水库、自来水厂、污水处理厂等重金属水质监测站,为监测部门提供可靠、有效、完整的数据资料。
仪器功能:
(1) 可以读取现场在线设备的测量数据,报警信息。
(2) 可以控制现场在线设备的启动和停止,设备校准。
(3) 数据采集传输控制器可以设定周期测量,定时测量,远程测量的测量模式;并可以根据选定的测量模式对现场的在线设备进行控制。
(4) 和现场在线设备连接的串口号和协议类型可自由选择。
(5) 本地历史数据显示功能:显示现场在线设备的历史数据,小时,日,月,季,年;
(6) 对所存储的数据进行检索(按照搜索条件搜索)。
(7) 报警功能:分析仪的数值超过设定阈值、数据采集传输控制器停电、通讯异常、在线设备报警。将这些报警信息上传到平台。
(8) 在线设备测量记录,维护记录:开箱记录、仪器校准记录。
(9) 校时功能:可与中心平台在线校时。
(10) 数据保密功能:为了防止他人误改配置,需输入用户名与密码后才可对设备进行管理(能够设置三级系统登录密码及相应操作权限)。
(11) 可接收质控仪对在线设备的指令操作,满足质控仪协议(质控仪为主控)。
(12) 上报数据时报文内的时间标记与水质自动分析仪测量结果存储的时间标记保持一致;数据采集传输控制器应能存储一个月分钟数据记录。
(13) 具备 6 个 RS 232,2个 RS 485数字通道用于和现场的在线设备通讯。
(14) 8个模拟量输入通道(4~20)mA,用于连接现场的在线设备通过模拟量读取在线设备的测量数据(数据采集精度和测量稳定性≤0.1%,至少12位AD)。
(15) 2个(4~20)mA输出通道(稳定性≤0.2%)。
(16) 8个开关量输入通道,用于检测外部的设施工作状态。开关量电压输入范围为(0~5)V。
(17) 8个开关量输出通道(4路干节点,4路DC24V mos管驱动输出(2A电流))。
(18) 无线传输方式:通过 GPRS无线方式与上位机通讯(外挂DTU)。
(19) 网络链接:直接通过局域网或 internet 与上位机通讯。
(20) 仪器自带备用电池或配装不间断电源(UPS),在外部供电切断情况下能保证数据采集传输控制器连续工作 6 h,并且在外部电源断电时自动发送报警信息给上位机。数据采集传输控制器必须能够在供电(特别是断电后重新供电)后可靠地自动启动运行,并且所存数据不丢失。
(21) 支持U盘导出数据或者专用软件导出数据,支持U盘升级功能。
(22) 人机界面:10英寸及以上TFT液晶显示器。
(23) 看门狗复位:设备死机可自动重启,停电并来电后亦可自启。
(24) 污染源现场的在线设备可以根据现场的环境随时增删。
(25) 中心平台和数据采集传输控制器之间通讯协议满足HJ212-2017协议。
(26) 对上位机上传的污染源监测数据必须有数据状态标识(HJ212协议状态标识)。
(27) HJ212协议中规定的加密方法进行加密处理传输(PW关键字),保证数据传输的安全性。一端请求连接另一端应进行身份验证。
(28) 中心平台可以远程查看现场所有在线设备的数据以及工作状态(是否正常),可以查看现场所有在线设备的报警信息和数据采集传输控制器本身的工作状态、报警信息。可以通过中心平台配置数据采集传输控制器的所有信息。
(29) 数据补传功能:数据可以从分析仪补传到数据采集传输控制器;也可以从数据采集传输控制器通过网络补传到中心平台。
(30) 整个系统在线率为90%以上,正常情况下,掉线后应在5分钟之内重新上线。单台现场机(数据采集传输控制器)每日掉线次数在5次以内。数据传输稳定,报文传输稳定性在99%以上,当出现报文错误或丢失时,启动纠错逻辑,数据采集传输控制器重新发送报文。
‘捌’ 数据采集技术是什么
数据采集技术指完成数据从源端获取,并传输到大数据平台,以供数据治理、数据服务使用。数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据,是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型,开发数据质量技术。
OceanMind海睿思数据采集包括公开数据采集和采集汇聚工具。
公开数据采集主要偏向于互联网公开数据的采集、汇聚,公开数据采集是一个灵活、便捷、高效、可扩展的互联网数据爬虫系统。可实现利用模板从指定公开网页上爬取数据,并提供给后续数据处理使用。
采集汇聚工具偏向于持有型数据的采集、汇聚,汇聚工具是可视化数据采集软件,外部数据通过采集工具将数据库或文件类型的数据转换为制定格式的文件(CSV、parquet)存放到指定的FTP路径,然后通过汇聚工具将FTP傻姑娘的文件汇聚至大数据平台。