导航:首页 > 数据处理 > 时序数据库解决什么问题

时序数据库解决什么问题

发布时间:2023-06-01 21:01:10

⑴ 综合使用时序数据与截面数据能解决多重共线性吗

时序数据与截面数据能解决多重共线性请参考下面时序数据库白皮书。


思极有容数据库

时序数据库技术白皮书


北京中电普华信息技术有限公司

2020年4月


目录

1大数据时代的挑战1

2产品特点1

3系统结构2

4存储结构4

5数据分区、水平扩展6

6高可靠系统7

7STable:多表聚合9

8数据模型10

9实时流式计算11

10便捷的安装、部署、维护12

11更多亮点13

12参数指标13

13应用场景14


1大数据时代的挑战

随着移动互联网的普及,数据通讯成本的急剧下降,以及各种低成本的传感技术和智能设备的出现,除传统的手机、计算机在实时采集数据之外,手环、共享单车、出租车、智能电表、环境监测设备、电梯、大型设备、工业生产线等也都在源源不断的产生海量的实时数据并发往云端。这些海量数据是企业宝贵的财富,能够帮助企业实时监控业务或设备的运行情况,生成各种维度的报表,而且通过大数据分析和机器学习,对业务进行预测和预警,能够帮助企业进行科学决策、节约成本并创造新的价值。

仔细研究发现,所有机器、设备、传感器、以及交易系统所产生的数据都是时序的,而且很多还带有位置信息。这些数据具有明显的特征,1:数据是时序的,一定带有时间戳;2:数据是结构化的;3:数据极少有更新或删除操作;4:无需传统数据库的事务处理;5:相对互联网应用,写多读少;6:用户关注的是一段时间的趋势,而不是某一特点时间点的值;7:数据是有保留期限的;8:数据的查询分析一定是基于时间段和地理区域的;9:除存储查询外,往往还需要各种统计和实时计算操作;10:数据量巨大,一天采集的数据就可以超过100亿条。

看似简单的事情,但由于数据记录条数巨大,导致数据的实时写入成为瓶颈,查询分析极为缓慢,成为新的技术挑战。传统的关系型数据库或NoSQL数据库以及流式计算引擎由于没有充分利用这些数据的特点,性能提升极为有限,只能依靠集群技术,投入更多的计算资源和存储资源来处理,企业运营维护成本急剧上升。

2产品特点

思极有容时序数据库正是普华公司面对这一高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品,它不依赖任何第三方软件,也不是优化或包装了一个开源的数据库或流式计算产品,而是在吸取众多传统关系型数据库、NoSQL数据库、流式计算引擎、消息队列等软件的优点之后自主开发的产品,在时序空间大数据处理上,有着自己独到的优势。

·10倍以上的性能提升:定义了创新的数据存储结构,单核每秒就能处理至少2万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快了十倍以上。

·硬件或云服务成本降至1/5:由于超强性能,计算资源不到通用大数据方案的1/5;通过列式存储和先进的压缩算法,存储空间不到通用数据库的1/10。

·全栈时序数据处理引擎:将数据库、消息队列、缓存、流式计算等功能融合一起,应用无需再集成Kafka/Redis/HBase/HDFS等软件,大幅降低应用开发和维护的复杂度成本。

·强大的分析功能:无论是十年前还是一秒钟前的数据,指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。临时查询可通过Shell,Python,R,Matlab随时进行。

·与第三方工具无缝连接:不用一行代码,即可与Telegraf,Grafana,Matlab,R等工具集成。后续将支持MQTT,OPC等工具,与BI工具也能够无缝连接。

·零运维成本、零学习成本:安装、集群一秒搞定,无需分库分表,实时备份。支持标准SQL语句,支持JDBC,RESTful连接,支持Python/Java/C/C++/Go等开发语言,与MySQL相似,零学习成本。

采用思极有容时序数据库,可将典型的物联网、车联网、工业互联网大数据平台的整体成本降至现有的1/5。同样的硬件资源,思极有容时序数据库能将系统处理能力和容量增加五倍以上。

3系统结构

思极有容时序数据库是基于硬件、软件系统不可靠、一定会有故障的假设进行设计的,是基于任何单台计算机都无足够能力处理海量数据的假设进行设计的,因此思极有容时序数据库从研发的第一天起,就是按照分布式高可靠架构进行设计的,是完全去中心化的。思极有容时序数据库整个系统结构如下图所示,下面对一些基本概念进行介绍。


物理节点:集群里的任何一台物理机器(dnode),根据其具体的CPU、内存、存储和其它物理资源,思极有容时序数据库将自动配置多个虚拟节点。

虚拟数据节点:存储具体的时序数据,所有针对时序数据的插入和查询操作,都在虚拟数据节点上进行(图例中用V标明)。位于不同物理机器上的虚拟数据节点可以组成一个虚拟数据节点组(如图例中dnode0中的V0,dnode1中的V1,dnode6中的V2组成了一个组),虚拟节点组里的虚拟节点的数据以异步的方式进行同步,并实现数据的最终一致性,以保证一份数据在多台物理机器上有拷贝,而且即使一台物理机器宕机,总有位于其他物理机器上的虚拟节点能处理数据请求,从而保证系统运行的高可靠性。

虚拟管理节点:负责所有节点运行状态的采集、节点的负载均衡,以及所有MetaData的管理,包括用户、数据库、表的管理(图例中用M标明)。当应用需要插入或查询一张表时,如果不知道这张表位于哪个数据节点,应用会连接管理节点来获取该信息。MetaData的管理也需要有高可靠的保证,系统采用Master-Slave的机制,容许多到5个虚拟管理节点组成一个虚拟管理节点集群(如图例中的M0,M1,M2)。这个虚拟管理节点集群的创建是完全自动的,无需任何人工干预,应用也无需知道虚拟管理节点具体在哪台物理机器上运行。

集群对外服务IP:整个系统可以由多台甚至数万台服务器组成,但对于应用而言,只需要提供整个集群中任何一台或两台服务器的IP地址即可。集群将根据应用的请求,自动的将请求转发到相应的一个甚至多个节点进行处理,包括聚合、计算操作等。这些复杂的分发和路由对应用是完全透明的。

4存储结构

为提高压缩和查询效率,思极有容时序数据库采用列式存储。与众多时序数据库不同的是,思极有容时序数据库基于时序数据的特点,将每一个采集点的数据作为数据库中的一张独立的表来存储。这样对于一个采集点的数据而言,无论在内存还是硬盘上,数据点在介质上是连续存放的,这样大幅减少随机读取操作,减少IO操作次数,数量级的提升读取和查询效率。而且由于不同数据采集设备产生数据的过程完全独立,每个设备只产生属于自己的数据,一张表也就只有一个写入者。这样每个表就可以采用无锁方式来写,写入速度就能大幅提升。同时,对于一个数据采集点而言,其产生的数据是时序的,因此写的操作可用追加的方式实现,进一步大幅提高数据写入速度。


数据具体写如流程如图所示:

写入数据时,先将数据点写进Commit日志,然后转发给同一虚拟节点组里的其他节点,再按列写入分配的内存块。当内存块的剩余空间达到一定临界值或设定的commit时间时,内存块的数据将写入硬盘。内存块是固定大小(如16K)的,但依据系统内存的大小,每个采集点可以分配一个到多个内存块,采取LRU策略进行管理。在一个内存块里,数据是连续存放的,但块与块是不连续的,因此思极有容时序数据库为每一个表在内存里建立有块的索引,以方便写入和查询。

数据写入硬盘是以添加日志的方式进行的,以求大幅提高落盘的速度。为避免合并操作,每个采集点(表)的数据也是按块存储,在一个块内,数据点是按列连续存放的,但块与块之间可以不是连续的。思极有容时序数据库对每张表会维护一索引,保存每个数据块在文件中的偏移量,起始时间、数据点数、压缩算法等信息。每个数据文件仅仅保存固定一段时间的数据(比如一周,可以配置),因此一个表的数据会分布在多个数据文件中。查询时,根据给定的时间段,思极有容时序数据库将计算出查找的数据会在哪个数据文件,然后读取。这样大幅减少了硬盘操作次数。多个数据文件的设计还有利于数据同步、数据恢复、数据自动删除操作,更有利于数据按照新旧程度在不同物理介质上存储,比如最新的数据存放在SSD盘上,最老的数据存放在大容量但慢速的硬盘上。通过这样的设计,思极有容时序数据库将硬盘的随机读取几乎降为零,从而大幅提升写入和查询效率,让思极有容时序数据库在很廉价的存储设备上也有超强的性能。

为减少文件个数,一个虚拟节点内的所有表在同一时间段的数据都是存储在同一个数据文件里,而不是一张表一个数据文件。但是对于一个数据节点,每个虚拟节点都会有自己独立的数据文件。

5数据分区、水平扩展

为处理每日高达数亿条的海量数据,数据必须在多个节点存放。在思极有容时序数据库里,数据是按照每个采集点(表)来存放的。一张表(一个采集点)的数据,即使每秒产生一百个字节的数据量,一年也才3G的数据量,压缩后,往往还不到300M,因此在思极有容时序数据库里,一个表的数据是不跨节点存储的,以便于单张表的快速高效的插入、查询和计算。

为更好的数据分区,思极有容时序数据库采用了虚拟数据节点的设计。一个虚拟数据节点包含多个表,表的数量可以配置。根据其计算和存储资源,一个物理节点将被划分为多个虚拟数据节点。虚拟数据节点的设计带来几大优势:

1)更好的支持硬件异构环境,资源多的服务器可以创建更多的虚拟节点;

2)恢复一个宕机的节点,可以让众多的其他节点参与进来,大大加快速度;

3)如果撤掉一个数据节点,该节点上的虚拟节点将被相当均匀的迁移到其他节点上去;

4)新增一个数据节点,负载过热的节点的上的部分虚拟节点将被整体迁移过来。这一切让负载更加均衡,让数据同步变得更加高效。

与传统的数据库相似,用户可以创建多个数据库,每个库里面,可以创建多个表。一个库可以横跨多个虚拟数据节点,但一个虚拟数据节点仅仅属于一个数据库。当用户添加一个表时,管理节点将查看已经分配的虚拟节点里是否还有空位,如果有,就将该表分配到这虚拟节点。如果这个库的所有虚拟节点都没有空位,管理节点将根据负载均衡的策略(随机、轮询等)来分配一个新的虚拟节点给该库,然后将该表分配到新的虚拟节点里。由于一台物理主机有多个虚拟数据节点,这种策略能保证负载均匀分布。

管理节点负责整个系统的负载均衡,包括虚拟数据节点的增加、删除、迁移、合并与拆分。管理节点并不保存每个采集点采集的数据,只是管理虚拟节点,即使宕机,也不会影响现有各虚拟节点的数据插入和查询操作。各个采集点或应用从管理节点获取分配的虚拟数据节点信息后,然后直接与虚拟数据节点通讯,直接将数据插入数据库,对于查询操作也是如此。因此,系统容量以及吞吐率与虚拟数据节点的个数成正比,整个系统是水平扩展的

6高可靠系统

为保证数据节点的高可靠性,思极有容时序数据库引入了虚拟数据节点组的概念,并采用异步的方式进行数据同步。一个虚拟节点组由处于不同物理主机上的虚拟数据节点组成,虚拟数据节点个数就是数据冗余的个数(ReplicationFactor,一般大于2)。在一个虚拟节点组里,各个虚拟数据节点通过心跳包实时知道对方的状态。如果一个虚拟数据节点收到数据写入的请求,该请求会被立即转发给其他虚拟数据节点,然后在本地存储处理。当应用连接思极有容时序数据库系统时,对于要操作的任何一张表,系统会给应用提供该表所属的虚拟数据节点组里各个虚拟节点的IP地址(如果replicationfactor为3,就会有3个IP地址),如果链接其中一个失败或者操作失败,应用会尝试第二个、第三个,只有所有节点失败才会返回失败。这样保证虚拟数据节点组里任何一台机器宕机,都不会影响对外的服务。这些复杂的重新连接流程都被思极有容时序数据库Driver包装隐藏起来,应用开发者无需写程序来实现。

为保证效率,思极有容时序数据库采取异步方式实现多个副本之间的实时数据同步,采取的是最终一致性,而不是强一致。当一台主机重启时,每个虚拟数据节点都会检查自己数据的版本是否与其他虚拟节点一致,如果版本不一致,需要同步后才能进入对外服务状态。在运行过程中,由于各种原因,数据仍然可以失去同步,这种不同步会在收到转发的写入请求时被发现,一旦被发现,版本低的虚拟数据节点将马上停止对外服务,进入同步流程,同步完后,才会重新恢复对外服务。同步过程中,高版本的节点还可以正常的对外提供服务。

管理节点负责存储Meta数据,同时根据每个数据节点状态来负责负载均衡,因此也要保证其高可靠性。多个虚拟管理节点组成一个虚拟管理节点组,因为Meta数据可以被多个应用同时更新,因此思极有容时序数据库采用的是Master-Slave模式实现虚拟管理节点的数据同步。写的操作,只有Slave节点写入成功后,Master节点才会返回成功,从而保证数据的强一致性。如果Master节点宕机,系统有机制保证其中一个Slave会立即被选举为Master,从而保证系统写操作的高可靠性。

由于Meta数据量并不大,Meta数据虽然需持久化存储,但将其完全保存在内存,以保证查询操作的高效。在应用侧,为避免每次数据操作都访问管理节点,思极有容时序数据库Driver将必要的Meta数据都会缓存在本地,只有当需要的Meta数据不存在或失效的情况下,才会访问管理节点,这样大大提高系统性能。

管理节点在集群中存在,但对于应用和系统管理员而言,是完全透明的。整个系统会自动在物理节点上创建虚拟管理节点以及虚拟管理节点组。

7STable:多表聚合

各个数据采集点的时钟是很难同步的,为保证其时序,而且为保证单一采集点的数据在存储介质上的连续性,思极有容时序数据库要求每个数据采集点单独建表,这样能极大提高数据的插入速度以及查询速度,但是这将导致系统表的数量猛增,让应用对表的维护以及聚合、统计操作难度加大。为降低应用的开发难度,思极有容时序数据库引入了STable超级表的概念。

STable是表的集合,包含多张表,而且这个集合里每张表的Schema是一样的。同一类型的采集设备可创建一个STable。与表一样,包含Schema,但还包含标签信息。Schema定义了表的每列数据的属性,如温度、压力等,而标签信息是静态的,属于MetaData,如采集设备的型号、位置等。思极有容时序数据库扩展了标准SQL的table的定义,创建时,除指定Schema外,还可以带关键词tags来指定有哪些标签。如:

createtablem1(tstimestamp,pressureint,rpmint)tags(modelbinary(8),colorbinary(8))

上述SQL创建了一个STablem1,带有标签model和标签color。为某一个具体的采集点创建表时,可以指定其所属的STable以及标签的值,比如:

createtablet1usingm1tags(‘apple’,‘red’)

上述SQL以STablem1为模板,创建了一张表t1,这张表的Schema就是m1的Schema,但标签model设为apple,标签color设为red。插入数据时,仍然按照正常的方式进行插入。但查询时,除传统的表的查询外,还可以基于标签对STable进行各种聚合查询或统计。如:

selectavg(pressue)fromm1wheremodel=’apple’interval(5m)groupbycolor

上面这个SQL语句表示将标签model值为apple的所有采集点的记录的每5分钟的平均值计算出来,并按照标签color进行分组。

对于STable的查询操作,完全与正常的表一样。但一个定义的STable可以包含多张表(多个数据采集点),应用可通过指定标签的过滤条件,对一个STable下的全部或部分表进行聚合或统计操作,这样大大简化应用的开发。其具体流程如下图所示:

1)、应用将一个查询条件发往系统;

2)、Driver将查询的过滤条件发往MetaNode(管理节点);

3)、管理节点将符合查询过滤条件的表的列表发回Driver(包含每个表对应的数据节点的IP地址);

4)、这些返回的表可能分布在多个数据节点,Driver将计算的请求发往相应的多个数据节点;

5)、每个数据节点完成相应的聚合计算,将结果返回给Driver;

6)、Driver将多个数据节点返回的结果做最后的聚合,将其返回给应用。

8数据模型

思极有容时序数据库采用的仍然是传统的关系型数据库的模型。用户需要根据应用场景,创建一到多个库,然后在每个库里创建多张表,创建表时需要定义Schema。对于同一类型的采集点,为便于聚合统计操作,可以先定义超级表STable,然后再定义表。

不同的采集点往往具有不同的数据特征,比如有的采集点数据采集频率高,有的数据保留时长较长,有的采集数据需要3份备份,而有的数据一份备份即可,有的采集点一条记录很大,而有的采集点的记录仅仅16个字节,很小。为让各种场景下思极有容时序数据库都能最大效率的工作,思极有容时序数据库建议将不同数据特征的表创建在不同的库里。创建一个库时,除SQL标准的选项外,应用还可以指定保留时长、数据备份的份数、cache大小、是否压缩等多种参数。

思极有容时序数据库对库的数量、STable的数量以及表的数量没有做任何限制,而且其多少不会对性能产生影响,应用按照自己的场景创建即可。

9实时流式计算

在存储的原始数据上,思极有容时序数据库可以做各种计算,目前支持的主要操作包括:

·Avg:以每个采样时间范围内的value的平均值作为结果

·Dev:以每个采样时间范围内的value的标准差作为结果

·Count:以每个采样时间范围内的点的数目作为结果

·First:以每个采样时间范围内的第一个value作为结果

·Last:以每个采样时间范围内的最后一个value作为结果

·LeastSquares:对每个采样时间范围内的value进行最小二乘法的拟合

·Max:以每个采样时间范围内的value的最大值作为结果

·Min:以每个采样时间范围内的value的最小值作为结果

·Percentile:每个采样时间范围内的value的第p百分位数作为结果。

·Sum:以每个采样时间范围内的value的总和作为结果

·Diff:以每两个相邻的value的差值作为结果

·Div:以每个value除以一个除数作为结果

·Scale:以每个value乘以一个倍数作为结果

·基于多个采集点数据的四则运算表达式

思极有容时序数据库还可对一个或多个数据流进行实时聚合、统计等计算,并将计算出的衍生数据当做新的数据保存进思极有容时序数据库,以便后续的操作。实时计算与聚合查询很类似,只是后台定时进行,并自动滑动计算窗口的起始点。工作方式与其他流式计算引擎的SlidingWindow相似。

实时计算可以通过一个简单的创建表的操作来实现。如:

createtabled1asselectavg(pressure)fromt1interval(60s)sliding(10s)

上述SQL表示将表t1里字段pressure每10秒钟(每次滑动的时间间隔)将过去的60秒钟(聚合计算的时间间隔)的数据平均值计算出来并写入表d1。计算出的衍生数据可以与其他原始数据或计算出的衍生数据进行再次计算。

10便捷的安装、部署、维护

思极有容时序数据库是在Linux上开发的,任何Linux系统都可以运行,而且不依赖任何第三方软件,也不是在某个开源项目上包装出来的产品。获得安装包并解压后,只需执行安装脚本就一切搞定,极其简单。

安装后,会在安装的机器上自动创建虚拟数据节点和管理节点,开发者就可以使用了,能满足一般性的需求。但如果数据量大,就需要将软件安装到多台主机。这时也只需要在每台机器配置好MasterIP,系统管理员打开思极有容时序数据库Shell,将新添加的主机添加进系统即可。如果要撤销一个物理节点,登录思极有容时序数据库Shell,将其删除即可,极其简单。传统数据库所需要的数据分区、数据迁移等等都一概不存在。

因为数据是自动同步到多个节点的,系统管理员不用担心数据的丢失,也不用制定备份和数据恢复策略,一切全自动进行。

如果软件需要升级,只要在思极有容时序数据库Shell里将新版本上传即可。管理节点将挨个把每个节点的软件进行升级,而且整个系统的服务将不停止,服务不受任何影响。如果要更换设备,只需将其拔除,安装上软件后,将新设备重新插入即可。换言之,思极有容时序数据库完全支持在线升级以及硬件的热插拔,从而保证服务的7*24的不间断运行。

开发人员需要做的是定义表的结构,根据具体场景,配置好各种参数,让系统性能达到最优。系统管理员只需要关注与硬件相关的报警信息,对于经常出问题的服务器或硬盘,进行更换而已。使用思极有容时序数据库,整个系统的运维工作变得极为简单,将大大降低运营成本。

11更多亮点

订阅模式:与标准的数据库不同,思极有容时序数据库还提供一种订阅模式。应用程序可以订阅数据库某张表的内容,一旦该表有新的记录,应用将立即得到通知。同一个表可以被多个应用订阅。与流行的消息中间件Kafka一样,订阅采取的是pull而不是push模式。Kafka的publish操作由数据库插入操作代替。由于思极有容时序数据库具有极高的插入速度,通过采用订阅模式,思极有容时序数据库本身也可以作为一个消息队列中间件来使用。

异步插入:为避免网络延迟带来的性能下降,更好的提高数据插入速度,思极有容时序数据库还提供一组API让应用异步插入数据。当应用调用插入API时,将立即得到反馈,等记录成功插入后,思极有容时序数据库将调用应用提供的回调函数通知应用。采用异步插入,性能将大幅提高。

Nagle算法:时序数据应用场景里,每条记录一般都很小,很多不到20字节,因此整个系统处理的是大量的小数据包。为了更进一步提高性能,减少网络IO次数,思极有容时序数据库采用了类似TCP协议的Naggle算法,客户端将缓存插入请求,只有记录的大小超过一定的大小或者缓存时间超过100毫秒,被缓存的插入请求才会被发往系统。对于时间要求很高的应用,该功能可以关闭。

12参数指标

·支持数据类型:tinyint,smallint,int,bigint,float,double,binary

·单记录最大长度:4096字节

·最大记录条数:仅受存储空间限制

·最大表的个数:仅受节点个数限制

·最大数据备份数:5份

·单节点插入速度:3万条/秒(单核,16字节每记录,每次一条,无同步备份)

·单节点查询速度:2000万条/秒(单核,16字节每记录,全内存)

·更多指标将陆续提供

13应用场景

思极有容时序数据库作为一个基础性的软件,应用范围及其广泛,原则上,所有使用机器、设备、传感器采集数据的地方都可以用上。一些典型场景罗列如下:

·公共安全:上网记录、通话记录、个体追踪、区间筛选

·电力行业:智能电表、电网、发电设备的集中监测

·通讯行业:话费详单、用户行为、基站/通讯设备监测

·金融行业:交易记录、存取记录、ATM、POS机监测

·出行工具:火车/汽车/出租/飞机/自行车的实时监测

·交通行业:实时路况,路口流量监测,卡口数据

·石油石化:油井、运输管线、运输车队的实时监测

·互联网:服务器/应用监测、用户访问日志、广告点击日志

·物流行业:车辆、集装箱的追踪监测

·环境监测:天气、空气、水文、地质环境等监测

·物联网:电梯、锅炉、机械、水表、气表等各种联网设备

·军工行业:各种军事装备的数据采集、存储

·制造业:生产过程管控,流程数据、供应链数据采集与分析


网页链接技术白皮书网页链接请单击查看!

⑵ 时序数据库是啥跟普通数据库有啥区别

时序数据库是移动云研发的一款专注于处理海量时序监控数据的在 线数据库服务,和普通数据库相比,储存空间更大,数据保存起来更安全!

⑶ 再不懂时序就OUT啦!阿里云数据库InfluxDB正式商业化

阿里云数据库 InfluxDB® 版已于近日正式启动商业化 。 云数据库 InfluxDB® 是基于当前最流行的开源数据库 InfluxDB 提供的在线数据库服务,相比较开源具有免运维,稳定可靠,可弹性伸缩的优势,广泛应用于互联网基础资源监控,容器监控,业务运营监控分析,物联网设备远程实时监控,工业安全生产监控,生产质量评估和故障回溯。提供时序数据自动化采集,压缩存储,类SQL查询,多维聚合计算和数据可视化分析能力。点击关注,InfluxDB 商业化活动

时序数据和企业业务密切相关,不可或缺。任何一家企业都需要一套高效的运维系统保证实时发现应用和业务问题,通过监控,故障告警的手段,进行故障定位,保证在线业务的稳定,减少不可用时常。业务运营人员依赖运营系统,保证有充足的数据进行业务分析判断,便于更准确的做出业务决策。物联网企业和工业企业都需要能够实时掌握设备的运行状态,对生产过程进行监控,实时判故障预警,故障定位,故障回溯以及业务。以上业务场景都需要时序数据作为“数据证据”来表示指标“变化”过程,进而达到告警,诊断,修复和预测的业务目的。

时序数据很简单,构成具有三个要素,主体,时间戳,和指标数据。比如: xxx公司(主体)2019年8月26日上午10时,11时, 12时(时间戳)的股价分别是:160 USD,165 USD,180 USD(指标值)。概括来说,区别于关系数据库关心的是“最终结果”。时序数据表示的是资产或者过程是如何随着时间变化的,体现的是“变化”的过程价值。

时序数据主要应用在:运维监控,运营分析,设备监控,BI分析,工业安全生产监控场景。这些场景上,产生的核心数据是时序数据,业务特征表现在 写多读少 ,无事务性要求,数据分析强关联时间维度,且实时性要求高。

时序数据库针对时序数据业务特征进行针对性的数据存储结构设计,以及存储方式的优化,在监控等时序业务场景下数据的写入,读取,分析能力相比较传统的关系型数据库如 MySQL ,具有百倍的性能提升。

从数据存储架构上看,关系数据库通常按照行来记录一条时间记录数据,且顺序记录之间无主体关联性,单个主体的记录数据随机分散在多行,如果是分布式数据库甚至分布在多个分分库上,记录之间也没有时间顺序组织数据,连续时间戳的数据,分散在不连续的存储上,这样就造成按照主体和时间维度的数据写入和存储的效率大大降低。

而时序数据库按照主体为维度进行数据存储和索引,完全按照业务使用场景组织数据,相同主体指标数据组织在一起,并且按照时间为度进行分片存储,只需要获取主体信息和时间分片信息就可以顺序进行写入和读取操作。单次IO请求磁盘寻道的时间和获取数据量比关系数据库寻道的效率和获取数据量都要高,查询的时间区间越大,查询主体越多,数据越多,效率差异越大,整体性能比关系数据库要高出十倍甚至百倍。

云InfluxDB® 相比较开源InfluxDB 优势明显。 云InfluxDB 提供云服务的方式,有行业顶级的专家支持服务,具有 免安装,免运维,稳定性高,数据高可靠的优势。使用云存储的方案,数据多副本存储,数据可靠性达到99.9999% 。

自建快速迁移上云

云 InfluxDB 提供了快速迁云的工具,只需动动鼠标就可以完成自建InfluxDB 到 云 InfluxDB 的迁移。

类SQL 开发友好,快速上手

阿里云 InfluxDB 完全兼容开源 InfluxDB ,面向开发友好, 为了方便传统关系数据库开发者能够快速适应Influx DB开发, 提供给了类 SQL的查询语言 InfluxQL,在提供强大的时序分析能力的基础上,最大程度的沿用了SQL的开发模式,使得学习成本大大降低。

集成数据采集,搭建监控更简单

阿里云数据库 InfluxDB 继承了 Influx DB 良好的开源生态,具有完整的数据采集,存储和数据可视化监控告警体系 TICK Stack 支撑。 同时相比较开源产品,提供了产品化的数据采集服务,只需在控制台进行几步简单操作,“0” 代码完成各类监控源的监控数据自动采集。

云InfluxDB® 金融高可用版即将推出

服务的高可靠和数据一致性对金融类企业至关重要,开源的InfluxDB 没有提供高可靠的HA 版本,阿里云InfluxDB 针对金融,保险,银行,涉及数据和服务高可靠的研发了 HA高可用版本, 目前正在商业化上线的过程中,不久就可上线提供服务。

云InfluxDB® 商业化限时优惠

⑷ 数据库系统要解决什么问题

数据库系统解决数据处理的需要而发展起来的一种较为理想的数据处理的核心机构。

数据库系统对数据的存储的问题得到了很好的解决。计算机的高速处理能力和大容量存储器提供了实现数据管理自动化的条件。

数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统,也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统,是存储介质 、处理对象和管理系统的集合体。

(4)时序数据库解决什么问题扩展阅读:

数据库系统的特点:

1、数据的结构化,数据的共享性好,数据的独立性好,数据存储粒度小,数据管理系统,为用户提供了友好的接口。

2、数据库系统的核心和基础,是数据模型,现有的数据库系统均是基于某种数据模型的。

3、数据库系统的核心是数据库管理系统。

4、数据库系统一般由数据库、数据库管理系统(DBMS)、应用系统、数据库管理员和用户构成。DBMS是数据库系统的基础和核心。

数据库系统的基本要求:

1、能够保证数据的独立性。数据和程序相互独立有利于加快软件开发速度,节省开发费用。

2、冗余数据少,数据共享程度高。

3、系统的用户接口简单,用户容易掌握,使用方便。

4、能够确保系统运行可靠,出现故障时能迅速排除;能够保护数据不受非受权者访问或破坏;能够防止错误数据的产生,一旦产生也能及时发现。

参考资料来源:网络-数据库系统

⑸ 时序数据库是什么,哪个好

时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。
时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据。这些工业数据的典型特点是:产生频率快、严重依赖于采集时间、测点多信息量大。

Transwarp TimeLyre 是星环科技研发的企业级分布式时序数据库,可以支撑时序数据的各类业务场景, 支持高吞吐实时写入、时序精确查询、多维检索等。 Timelyre 支持分布式水平扩展,同时具有极高的压缩率可以支持海量时序数据的存储,可以有效支撑物 联网、能源制造、金融量化交易领域等多种时序数据业务场景。

⑹ Spring Boot中使用时序数据库InfluxDB



除了最常用的关系数据库和缓存之外,之前我们已经介绍了在Spring Boot中如何配置和使用 MongoDB LDAP 这些存储的案例。接下来,我们继续介绍另一种特殊的数据库:时序数据库InfluxDB在Spring Boot中的使用。

什么是时序数据库?全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据,这些工业数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生几十GB的数据量)。虽然关系型数据库也可以存储基于时间序列的数据,但由于存储结构上的劣势,使得这些数据无法高效地实现高频存储和查询统计,因此就诞生了一种专门针对时间序列来做存储和优化的数据库,以满足更高的效率要求。(参考:网络:时序数据库https://ke..com/item/%E6%97%B6%E5%BA%8F%E6%95%B0%E6%8D%AE%E5%BA%93/922671)

InfluxDB就是目前比较流行的开源时序数据库(官网地址:https://www.influxdata.com/),我们比较常见的使用场景就是一些与时间相关的高频的数据记录和统计需要,比如:监控数据的存储和查询。

在进行下面的动手环节之前,先了解一下InfluxDB中的几个重要名词:

其中,一个Point由三个部分组成:

在了解了什么是时序数据库以及InfluxDB一些基础概念之后,下面我们通过一个简单的定时上报监控数据的小案例,进一步理解InfluxDB的基础配置、数据组织和写入操作!

第一步 :创建一个基础的Spring Boot项目(如果您还不会,可以参考这篇文章:快速入门(https://blog.didispace.com/spring-boot-learning-21-1-1/)

第二步 :在 pom.xml 中引入influx的官方SDK

注意:这里因为Spring Boot 2.x版本的parent中有维护InfluxDB的SDK版本,所以不需要手工指明版本信息。如果使用的Spring Boot版本比较老,那么可能会缺少version信息,就需要手工写了。

第三步 :配置要连接的influxdb信息

三个属性分别代表:连接地址、用户名、密码。到这一步,基础配置就完成了。

注意:虽然没有spring data的支持,但spring boot 2.x版本中也实现了InfluxDB的自动化配置,所以只需要写好配置信息,就可以使用了。具体配置属性可以查看源码: org.springframework.boot.autoconfigure.influx.InfluxDbProperties 。

第四步 :创建定时任务,模拟上报数据,并写入InfluxDB

第一步 :启动InfluxDB,并通过命令行准备好要使用的数据库,主要涉及的命令如下;

第二步 :启动Spring Boot应用,在定时任务的作用下,我们会看到类似下面的日志:

第三步 :通过命令,查看一下InfluxDB中是否已经存在这些数据

可以看到,已经存在与日志中一样的数据了。

本文的完整工程可以查看下面仓库中 2.x 目录下的 chapter6-3 :

⑺ 移动云时序数据库应用广泛么

移动云时序数据库应用是很广泛的。

移动云时序数据库是一款免搭建、免运维、弹性伸缩、专精于处理海量时序监控数据的在线数据库服务。

它兼容原生InfluxDB协议,提供类SQL的查询引擎,在海量时序数据写入、查询、数据压缩等方面优势显着,可广泛应用于物联网、互联网等设备/机器/传感器类监控等行业场景。

移动云时序数据库拥有快速的数据分析(支持对海量时序监控数据快速分析,帮助企业科学决策、节约成本)、弹性的高可用服务、便捷运维监控、日常可视化管理等功能。

发展历程:

2021年11月2日,在2021中国移动全球合作伙伴大会主论坛上,中国移动总经理董昕进行了题为《与您携手 共赢未来》的致辞。

董昕表示,截至目前,中国移动建设开通5G基站超过56万个,规模全球最大。千兆光纤覆盖超过1亿户,数据中心机架超过108万架,智慧中台汇聚共性能力超过230项。

发展5G套餐客户3.6亿户、终端客户2.5亿户。落地5G行业应用“商品房”超过5000个,推出移动云产品220款。咪咕系列产品用户超过8.7亿户。

阅读全文

与时序数据库解决什么问题相关的资料

热点内容
微博一周数据怎么看 浏览:104
床上用品批发市场哪里 浏览:810
影响产品销售成本的因素有哪些 浏览:34
曼龙怎么做代理 浏览:539
大学驾校如何找代理 浏览:61
怎么销售开拓槟榔市场 浏览:870
信息辅助家园共育活动有什么 浏览:446
广州服装批发市场白马什么定位 浏览:622
产品定制需要什么标志 浏览:76
信息隐藏在现实生活中应用于哪些方面 浏览:804
参与网络信息犯罪要多久才判 浏览:464
要想扎针技术好应该怎么做 浏览:597
二手房买卖交易流程是什么 浏览:939
充红包银行拒绝交易怎么回事 浏览:195
抖音数据清空了怎么恢复 浏览:470
技术学院指哪些 浏览:516
开店做什么生意好加盟代理 浏览:31
增益开关技术是什么 浏览:500
隐藏的程序什么也看不见 浏览:819
工程技术专业能考什么证书 浏览:360