系统日志采集哪些数据

㈠ 系统日志采集是大数据收集的主要来源之一对吗

是。
数据的采集主要来源是日志，日志是用户在网站上产生的一些行为信息。
应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。

㈡ 日志审计能够采集同个ip不同数据吗

日志审计能够采集同个ip不同数据。日志审计能够实时不间断地采集汇聚企业中不同厂商不同种类的安全设备、网络设备、主机、操作系统、用户业务系统的日志信息。日志审计系统是用于全面收集企业IT系统中常见的安全设备。

㈢ 采集数据 参数种类

采集数据参数种类是：Web数据（包括网页、视频、音频、动画、图片等）、日志数据、数据库数据、其它数据。

1、web数据采集：网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息的过程。

网络会从一个或若干初始网页的 URL 开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的 URL 放入队列，直到满足设置的停止条件为止。

2、系统日志采集：系统日志采集主要是收集公司业务平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。

3、数据库采集：传统企业会使用传统的关系型数据库 MySQL 和 Oracle 等来存储数据。

4、其他数据：感知设备数据采集是指通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。

数据源数据同步种类是：

1、直接数据源同步：是指直接的连接业务数据库，通过规范的接口（如JDBC）去读取目标数据库的数据。这种方式比较容易实现，但是如果业务量比较大的数据源，可能会对性能有所影响。

2、生成数据文件同步：是指从数据源系统现生成数据文件，然后通过文件系统同步到目标数据库里。

3、数据库日志同步：是指基于源数据库的日志文件进行同步。现在大多数数据库都支持生成数据日志文件，并且支持用数据日志文件来恢复数据。因此可以使用这个数据日志文件来进行增量同步。

㈣ 以下哪个不是系统日志采集方法

系统日志采集方法。
1、先右击计算机，点击管理然后点击事件查看器的三角形图标，再点击“windows日志”，接着打开“时间属性”窗口。
2、查看当前日志常规和详细信息。
3、数据库采集系统日志采集。
4、网络数据采集，感知设备数据采集。
数据库采集指使用关系型数据库MySQL和Oracle等来存储数据。

㈤ 大数据中的日志数据包括哪些

日志数据的类型包括：1.错误日志(errorlog)；2.慢查询日志(slow query log) ；3.一般查询日志(general log)；4.二进制日志(binlog)；5.中继日志(relay log)；。
日志一般分成Undo与Redo：Undo一般用于事务的取消与回滚，记录的是数据被修改前的值；Redo一般用于恢复已确认但未写入数据库的数据，记录的是数据修改后的值。例如：数据库忽然断电重启，数据库启动时一般要做一致性检查，会把已写到Redo的数据但未写入数据库的数据重做一遍。
大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，最早应用于IT行业，目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据必须采用分布式架构，对海量数据进行分布式数据挖掘，因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

㈥ “SpringCloud”（三十八）搭建ELK日志采集与分析系统

 一套好的日志分析系统可以详细记录系统的运行情况，方便我们定位分析系统性能瓶颈、查找定位系统问题。上一篇说明了日志的多种业务场景以及日志记录的实现方式，那么日志记录下来，相关人员就需要对日志数据进行处理与分析，基于E(ElasticSearch)L(Logstash)K(Kibana)组合的日志分析系统可以说是目前各家公司普遍的首选方案。

  作为微服务集群，必须要考虑当微服务访问量暴增时的高并发场景，此时系统的日志数据同样是爆发式增长，我们需要通过消息队列做流量削峰处理，Logstash官方提供Redis、Kafka、RabbitMQ等输入插件。Redis虽然可以用作消息队列，但其各项功能显示不如单一实现的消息队列，所以通常情况下并不使用它的消息队列功能；Kafka的性能要优于RabbitMQ，通常在日志采集，数据采集时使用较多，所以这里我们采用Kafka实现消息队列功能。
  ELK日志分析系统中，数据传输、数据保存、数据展示、流量削峰功能都有了，还少一个组件，就是日志数据的采集，虽然log4j2可以将日志数据发送到Kafka，甚至可以将日志直接输入到Logstash，但是基于系统设计解耦的考虑，业务系统运行不会影响到日志分析系统，同时日志分析系统也不会影响到业务系统，所以，业务只需将日志记录下来，然后由日志分析系统去采集分析即可，Filebeat是ELK日志系统中常用的日志采集器，它是 Elastic Stack 的一部分，因此能够与 Logstash、Elasticsearch 和 Kibana 无缝协作。

软件下载：

  因经常遇到在内网搭建环境的问题，所以这里习惯使用下载软件包的方式进行安装，虽没有使用Yum、Docker等安装方便，但是可以对软件目录、配置信息等有更深的了解，在后续采用Yum、Docker等方式安装时，也能清楚安装了哪些东西，安装配置的文件是怎样的，即使出现问题，也可以快速的定位解决。

Elastic Stack全家桶下载主页： https://www.elastic.co/cn/downloads/

我们选择如下版本：

Kafka下载：

  安装前先准备好三台CentOS7服务器用于集群安装，这是IP地址为：172.16.20.220、172.16.20.221、172.16.20.222，然后将上面下载的软件包上传至三台服务器的/usr/local目录。因服务器资源有限，这里所有的软件都安装在这三台集群服务器上，在实际生产环境中，请根据业务需求设计规划进行安装。
  在集群搭建时，如果能够编写shell安装脚本就会很方便，如果不能编写，就需要在每台服务器上执行安装命令，多数ssh客户端提供了多会话同时输入的功能，这里一些通用安装命令可以选择启用该功能。

新建/usr/local/java目录

将下载的jdk软件包jdk-8u64-linux-x64.tar.gz上传到/usr/local/java目录，然后解压

配置环境变量/etc/profile

在底部添加以下内容

使环境变量生效

备注：后续可通过此命令停止elasticsearch运行

  新建kafka的日志目录和zookeeper数据目录，因为这两项默认放在tmp目录，而tmp目录中内容会随重启而丢失,所以我们自定义以下目录:

修改如下：

在data文件夹中新建myid文件，myid文件的内容为1（一句话创建：echo 1 > myid）

kafka启动时先启动zookeeper，再启动kafka；关闭时相反，先关闭kafka，再关闭zookeeper。
1、zookeeper启动命令

后台运行启动命令：

或者

查看集群状态：

2、kafka启动命令

后台运行启动命令：

或者

3、创建topic，最新版本已经不需要使用zookeeper参数创建。

参数解释:
复制两份
--replication-factor 2
创建1个分区
--partitions 1
topic 名称
--topic test

4、查看已经存在的topic（三台设备都执行时可以看到）

5、启动生产者：

6、启动消费者：

添加参数 --from-beginning 从开始位置消费，不是从最新消息

7、测试：在生产者输入test，可以在消费者的两台服务器上看到同样的字符test，说明Kafka服务器集群已搭建成功。

Logstash没有提供集群安装方式，相互之间并没有交互，但是我们可以配置同属一个Kafka消费者组，来实现统一消息只消费一次的功能。

  Filebeat用于安装在业务软件运行服务器，收集业务产生的日志，并推送到我们配置的Kafka、Redis、RabbitMQ等消息中间件，或者直接保存到Elasticsearch，下面来讲解如何安装配置：

1、进入到/usr/local目录，执行解压命令

2、编辑配置filebeat.yml
  配置文件中默认是输出到elasticsearch，这里我们改为kafka，同文件目录下的filebeat.reference.yml文件是所有配置的实例，可以直接将kafka的配置复制到filebeat.yml

后台启动命令

停止命令

2、测试logstash是消费Kafka的日志主题，并将日志内容存入Elasticsearch

自动新增的两个index，规则是logstash中配置的

数据浏览页可以看到Elasticsearch中存储的日志数据内容，说明我们的配置已经生效。

Gitee: GitEgg: GitEgg 是一款开源免费的企业级微服务应用开发框架，旨在整合目前主流稳定的开源技术框架，集成常用的最佳项目解决方案，实现可直接使用的微服务快速开发框架。
GitHub: https://github.com/wmz1930/GitEgg

㈦ 数据类信息资源有哪些主要类型简述各类资源的来源

是存就有关科研数据、教们,包括各种统计数据、实验数据、临床检验数据等数值型信息的数据库。
数据主要三大来源：（1）大量人群产生的海量数据；（2）企业应用产生的数据；（3）巨量机器产生的数据。
数据采集的方法：（1）系统日志采集；（2）互联网数据采集；（3）APP移动端数据采集；（4）与数据服务机构进行合作。
数据采集流程：数据采集在明确数据来源之后，可以根据特定行业与应用定位，确定采集的数据范围与数量， 并通过核实的数据采集方法，开展后续的数据采集工作。

㈧ 地点形式的地图信息采集有哪些

1、通过系统日志采集大数据。用于地图信息采集的工具常见的有很多，常见的为ClouderaFlume、FacebookScribe和LinkedInKafka等。这些工具是分布式架构，满足每秒数百MB的日志数据采集和传输需求。
2、通过网络进行地图数据采集。主要指通过网络爬虫或者网站公开API等方式从网站上获取大量数据信息方式，将网站上非结构化的数据抽取出来，采用结构化的方法，同意储存在本地，支持图片、音频、视频、文字等多种形式的素材采集。
3、通过其他数据采集方法。生产和业务数据或学术研究数据，如更高数据的保密性要求，可以通过与企业或者研究机构合作，使用特定系统接口等相关方式采集数据。

㈨ 电脑里的日志有什么作用查看的是哪些内容

作用就是记录系统（程序）运行的状态。打开开始菜单,然后在开始菜单中点击控制面板选项即可查看了。

㈩ 以下哪些属于集中化大数据平台外部采集数据

如何从0到1搭建大数据平台
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去网络查的时候会发现太多的东西，和架构，你不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。

00 架构总览

通常大数据平台的架构如上，从外部采集数据到数据处理，数据显现，应用等模块。

01 数据采集

用户访问我们的产品会产生大量的行为日志，因此我们需要特定的日志采集系统来采集并输送这些日志。Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

02 数据存储

无论上层采用何种的大规模数据计算引擎，底层的数据存储系统基本还是以HDFS为主。HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。具备高容错性、高可靠、高吞吐等特点。

HDFS存储的是一个个的文本，而我们在做分析统计时，结构化会方便需要。因此，在HDFS的基础上，会使用Hive来将数据文件映射为结构化的表结构，以便后续对数据进行类SQL的查询和管理。

03 数据处理

数据处理就是我们常说的ETL。在这部分，我们需要三样东西：计算引擎、调度系统、元数据管理。

对于大规模的非实时数据计算来讲，目前一样采用Hive和spark引擎。Hive是基于MapRece的架构，稳定可靠，但是计算速度较慢；Spark则是基于内存型的计算，一般认为比MapRece的速度快很多，但是其对内存性能的要求较高，且存在内存溢出的风险。Spark同时兼容hive数据源。从稳定的角度考虑，一般建议以Hive作为日常ETL的主要计算引擎，特别是对于一些实时要求不高的数据。Spark等其他引擎根据场景搭配使用。

实时计算引擎方面，目前大体经过了三代，依次是：storm、spark streaming、Flink。Flink已被阿里收购，大厂一直在推，社区活跃度很好，国内也有很多资源。

调度系统上，建议采用轻量级的Azkaban，Azkaban是由Linkedin开源的一个批量工作流任务调度器。https://azkaban.github.io/

一般需要自己开发一套元数据管理系统，用来规划数据仓库和ETL流程中的元数据。元数据分为业务元数据和技术元数据。

业务元数据，主要用于支撑数据服务平台Web UI上面的各种业务条件选项，比如，常用的有如下一些：移动设备机型、品牌、运营商、网络、价格范围、设备物理特性、应用名称等。这些元数据，有些来自于基础数据部门提供的标准库，比如品牌、价格范围等，可以从对应的数据表中同步或直接读取；而有些具有时间含义的元数据，需要每天通过ETL处理生成，比如应用信息。为支撑应用计算使用，被存储在MySQL数据库中；而对于填充页面上对应的条件选择的数据，则使用Redis存储，每天/月会根据MySQL中的数据进行加工处理，生成易于快速查询的键值对类数据，存储到Redis中。
技术元数据，主要包括数据仓库中的模型说明、血缘关系、变更记录、需求来源、模型字段信息等，详细的可以查看数据分析师应该了解的数据仓库(3)

04 数据流转
通过上面一张图了解数据采集，数据处理，到数据展现的数据流转。通常我们在实际工作中，从数据源到分析报告或系统应用的过程中，主要包括数据采集同步、数据仓库存储、ETL、统计分析、写入上层应用数据库进行指标展示。这是最基础的一条线，现在还有基于数据仓库进行的数据分析挖掘工作，会基于机器学习和深度学习对已有模型数据进一步挖掘分析，形成更深层的数据应用产品。

05 数据应用
俗话说的好，“酒香也怕巷子深”。数据应用前面我们做了那么多工作为了什么，对于企业来说，我们做的每一件事情都需要体现出价值，而此时的数据应用就是大数据的价值体现。数据应用包括辅助经营分析的一些报表指标，商城上基于用户画像的个性化推送，还有各种数据分析报告等等。

数据采集系统
01 “大”数据

海量的数据

当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。

复杂的数据

复杂数据的概念和理想数据完全相反。所有数据集都有一定的复杂性，但有一些天生更难处理。通常这些复杂数据集没有定义结构(没有行列结构)，经常变化，数据质量很差。比如更新的网页日志，json数据，xml数据等。

高速的数据

高速数据通常被认为是实时的或是准实时的数据流。数据流本质上是在生成后就发给处理器的数据包，比如物联网的穿戴设备，制造业的传感器，车联网的终端芯片等等。处理实时数据流有很多挑战，包括在采集时不丢失数据、处理数据流中的重复记录、数据如何实时写入磁盘存储、以及如何进行实时分析。

02 采集工具
日志采集

我们业务平台每天都会有大量用户访问，会产生大量的访问日志数据，比如电商系统的浏览，加入购物车，下订单，付款等一系列流程我们都可以通过埋点获取到用户的访问路径以及访问时长这些数据；再比智能穿戴设备，实时都会采集我们的血压、脉搏、心率等数据实时上报到云端。通过分析这些日志信息，我们可以得到出很多业务价值。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。目前常用的开源日志收集系统有Flume、Logstash、Filebeat。可以根据自己公司的技术栈储备或者组件的优缺点选择合适的日志采集系统，目前了解到的Flume使用的比较多。各个采集工具的对比如下：

具体组件的相关配置可以参考之前的文章《日志收集组件—Flume、Logstash、Filebeat对比》

数据库抽取

企业一般都会会使用传统的关系型数据库MySQL或Oracle等来存储业务系统数据。每时每刻产生的业务数据，以数据库一行记录的形式被直接写入到数据库中保存。

大数据分析一般是基于历史海量数据，多维度分析，我们不能直接在原始的业务数据库上直接操作，因为分析的一些复杂SQL查询会明显的影响业务数据库的效率，导致业务系统不可用。所以我们通常通过数据库采集系统直接与企业业务后台数据库服务器结合，在业务不那么繁忙的凌晨，抽取我们想要的数据到分析数据库或者到HDFS上，最后有大数据处理系统对这些数据进行清洗、组合进行数据分析。

常用数据库抽取工具：

阿里开源软件：DataX
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。开源的DataX貌似只能单机部署。

Apache开源软件：Sqoop
Sqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。可以集群化部署。

爬虫爬取

有很多外部数据，比如天气、IP地址等数据，我们通常会爬取相应的网站数据存储。目前常用的爬虫工具是Scrapy，它是一个爬虫框架，提供给开发人员便利的爬虫API接口。开发人员只需要关心爬虫API接口的实现，不需要关心具体框架怎么爬取数据。Scrapy框架大大降低了开发人员开发速率，开发人员可以很快的完成一个爬虫系统的开发。

03 数据存储
HDFS

2003年，Google发布论文GFS，启发Apache Nutch开发了HDFS。2004年，Google 又发布了论文《MapRece: Simplified Data Processing on Large Clusters》，Doug Cutting等人实现计算框架MapRece ，并与HDFS结合来更好的支持该框架。2006年项目从Butch搜索引擎中独立出来，成为了现在的Hadoop。

GFS隐藏了底层的负载均衡，切片备份等细节，使复杂性透明化，并提供统一的文件系统接口。其成本低，容错高，高吞吐，适合超大数据集应用场景。

HDFS原理:横向扩展，增加“数据节点”就能增加容量。
增加协调部门，“命名节点”维护元数据，负责文件系统的命名空间，控
外部访问，将数据块映射到数据节点。还会备份元数据从命名节点，它只与命名节点通信。
数据在多个数据节点备份。
通常关系型数据库存储的都是结构化的数据，我们抽取后会直接放到HDFS上作为离线分析的数据源。

HBase

在实际应用中，我们有很多数据可能不需要复杂的分析，只需要我们能存储，并且提供快速查询的功能。HBase在HDFS基础上提供了Bigtable的能力; 并且基于列的模式进行存储。列存储设计的优势是减少不必要的字段占用存储，同时查询的时候也可以只对查询的指定列有IO操作。HBase可以存储海量的数据，并且可以根据rowkey提供快速的查询性能，是非常好的明细数据存储方案，比如电商的订单数据就可以放入HBase提供高效的查询。

当然还有其他的存储引擎，比如ES适合文本搜索查询等。

04 总结
了解了上面的技术栈后，在实际数据接入中，你还会面临各种问题，比如如何考虑确保数据一致性，保障数据不能丢失，数据采集存储的效率，不能产生数据积压等，这些都需要对每个组件进行研究，适配适合你自己业务系统的参数，用最少的资源，达到最好的结果。

调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分，可以说是ETL任务的灵魂。

01 原始任务调度

记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。Crontab 使用非常方便，配置也很简单。刚开始任务很少，用着还可以，每天起床巡检一下日志。随着任务越来越多，出现了任务不能在原来计划的时间完成，出现了上级任务跑完前，后面依赖的任务已经起来了，这时候没有数据，任务就会报错，或者两个任务并行跑了，出现了错误的结果。排查任务错误原因越来麻烦，各种任务的依赖关系越来越复杂，最后排查任务问题就行从一团乱麻中，一根一根梳理出每天麻绳。crontab虽然简单，稳定，但是随着任务的增加和依赖关系越来越复杂，已经完全不能满足我们的需求了，这时候就需要建设自己的调度系统了。

02 调度系统
调度系统，关注的首要重点是在正确的时间点启动正确的作业，确保作业按照正确的依赖关系及时准确的执行。资源的利用率通常不是第一关注要点，业务流程的正确性才是最重要的。（但是到随着业务的发展，ETL任务越来越多，你会发现经常有任务因为资源问题没有按时启动！）

实际调度中，多个任务单元之间往往有着强依赖关系，上游任务执行并成功，下游任务才可以执行。比如上游任务1结束后拿到结果，下游任务2、任务3需结合任务1的结果才能执行，因此下游任务的开始一定是在上游任务成功运行拿到结果之后才可以开始。而为了保证数据处理结果的准确性，就必须要求这些任务按照上下游依赖关系有序、高效的执行，最终确保能按时正常生成业务指标。

一款成熟易用，便于管理和维护的作业调度系统，需要和大量的周边组件对接，要处理或使用到包括：血缘管理，权限控制，负载流控，监控报警，质量分析等各种服务或事务。

03 调度系统分类
调度系统一般分为两类：定时分片类作业调度系统和DAG工作流类作业调度系统

定时分片类作业调度系统

这种功能定位的作业调度系统，其最早的需要来源和出发点往往是做一个分布式的Crontab。

核心：

将一个大的任务拆成多个小任务分配到不同的服务器上执行， 难点在于要做到不漏，不重，保证负载平衡，节点崩溃时自动进行任务迁移等。
保证任务触发的强实时和可靠性
所以，负载均衡，弹性扩容，状态同步和失效转移通常是这类调度系统在架构设计时重点考虑的特性。

DGA工作流调度系统

这一类系统的方向，重点定位于任务的调度依赖关系的正确处理，分片执行的逻辑通常不是系统关注的核心，或者不是系统核心流程的关键组成部分。

核心：

足够丰富和灵活的依赖触发机制：比如时间触发任务，依赖触发任务，混合触发任务
作业的计划，变更和执行流水的管理和同步
任务的优先级管理，业务隔离，权限管理等
各种特殊流程的处理，比如暂停任务，重刷历史数据，人工标注失败／成功，临时任务和周期任务的协同等
完备的监控报警通知机制
04 几个调度系统
Airflow

Apache Airflow是一种功能强大的工具，可作为任务的有向无环图（DAG）编排、任务调度和任务监控的工作流工具。Airflow在DAG中管理作业之间的执行依赖，并可以处理作业失败，重试和警报。开发人员可以编写Python代码以将数据转换为工作流中的操作。

主要有如下几种组件构成：

web server: 主要包括工作流配置，监控，管理等操作
scheler: 工作流调度进程，触发工作流执行，状态更新等操作
消息队列：存放任务执行命令和任务执行状态报告
worker: 执行任务和汇报状态
mysql: 存放工作流，任务元数据信息
具体执行流程：

scheler扫描dag文件存入数据库，判断是否触发执行
到达触发执行时间的dag,生成dag_run，task_instance 存入数据库
发送执行任务命令到消息队列
worker从队列获取任务执行命令执行任务
worker汇报任务执行状态到消息队列
schler获取任务执行状态，并做下一步操作
schler根据状态更新数据库
Kettle

将各个任务操作组件拖放到工作区，kettle支持各种常见的数据转换。此外，用户可以将Python，Java，JavaScript和SQL中的自定义脚本拖放到画布上。kettle可以接受许多文件类型作为输入，还可以通过JDBC，ODBC连接到40多个数据库，作为源或目标。社区版本是免费的，但提供的功能比付费版本少。

XXL-JOB

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑；因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性。（后来才知道XXL是作者名字拼音首字母缩写）

调度系统开源工具有很多，可以结合自己公司人员的熟悉程度和需求选择合适的进行改进。

海豚调度

Apache DolphinScheler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

高可靠性
去中心化的多Master和多Worker服务对等架构, 避免单Master压力过大，另外采用任务缓冲队列来避免过载
简单易用
DAG监控界面，所有流程定义都是可视化，通过拖拽任务完成定制DAG，通过API方式与第三方系统集成, 一键部署
丰富的使用场景
支持多租户，支持暂停恢复操作. 紧密贴合大数据生态，提供Spark, Hive, M/R, Python, Sub_process, Shell等近20种任务类型
高扩展性
支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线
05 如何自己开发一个调度系统
调度平台其实需要解决三个问题：任务编排、任务执行和任务监控。

任务编排，采用调用外部编排服务的方式，主要考虑的是编排需要根据业务的一些属性进行实现，所以将易变的业务部分从作业调度平台分离出去。如果后续有对编排逻辑进行调整和修改，都无需操作业务作业调度平台。
任务排队，支持多队列排队配置，后期根据不同类型的开发人员可以配置不同的队列和资源，比如面向不同的开发人员需要有不同的服务队列，面向不同的任务也需要有不同的队列优先级支持。通过队列来隔离调度，能够更好地满足具有不同需求的用户。不同队列的资源不同，合理的利用资源，达到业务价值最大化。
任务调度，是对任务、以及属于该任务的一组子任务进行调度，为了简单可控起见，每个任务经过编排后会得到一组有序的任务列表，然后对每个任务进行调度。这里面，稍有点复杂的是，任务里还有子任务，子任务是一些处理组件，比如字段转换、数据抽取，子任务需要在上层任务中引用实现调度。任务是调度运行的基本单位。被调度运行的任务会发送到消息队列中，然后等待任务协调计算平台消费并运行任务，这时调度平台只需要等待任务运行完成的结果消息到达，然后对作业和任务的状态进行更新，根据实际状态确定下一次调度的任务。
调度平台设计中还需要注意以下几项：

调度运行的任务需要进行超时处理，比如某个任务由于开发人员设计不合理导致运行时间过长，可以设置任务最大的执行时长，超过最大时长的任务需要及时kill掉，以免占用大量资源，影响正常的任务运行。
控制同时能够被调度的作业的数量，集群资源是有限的，我们需要控制任务的并发量，后期任务上千上万后我们要及时调整任务的启动时间，避免同时启动大量的任务，减少调度资源和计算资源压力；
作业优先级控制，每个业务都有一定的重要级别，我们要有限保障最重要的业务优先执行，优先给与调度资源分配。在任务积压时候，先执行优先级高的任务，保障业务影响最小化。
06 总结与展望
ETL 开发是数据工程师必备的技能之一，在数据仓库、BI等场景中起到重要的作用。但很多从业者连 ETL 对应的英文是什么都不了解，更不要谈对 ETL 的深入解析，这无疑是非常不称职的。做ETL 你可以用任何的编程语言来完成开发，无论是 shell、python、java 甚至数据库的存储过程，只要它最终是让数据完成抽取（E）、转化（T）、加载（L）的效果即可。由于ETL是极为复杂的过程，而手写程序不易管理，所以越来越多的可视化调度编排工具出现了。

调度系统作为大数据平台的核心部分之一，牵扯的业务逻辑比较复杂，场景不同，也许需求就会差别很多，所以，有自研能力的公司都会选择市面上开源系统二次开发或者完全自研一套调度系统，已满足自身ETL任务调度需求。

不管是哪种工具，只要具备高效运行、稳定可靠、易于维护特点，都是一款好工具