开源免费,超轻量级的大数据调度服务监控平台

科技菜鸟很高能 2024-04-17 22:08:37
真正的大师,永远都怀着一颗学徒的心!

一、项目简介

开源免费,超轻量级的大数据调度服务监控平台

二、实现功能

支持自定义模板设置:允许用户定义作业和转换的模板,以便在创建新任务时快速应用预设的设置和配置。

支持多任务模板复制:允许用户将一个任务的设置和配置复制到多个其他任务,提高操作效率。

支持GUI端配置同步到web端:确保用户在图形用户界面(GUI)上所做的配置能够同步到Web界面,保持一致性和统一性。

支持日志自定义路径配置:允许用户指定作业和转换的日志输出路径,便于管理和监控日志信息。

支持日志文件下载管理:提供界面或工具,方便用户下载和管理作业和转换的日志文件,以便后续分析和审查。

支持文件库资源库配置:允许用户配置文件型资源库,用于存储和管理作业和转换所需的文件和资源。

支持数据库资源库配置:允许用户配置数据库型资源库,用于存储和管理作业和转换所需的数据库连接和元数据信息。

支持SFTP/FTP/FTPS的远程资源库配置:支持远程文件传输协议的资源库配置,方便从远程服务器获取和存储数据。

支持资源库目录树查看:提供资源库内容的目录结构视图,方便用户查看和管理资源。

支持集群调度:允许将作业和转换调度到远程子服务器上执行,以实现分布式和并行处理。

支持调度配置:提供灵活的调度配置选项,包括定时调度和事件触发等方式。

支持监控管理:提供监控作业和转换执行状态的功能,包括实时查看任务进度和结果。

支持本地执行和远程执行:支持作业和转换在本地或远程服务器上执行,灵活适应不同的部署场景。

支持定时配置:允许用户设置作业和转换的定时执行计划,实现自动化运维和任务调度。

支持实时监控:提供实时监控界面,显示作业和转换的执行情况和性能指标。

支持Kettle的web端资源库管理:提供基于Web的资源库管理界面,方便用户在浏览器中管理Kettle的资源库。

支持自定义线程池设置和任务并行处理:允许用户配置作业和转换执行所使用的线程池参数,以及并行处理任务以提高性能。

支持任务告警监控和日志管理:提供告警系统和日志管理功能,及时发现和处理任务执行中的异常情况。

提供业务库和字典库自定义设置:提供业务数据和字典数据的管理功能,方便用户自定义和维护业务数据规则和字典表。

提供大盘调度监控:提供整个系统的调度监控界面,显示各项任务的执行情况和系统性能指标。

提供用户、角色、权限管理:提供用户、角色和权限的管理功能,确保系统安全和权限合规。

提供Druid数据库查询脚本的实时监控能力:支持实时监控Druid数据库查询脚本的执行情况和性能指标。

三、技术选型

SpringBoot

mybatis

vue

四、界面展示

调度大盘上半部分,展示近期实例运行详情,包括运行成功、运行失败、运行中、以及未运行的实例总体概况调度大盘中间部分,则通过图表统计作业以及转换实例的分类情况调度大盘下半部分,则主要展示实例在某段时间的运行趋势如何,可以透过折线图很直观的看出每个时间段的 执行情况,包括运行失败、运行成功的次数分布 调度大盘的最下面则主要统计任务告警情况

作业调度 调度管理分为作业调度以及转换调度,作业调度包括作业名称、描述、运行状态以及运行时间等信息展示 , 在作业调度查询界面,选择创建作业(按模板),则将会根据选定模板创建作业在作业调度查询界面,选择新建作业(已有),则将会从资源库中选择已通过客户端配置好的作业在作业调度查询界面,选中目标作业之后,在上方点击合适的执行按钮,将会执行对应任务,并实时监控任务状态在作业调度查询界面,选中目标作业之后,点击调度监控,则可以查看作业的调度图上述所有操作,转换调度的操作方式同作业类似

转换调度转换调度查询列表,详细描述转换调度执行情况、执行历史、实时监控执行进度等功能实时查看转换调度运行情况 可随时编辑转换信息可随时编辑转换信息

定时调度在作业调度界面,选中执行方式,在执行方式中,选择定时任务执行,则进入到定时执行调度界面在作业定时界面中,您可以选择任意的定时规则

资源库目录树 可以维护多个资源库,本系统同时支持文件库以及数据库资源库,但建议使用数据库作为资源库,文件库作为 资源库使用过程中,经常会出现一些奇怪的问题,并且从数据备份角度来讲,不安全

文件库资源库支持文件库资源库的配置,可通过配置文件不同的传输类型,自定义远程服务器及本地服务的文件库配置,如下图所示:

SFTP/FTPS/FTP的配置情况如下图所示,可以通过配置远程机器,获取到远程的资源库目录信息

数据库资源库支持数据库资源库配置,可通过配置数据库地址,连接资源库,此中方式更好的保护资源库信息,使得后期业务更新、数据迁移、数据备份变得更加有效、也更加安全,如下图所示:

告警监控告警监控主要采集作业任务或转换任务在某段时间内的执行细节,并将执行细节以异常记录的形式存储下来

五、源码地址

私信回复:74

1 阅读:137
评论列表

科技菜鸟很高能

简介:感谢大家的关注