集群管理神器!分布式计算任务调度系统

科技菜鸟很高能 2024-05-23 03:25:08
真正的大师,永远都怀着一颗学徒的心!

一、项目简介

提供Spark、Flink的运行管理和状态监控,分布式计算任务调度系统

二、实现功能

基于SSH的脚本执行机制是一种简单快捷的部署方式,通过SSH协议可以在远程服务器上执行脚本,实现对远程服务器的管理和操作。这种机制仅需要一个服务即可实现,并且在很多场景下都能够快速部署和使用。

Yarn Rest Api提供了一种任务状态同步机制,可以无缝支持Spark、Flink等大数据处理框架,而且没有版本限制,能够与不同版本的框架进行集成和交互。通过Yarn Rest Api,可以实现任务状态的同步和监控,为大数据处理提供了更加灵活和便捷的管理方式。

在任务执行过程中,失败重试是一项非常重要的功能。支持失败重试可以确保在任务执行出现异常或失败时,系统能够自动进行重试,提高任务执行的稳定性和可靠性,减少因意外情况导致的任务执行失败。

任务依赖是指在任务编排和调度过程中,可以明确定义任务之间的依赖关系,以确保任务能够按照一定的顺序和条件进行执行。支持任务依赖可以帮助用户更加灵活地管理和调度任务,确保任务的顺利执行和数据的正确性。

复杂任务编排(DAG)是一种任务流程图的表示方式,可以描述任务之间的依赖关系和执行流程。支持复杂任务编排可以让用户更加直观地了解任务之间的关系,清晰地定义任务的执行顺序和流程。

流处理任务运行管理和监控是针对实时数据处理任务的管理和监控功能,可以帮助用户实时监控任务的执行情况,及时发现问题并进行调整和处理。支持流处理任务运行管理和监控可以提高实时任务的稳定性和可靠性。

Yarn应用管理是指通过Yarn资源调度器来管理和调度应用程序的执行。支持Yarn应用管理可以让用户更好地利用集群资源,合理调度和管理应用程序的执行,提高资源利用率和任务执行效率。

三、技术选型

SpringBoot

mybatis plus

vue3

element plus

四、界面展示

五、源码地址

私信回复:96

0 阅读:0
科技菜鸟很高能

科技菜鸟很高能

感谢大家的关注