02简介

简介

架构组成

Flink由两种类型的进程组成

• 作业管理器（Job Manager）
  • 作业管理器也被称为Master
  • 在高可用部署下会有多个作业管理器，其中一个是Leader,其他处于Standby状态
  • 作业管理器职责
    • 负责调度任务：决定何时安排下一个任务，对完成的任务做出反应
    • 协调分布式计算
    • 协调检查点
    • 协调故障恢复
  • 组成组件
    • 资源管理器（Resource Manager）:管理任务插槽（Task Slot）,任务插槽是资源调度的单位，可以由YARN,Mesos,Kubernetes和独立部署提供资源
    • 作业主管（JobMaster）:负责管理单个作业图的执行，每个作业都有一个Job Master
    • 调度器（Dispatcher）:提交Job,WebUI
• 任务管理器(Task Manager)
  • 也被称为工作进程（Worker），执行子任务，缓存交换数据
  • 每个作业至少有一个作业管理器

任务插槽和资源

每个任务管理器都是一个JVM进程，一个工作进程至少有一个任务插槽

每一个插槽代表一个固定的资源子集，不划分CPU,划分内存，多个插槽等分资源，插槽之间不会资源竞争

默认情况下，Flink允许同一个作业的子任务共享任务插槽，可以更好的资源利用率（不然复杂的和简单算子会占用同等的资源）