Apache Flink 1.10 TaskManager 内存管理优化

Apache Flink 1.10 对 TaskManager 的内存模型和 Flink 应用程序的配置选项进行了重大变更。这些最近引入的更改做到了对内存消耗提供了严格的控制,使得 Flink 在各种部署环境(例如 Kubernetes,Yarn,Mesos)更具有适应能力,

在本文中,我们将介绍 Flink 1.10 中的内存模型、如何设置和管理 Flink 应用程序的内存消耗以及社区在最新的 Apache Flink Release 版本中的变化。

对 Apache Flink 的内存模型有清晰的了解,可以使您更有效地管理各种情况下的资源使用情况。 下图描述了 Flink 中的主要内存组件:

Flink: Total Process Memory

TaskManager 进程是一个 JVM 进程,从较高的角度来看,它的内存由 JVM Heap 和 Off-Heap 组成。这些类型的内存由 Flink 直接使用,或由 JVM 用于其特定目的(比如元空间 metaspace)。

Flink 中有两个主要的内存使用者:

  • 用户代码中的作业 task 算子
  • Flink 框架本身的内部数据结构、网络缓冲区 (Network Buffers)等

请注意,用户代码可以直接访问所有的内存类型:JVM 堆、Direct 和 Native 内存。因此,Flink 不能真正控制其分配和使用。但是,有两种供作业 Task 使用并由 Flink 严格控制的 Off-Heap 内存,它们分别是:

  • Managed Memory (Off-Heap)
  • 网络缓冲区 (Network Buffers)

网络缓冲区 (Network Buffers) 是 JVM Direct 内存的一部分,分配在算子和算子之间用于进行用户数据的交换。

在最新 Flink 1.10 版本中,为了提供更好的用户体验,框架提供了内存组件的高级和细粒度调优。在 TaskManager 中设置内存基本上有三种选择。

前两个(也是最简单的)选择是需要你配置以下两个选项之一,以供 TaskManager 的 JVM 进程使用的总内存:

  • Total Process Memory:Flink Java 应用程序(包括用户代码)和 JVM 运行整个进程所消耗的总内存。
  • Total Flink Memory:仅 Flink Java 应用程序消耗的内存,包括用户代码,但不包括 JVM 为其运行而分配的内存。

如果是以 standalone 模式部署,则建议配置 Total Flink Memory,在这种情况下,显式声明为 Flink 分配多少内存是一种常见的做法,而外部 JVM 开销却很少。

对于在容器化环境(例如 Kubernetes,Yarn 或 Mesos)中部署 Flink 的情况,建议配置 Total Process Memory,因为它表示所请求容器的总内存大小,容器化环境通常严格执行此内存限制。

其余的内存组件将根据其默认值或其他已配置的参数自动进行调整。Flink 还会检查整体一致性。你可以在相应的文档中找到有关不同内存组件的更多信息。 此外,你可以使用 FLIP-49 的配置电子表格尝试不同的配置选项,并根据你的情况检查相应的结果。

如果要从 1.10 之前的 Flink 版本进行迁移,我们建议你遵循 Flink 文档的迁移指南中的步骤。

其他组件

在配置 Flink 的内存时,可以使用相应选项的值固定不同内存组件的大小,也可以使用多个选项进行调整。下面我们提供有关内存设置的更多信息。

此方法允许按比例细分 Total Flink Memory,其中 Managed Memory(如果未明确设置)和网络缓冲区可以占用一部分。然后,将剩余的内存分配给 Task Heap(如果未明确设置)和其他固定的 JVM Heap 和 Off-Heap 组件。下图是这种设置的示例:

请注意

Flink 会校验分配的 Network Memory 大小在其最小值和最大值之间,否则 Flink 的启动会失败,最大值和最小值的限制具有默认值,这些默认值是可以被相应的配置选项覆盖。

通常,Flink 将配置的占比分数视为提示。在某些情况下,真正分配的值可能与占比分数不匹配。例如,如果将 Total Flink Memory 和 Task Heap 配置为固定值,则 Managed Memory 将获得一定比例的内存,而 Network Memory 将获得可能与该比例不完全匹配的剩余内存。

控制容器内存限制的更多提示

堆内存和 direct 内存的使用是由 JVM 管理的。在 Apache Flink 或其用户应用程序中,还有许多其他 native 内存消耗的可能来源,它们不是由 Flink 或 JVM 管理的。通常很难控制它们的限制大小,这会使调试潜在的内存泄漏变得复杂。

如果 Flink 的进程以不受管理的方式分配了过多的内存,则在容器化环境中通常可能导致 TaskManager 容器会被杀死。在这种情况下,可能很难理解哪种类型的内存消耗已超过其限制。 Flink 1.10 引入了一些特定的调整选项,以清楚地表示这些组件。 尽管 Flink 不能始终严格执行严格的限制和界限,但此处的想法是明确计划内存使用情况。 下面我们提供一些示例,说明内存设置如何防止容器超出其内存限制:

  • RocksDB 状态不能太大:RocksDB 状态后端的内存消耗是在 Managed Memory 中解决的。 RocksDB 默认情况下遵守其限制(仅自 Flink 1.10 起)。你可以增加 Managed Memory 的大小以提高 RocksDB 的性能,也可以减小 Managed Memory 的大小以节省资源。

  • 用户代码或其依赖项会消耗大量的 off-heap 内存:调整 Task Off-Heap 选项可以为用户代码或其任何依赖项分配额外的 direct 或 native 内存。Flink 无法控制 native 分配,但它设置了 JVM Direct 内存分配的限制。Direct 内存限制由 JVM 强制执行。

  • JVM metaspace 需要额外的内存:如果遇到 OutOfMemoryError:Metaspace,Flink 提供了一个增加其限制的选项,并且 JVM 将确保不超过该限制。

  • JVM 需要更多内部内存:无法直接控制某些类型的 JVM 进程分配,但是 Flink 提供了 JVM 开销选项。这些选项允许声明额外的内存量,这些内存是为这些分配所预期的,并且未被其他选项覆盖。

结论

最新的 Flink 版本(Flink 1.10)对 Flink 的内存配置进行了一些重大更改,从而可以比以前更好地管理应用程序内存和调试 Flink。未来 JobManager 的内存模型也会采取类似的更改,可以参考 FLIP-116,因此请继续关注即将发布的新版本中新增的功能。如果你对社区有任何建议或问题,我们建议你注册 Apache Flink 邮件列表并参与其中的讨论。

博客英文地址:https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html
作者: Andrey Zagrebin
本文翻译作者:zhisheng
翻译后首发地址:http://www.54tianzhisheng.cn/2020/05/16/flink-taskmanager-memory-model/

关注我

微信公众号:zhisheng

另外我自己整理了些 Flink 的学习资料,目前已经全部放到微信公众号(zhisheng)了,你可以回复关键字:Flink 即可无条件获取到。另外也可以加我微信 你可以加我的微信:yuanblog_tzs,探讨技术!

更多私密资料请加入知识星球!

专栏介绍

扫码下面专栏二维码可以订阅该专栏

首发地址:http://www.54tianzhisheng.cn/2019/11/15/flink-in-action/

专栏地址:https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f

Github 代码仓库

https://github.com/zhisheng17/flink-learning/

以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客

博客

1、Flink 从0到1学习 —— Apache Flink 介绍

2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

3、Flink 从0到1学习 —— Flink 配置文件详解

4、Flink 从0到1学习 —— Data Source 介绍

5、Flink 从0到1学习 —— 如何自定义 Data Source ?

6、Flink 从0到1学习 —— Data Sink 介绍

7、Flink 从0到1学习 —— 如何自定义 Data Sink ?

8、Flink 从0到1学习 —— Flink Data transformation(转换)

9、Flink 从0到1学习 —— 介绍 Flink 中的 Stream Windows

10、Flink 从0到1学习 —— Flink 中的几种 Time 详解

11、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 ElasticSearch

12、Flink 从0到1学习 —— Flink 项目如何运行?

13、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Kafka

14、Flink 从0到1学习 —— Flink JobManager 高可用性配置

15、Flink 从0到1学习 —— Flink parallelism 和 Slot 介绍

16、Flink 从0到1学习 —— Flink 读取 Kafka 数据批量写入到 MySQL

17、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 RabbitMQ

18、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 HBase

19、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 HDFS

20、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Redis

21、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Cassandra

22、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Flume

23、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 InfluxDB

24、Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 RocketMQ

25、Flink 从0到1学习 —— 你上传的 jar 包藏到哪里去了

26、Flink 从0到1学习 —— 你的 Flink job 日志跑到哪里去了

27、阿里巴巴开源的 Blink 实时计算框架真香

28、Flink 从0到1学习 —— Flink 中如何管理配置?

29、Flink 从0到1学习—— Flink 不可以连续 Split(分流)?

30、Flink 从0到1学习—— 分享四本 Flink 国外的书和二十多篇 Paper 论文

31、Flink 架构、原理与部署测试

32、为什么说流处理即未来?

33、OPPO 数据中台之基石:基于 Flink SQL 构建实时数据仓库

34、流计算框架 Flink 与 Storm 的性能对比

35、Flink状态管理和容错机制介绍

36、Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

37、360深度实践:Flink与Storm协议级对比

38、如何基于Flink+TensorFlow打造实时智能异常检测平台?只看这一篇就够了

39、Apache Flink 1.9 重大特性提前解读

40、Flink 全网最全资源(视频、博客、PPT、入门、实战、源码解析、问答等持续更新)

41、Flink 灵魂两百问,这谁顶得住?

42、Flink 从0到1学习 —— 如何使用 Side Output 来分流?

43、你公司到底需不需要引入实时计算引擎?

44、一文让你彻底了解大数据实时计算引擎 Flink

源码解析

1、Flink 源码解析 —— 源码编译运行

2、Flink 源码解析 —— 项目结构一览

3、Flink 源码解析—— local 模式启动流程

4、Flink 源码解析 —— standalone session 模式启动流程

5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动

6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动

7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程

8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程

9、Flink 源码解析 —— 如何获取 JobGraph?

10、Flink 源码解析 —— 如何获取 StreamGraph?

11、Flink 源码解析 —— Flink JobManager 有什么作用?

12、Flink 源码解析 —— Flink TaskManager 有什么作用?

13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程

14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程

15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制

16、Flink 源码解析 —— 深度解析 Flink 序列化机制

17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的?

18、Flink Metrics 源码解析 —— Flink-metrics-core

19、Flink Metrics 源码解析 —— Flink-metrics-datadog

20、Flink Metrics 源码解析 —— Flink-metrics-dropwizard

21、Flink Metrics 源码解析 —— Flink-metrics-graphite

22、Flink Metrics 源码解析 —— Flink-metrics-influxdb

23、Flink Metrics 源码解析 —— Flink-metrics-jmx

24、Flink Metrics 源码解析 —— Flink-metrics-slf4j

25、Flink Metrics 源码解析 —— Flink-metrics-statsd

26、Flink Metrics 源码解析 —— Flink-metrics-prometheus

26、Flink Annotations 源码解析

27、Flink 源码解析 —— 如何获取 ExecutionGraph ?

28、大数据重磅炸弹——实时计算框架 Flink

29、Flink Checkpoint-轻量级分布式快照

30、Flink Clients 源码解析

×

纯属好玩

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

文章目录
  1. 1. Flink 内存模型的介绍
  2. 2. 怎么去配置 Flink 的内存
  3. 3. 其他组件
    1. 3.1. 按比例细分 Total Flink Memory
    2. 3.2. 控制容器内存限制的更多提示
  4. 4. 结论
  5. 5. 关注我
  6. 6. 专栏介绍
  7. 7. Github 代码仓库
  8. 8. 博客
  9. 9. 源码解析