温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

flink运行模式有哪些

发布时间:2021-12-31 15:27:09 来源:亿速云 阅读:204 作者:iii 栏目:大数据

本篇内容介绍了“flink运行模式有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

什么是flink

  • 一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。

  • 下载地址

    • 历史下载地址和最新下载地址

    • 国内地址

运行架构

  • 计算架构:JobManager和TaskManger

    • JobManager主要负责调度task,协调checkpoint已经错误恢复等

    • TaskManger具体任务执行

计算框架

flink运行模式有哪些

  • Flink SQL,原型是阿里2019开源 Blink代码。

    • Flink SQL定义sql语句,代码加载实现数据结构化和处理功能。

  • Table API:

    • 有source和sink概念,source是输入源,sink为输出源,代码有相关sql方法,无需定义sql语句

  • DataStream和DataSetAPI,纯代码实现计算,一个负责实时,一个服务批处理。

运行模式

  • 资料

  • 三种模式

    • Yarn-session 模式

    • Single job 模式

    • 预先在yarn上面划分一部分资源给flink集群用,flink提交的所有任务,共用这些资源

    • 每次提交任务,都会创建一个新的flink集群

    • 无hadoop集群,flink自身集群运行。

    • 本地主机计算

    • 模式一:Local(本地)模式

    • 模式二:Standalone(独立)模式

    • on yarn模式

“flink运行模式有哪些”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI