Flink教程(01)- Flink知识图谱[通俗易懂]

Flink教程(01)- Flink知识图谱[通俗易懂]文章目录01引言02Flink知识结构2.1Flink介绍2.2环境准备2.3Flink编程模型2.4DataStreamAPI2.5Flink状态管理和容错2.6DataSetAPI2.7TableAPI&SQL2.8Flink组件栈2.9Flink部署与应用2.10Flink监控与性能优化03Flink知识图谱04文末01引言最近因为工作需要用到了Flink,所以博主开了《Flink教程》专栏来记录Flink的笔记。在学习Flink之前,我们必须

大家好,欢迎来到IT知识分享网。

01 引言

最近因为工作需要用到了Flink,所以博主开了《Flink教程》专栏来记录Flink的笔记。

在学习Flink之前,我们必须要了解Flink究竟要学习什么?本文列了一个目录,主要用于为后续的教程作一个指南针向导,有个学习的方向。

02 Flink 知识结构

如果用文本来描述Flink图谱,如下:

2.1 Flink介绍

|- Flink介绍
|——Apache Flink是什么
|——数据架构的演变
|————传统数据基础架构
|————大数据基础架构
|————有状态流计算架构
|————为什么会是Flink
|——Flink应用场景
|——Flink基础架构
|————基本组件栈
|————基本架构图


2.2 环境准备

|- 环境准备
|——运行环境介绍
|——Flink项目模板
|————基于Java实现的项目模板
|————基于Scala实现的项目模板
|——Flink开发环境配置
|————下载IDEA
|————安装Scala Plugins
|————导入Flink应用代码
|————项目配置
|————运行Scala REPL
|————Flink源码编译


2.3 Flink编程模型

|- Flink编程模型
|——数据集类型
|——Flink编程接口
|——Flink程序结构
|——Flink数据类型
|————数据类型支持
|————TypeInfomation信息获取


2.4 DataStream API

|- DataStream API
|——DataStream编程模型
|————DataSources数据输入
|————DataStream转换操作
|————DataSlinks数据输出
|——时间概念与Watermark
|————时间概念
|————EventTime和Watermark
|——Windows窗口计算
|————Windows Assigner
|————Windows Function
|————Trigger窗口触发器
|————Evictors数据剔除器
|————延迟数据处理
|————连续窗口计算
|————Windows多流合并
|——作业链和资源组
|————作业链
|————Slots资源组
|————Asynchronous I/O异步操作


2.5 Flink状态管理和容错

|- Flink状态管理和容错
|——有状态计算
|——Checkpoints和Savepoints
|————Checkpoints检查点机制
|————Savepoints机制
|——状态管理器
|————StateBackend类别
|————状态管理器适配
|——Querable State


2.6 DataSet API

|- DataSet API
|——DataSet API
|————应用实例
|————DataSources数据接入
|————DataSet转换操作
|————DataSlinks数据输出
|——迭代计算
|————全量迭代
|————增量迭代
|——广播变量
|——分布式缓存
|——语义注解
|————Forwarded Fields注解
|————Non-Forwarded Fields注解
|————Read Fields注解


2.7 Table API & SQL

|- Table API & SQL
|——TableEnviroment
|————开发环境构建
|————TableEnvironment基本操作
|————外部连接器
|————时间概念
|————Temporal Tables临时表
|——Flink Table API
|————Table API 应用实例
|————数据查询和过滤
|————窗口操作
|————聚合操作
|————多表关联
|————集合操作
|————排序操作
|————数据写入
|——Flink SQL使用
|————Flink SQL实例
|————执行SQL
|————数据过滤与查询
|————Group Windows操作
|————数据聚合
|————多表关联
|————集合操作
|————数据输出
|——自定义函数
|————Scalar Function
|————Table Function
|————Agreegation Function
|——自定义数据源
|————TableSource定义
|————TableSlink定义
|————TableFactory定义


2.8 Flink组件栈

|- Flink组件栈
|——Flink复杂事件处理
|————基础概念
|————Pattern API
|————事件获取
|————应用实例
|——Flink Gelly图计算应用
|————基本概念
|————Graph API
|————迭代图处理
|————图生成器
|——FlinkML机器学习
|————基本概念
|————有监督学习算子
|————数据预处理
|————推荐算法
|————Pipelines In FlinkML


2.9 Flink部署与应用

|- Flink部署与应用
|——Flink集群部署
|————Standalone Cluster 部署
|————Yarn Cluster部署
|————Kubernetes Cluster部署
|——Flink高可用配置
|————Standalone集群高可用配置
|————Yarn Session集群高可用配置
|——Flink安全管理
|————认证目标
|————认证配置
|————SSL配置
|——Flink集群升级
|————任务重启
|————状态维护
|————版本升级


2.10 Flink监控与性能优化

|- Flink监控与性能优化
|——监控指标
|————系统监控指标
|————监控指标注册
|————监控指标报表
|——Backpressure监控与优化
|————Backpressure进程抽样
|————Backpressure页面监控
|————Backpressure配置
|——Checkpointing监控与优化
|————Checkpointing页面监控
|————Checkpointing优化
|——Flink内存优化
|————Flink内存配置
|————Network Buffers配置

03 Flink 知识图谱

在这里插入图片描述

04 文末

参阅文献:《Flink原理、实战与性能优化》

本文主要列出需要Flink的知识点,谢谢大家的阅读,本文完!

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/6264.html

(0)
上一篇 2022-12-16 22:50
下一篇 2022-12-16 23:10

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信