当前位置:

首页 > 软件教程 > Flink入门指南:学习笔记第一篇

Flink入门指南:学习笔记第一篇

Windows 11
Windows 11

Windows 11 是微软全新操作系统,现代化界面,流畅操作体验,适用于学习、工作与日常生活。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

立即下载
¥159
Windows 2026-08-22
正版软件 Windows 操作系统 Windows 11 Windows下载

目录1、Flink简介2、Flink架构图3、Flink基本组件介绍4、Flink的流处理与批处理5、Flink应用场景分析6、Flink\Storm\SparkStreaming的比较7、Flink入门案例–WordCount8、Flinkscalashell代码调试1、Flink简介Flink是一个分布式大数据计算引擎,支持对有限流和无限流进行有状态的计算。它提供了JavaAPI和ScalaAPI,具有高吞吐量和低延迟的特点,支持事件处理和无序处理,提供一次且仅一次的容错担保,自动反压机制

本文目录

    目录

    1、Flink简介

    2、Flink架构图

    3、Flink基本组件介绍

    4、Flink的流处理与批处理

    5、Flink应用场景分析

    6、Flink\Storm\SparkStreaming的比较

    7、Flink入门案例 – WordCount

    8、Flink scala shell代码调试

    1、Flink简介

    Flink学习笔记(1) -- Flink入门介绍

    Flink是一个分布式大数据计算引擎,支持对有限流和无限流进行有状态的计算。它提供了Java API和Scala API,具有高吞吐量和低延迟的特点,支持事件处理和无序处理,提供一次且仅一次的容错担保,自动反压机制,并兼容Hadoop、Storm、HDFS和YARN。

    Flink学习笔记(1) -- Flink入门介绍

    2、Flink架构图

    Flink学习笔记(1) -- Flink入门介绍

    Flink的API架构分为多层,底层API更灵活,上层API更便捷。

    low levelStateful stream Processing(Core API的底层实现,开发较为复杂) ↓

    Core API(DataStream\DataSet API)

    ↓

    Table API

    high level

    SQL

    Flink学习笔记(1) -- Flink入门介绍

    3、Flink基本组件介绍

    Flink学习笔记(1) -- Flink入门介绍

    代码语言:javascript

    代码运行次数:0

    运行 复制
    (1) DataSource指的是数据处理的数据源,可以是HDFS、Kafka、Hive等;
    (2) Transformations指的是对数据的处理转换方法;
    (3) DataSink指的是数据处理完成后的输出目的地,可以是MySQL、HBase、HBFS等;

    4、Flink的流处理与批处理

    在处理大数据领域,批处理任务和流处理任务通常被视为两种不同的任务。大数据框架一般设计为只能处理其中一种任务。例如,Storm仅支持流处理任务,而MapReduce和Spark仅支持批处理任务。Spark Streaming是Apache Spark上支持流处理任务的子系统,看似是一个特例,但实际上并非如此——Spark Streaming采用了micro-batch架构,即将输入的数据流分割成细粒度的批次,并为每个批次数据提交一个批处理的Spark任务。因此,Spark Streaming本质上仍然是基于Spark批处理系统对流式数据进行处理,与Storm等完全流式的数据处理方式截然不同。

    Flink通过灵活的执行引擎,能够同时支持批处理任务和流处理任务。

    在执行引擎层面,流处理系统与批处理系统的主要区别在于节点间的数据传输方式。对于流处理系统,节点间数据传输的标准模型是:当一条数据被处理完成后,序列化到缓存中,然后立即通过网络传输到下一个节点,由下一个节点继续处理;而对于批处理系统,节点间数据传输的标准模型是:当一条数据被处理完成后,序列化到缓存中,并不会立即通过网络传输到下一个节点,当缓存写满时,才持久化到本地硬盘上,等所有数据处理完成后,才开始将处理后的数据通过网络传输到下一个节点。这两种数据传输模式是两个极端,分别对应流处理系统对低延迟的要求和批处理系统对高吞吐量的要求。Flink的执行引擎采用了一种非常灵活的方式,同时支持这两种数据传输模型。

    Flink以固定大小的缓存块为单位进行网络数据传输,用户可以通过设置缓存块的超时值来指定传输时机。如果缓存块的超时值为0,则Flink的数据传输方式类似于流处理系统的标准模型,此时系统可以获得最低的处理延迟;如果缓存块的超时值为无限大,则Flink的数据传输方式类似于批处理系统的标准模型,此时系统可以获得最高的吞吐量;同时,缓存块的超时值也可以设置为0到无限大之间的任意值。缓存块的超时阈值越小,Flink流处理执行引擎的数据处理延迟就越低,但吞吐量也会降低,反之亦然。通过调整缓存块的超时阈值,用户可以根据需求灵活地权衡系统延迟和吞吐量。

    Flink学习笔记(1) -- Flink入门介绍

    5、Flink应用场景分析

    Ⅰ、优化电商网站的实时搜索结果

    Ⅱ、阿里巴巴的所有基础设施团队使用flink实时更新产品细节和库存信息(Blink)

    Ⅲ、针对数据分析团队提供实时流处理服务

    Ⅳ、通过flink数据分析平台提供实时数据分析服务,及时发现问题

    Ⅴ、网络/传感器检测和错误检测

    Ⅵ、Bouygues电信公司,是法国最大的电信供应商之一,使用flink监控其有线和无线网络,实现快速故障响应

    Ⅶ、商业智能分析ETL

    Ⅷ、Zalando使用flink转换数据以便于加载到数据仓库,将复杂的转换操作转化为相对简单的并确保分析终端用户可以更快的访问数据(实时ETL)

    6、Flink\Storm\SparkStreaming的比较

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    选择实时框架时需要考虑以下几点:

    1:是否需要对流数据进行状态管理;

    2:是否有对At-least-once或Exactly-once消息投递模式的特殊要求;

    3:对于小型独立项目,并且需要低延迟的场景,建议使用Storm;

    4:如果你的项目已经使用了Spark,并且秒级别的实时处理可以满足需求,建议使用Spark Streaming;

    5:要求消息投递语义为Exactly Once的场景;数据量较大,要求高吞吐低延迟的场景;需要进行状态管理或窗口统计的场景,建议使用Flink。

    7、Flink入门案例 – WordCount

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    Flink WordCount 实时处理 Java版本代码:

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    Flink WordCount 实时处理 Scala版本代码:

    Flink学习笔记(1) -- Flink入门介绍

    Flink WordCount 批处理 Java版本代码:

    Flink学习笔记(1) -- Flink入门介绍

    Flink WordCount 批处理 Scala版本代码:

    Flink学习笔记(1) -- Flink入门介绍

    Flink学习笔记(1) -- Flink入门介绍

    8、Flink scala shell代码调试

    对于初学者,开发时容易出错,如果每次都打包进行调试,比较麻烦,并且也不好定位问题,可以在scala shell命令行下进行调试;scala shell方式支持流处理和批处理。当启动shell命令行后,两个不同的ExecutionEnvironments会被自动创建。使用senv(Stream)和benv(Batch)分别处理流处理和批处理程序(类似于spark-shell中的sc变量)。

    bin/start-scala-shell.sh [local|remote|yarn] [options]

    Flink学习笔记(1) -- Flink入门介绍

    如果需要深入学习,可以继续阅读剩下的章节,总共有八章节。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    软件教程 Windows
    相关文章 更多
    PowerToys开发预览版0.103.3131.0新增能力和各项修复为什么要分开看
    PowerToys开发预览版0.103.3131.0新增能力和各项修复为什么要分开看

    解释PowerToys开发预览版0.103.3131.0的JPEG文件输出、Adaptive Cards能力与Keyboard Manager、FancyZones、ZoomIt等具体修复条件。

    Microsoft 365 Apps 2610构建20527.20196维护范围和通道差异如何理解
    Microsoft 365 Apps 2610构建20527.20196维护范围和通道差异如何理解

    解释Microsoft 365 Apps当前通道2610构建20527.20196的维护范围,区分完整构建、更新通道、旧修复条目与渐进功能推出。

    eMudhra剩余根证书默认信任将移除,如何理解11月16日Windows与各产品更新节奏
    eMudhra剩余根证书默认信任将移除,如何理解11月16日Windows与各产品更新节奏

    解释微软eMudhra剩余根证书移除默认信任的11月16日安排,区分Windows信任端点、Edge与WebView2组件、Azure Linux镜像和.NET SDK后续节奏,以及本地恢复信任风险。

    Windows Terminal 1.25.3131.0 GA与1.26.3133.0 Preview如何区分,交互设置与修复边界是什么
    Windows Terminal 1.25.3131.0 GA与1.26.3133.0 Preview如何区分,交互设置与修复边界是什么

    区分Windows Terminal 1.25.3131.0 GA与1.26.3133.0 Preview,解释enableTabDragDrop和showResizeOverlay配置、清屏及键盘修复,并保留鼠标报告点击URL问题未确认修复的更正。

    LibreOffice怎么下载安装?Windows和macOS安装步骤是什么
    LibreOffice怎么下载安装?Windows和macOS安装步骤是什么

    LibreOffice可以免费安装:Windows运行对应架构的MSI安装包并完成向导,macOS打开DMG后把应用拖入“应用程序”。安装前要区分Intel与Apple Silicon,中文界面还需核对语言组件;安装成功后应实际新建、保存并重新打开一份文档。

    GitHub Actions将于12月8日结束ARM32托管作业支持:Windows与Linux需提前检查
    GitHub Actions将于12月8日结束ARM32托管作业支持:Windows与Linux需提前检查

    GitHub公告Windows与Linux托管运行器将于2026年12月8日结束ARM32作业执行支持,包含原生AArch32用户空间执行。原因与Node 20支持结束及Node 24不支持ARM32有关;本篇说明受影响范围、迁移检查与尚未说明的截止时刻。

    Windows 11 23H2企业与教育版结束更新:最后补丁、升级范围和版本区别
    Windows 11 23H2企业与教育版结束更新:最后补丁、升级范围和版本区别

    Windows 11 23H2企业与教育版已于2026年11月10日结束更新,11月安全更新为最后一次更新。组织需区分版本类别与分支维护期,评估受支持的升级目标及设备适用性,不能把安装最后补丁视为支持期延长。

    Windows 11 KB5132061更新:NTLM签名、PowerShell编码与安装失败排查要点
    Windows 11 KB5132061更新:NTLM签名、PowerShell编码与安装失败排查要点

    Windows 11 KB5132061加强NTLM签名与PowerShell编码验证,覆盖26H2、25H2及24H2企业和教育版。部署需核对前置补丁、SSU和检查点包顺序,同时关注部分设备安装失败及官方自动修复窗口。

    WPS电脑版怎样关闭烦人的弹窗广告
    WPS电脑版怎样关闭烦人的弹窗广告

    WPS电脑版可在首页消息面板的齿轮设置中关闭“接受新消息通知”,签到提醒则到个人中心或任务中心单独关闭。国内个人版已关闭第三方商业广告,但产品通知、活动提醒和其他软件弹窗需分别判断;关闭总通知可能同时影响重要协作提醒。

    迅雷网盘群组文件怎么批量下载到本地电脑
    迅雷网盘群组文件怎么批量下载到本地电脑

    迅雷群组文件可先通过有效分享转存到本人云盘,再在电脑客户端选择需要的文件下载。操作前核对账号、提取码、剩余容量和本地目录,先以小文件验证,再分批下载并核对结果;手机群组入口不能直接等同于Windows群组功能。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?