当前位置:

首页 > 系统应用 > 【干货分享】带你了解什么是批流统一的高效数据同步插件—FlinkX

【干货分享】带你了解什么是批流统一的高效数据同步插件—FlinkX

一、什么是FlinkXFlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾),并维护该开源社区。目前已完成批流统一,离线计算与流计算的数据同步

本文目录

    一、什么是FlinkX

    FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾),并维护该开源社区。目前已完成批流统一,离线计算与流计算的数据同步任务都可基于FlinkX实现。

    FlinkX将不同的数据源库抽象成不同的Reader插件,目标库抽象成不同的Writer插件,具有以下特点:

    • 基于Flink开发,支持分布式运行;
    • 双向读写,某数据库既可以作为源库,也可以作为目标库;
    • 支持多种异构数据源,可实现MySQL、Oracle、SQLServer、Hive、Hbase等20多种数据源的双向采集。
    • 高扩展性,强灵活性,新扩展的数据源可与现有数据源可即时互通。

    二、FlinkX应用场景

    FlinkX数据同步插件,主要用于大数据开发平台的数据同步/数据集成模块。它一般将底层高效的同步插件与界面化的配置方式相结合,大数据开发人员借此能够简洁、迅速地完成数据同步任务的开发。具体来说,它可以把业务数据库的数据同步到大数据存储平台,以便进行数据建模开发;而在数据开发完成后,又能将大数据处理好的结果数据同步至业务的应用数据库,供企业的数据业务使用。

    三、FlinkX工作原理详解

    linkX基于Flink实现,其选型及优势详见

    https://mp.weixin.qq.com/s/uQbGLY3_cj0h2H_PZZFRGw。FlinkX数据同步任务的本质是一个Flink程序,读出写入的数据同步任务会被翻译成StreamGraph在Flink执行,FlinkX开发者只需要关注InputFormat和OutputFormat接口实现即可。工作原理如下:

    Engine是袋鼠云封装的任务调度引擎,WEB端配置好的数据同步任务首先会提交至任务调度引擎,Template模块根据同步任务的配置信息加载源数据库和目标数据库对应的Reader和Writer插件,Reader插件实现InputFormat接口,从数据库获取DataStream对象,Writer插件实现OutFormat接口,将目标数据库与DataStream对象相关联,从而通过DataStream对象将读出写入串接在一起,组装成一个Flink任务提交至Flink集群上进行运行。

    之前基于Flink的分片、累加器特性,解决了数据同步过程中的增量同步、多通道控制、脏数据管理与错误管理等场景。19年基于Flink的checkpoint机制,实现了断点续传、流数据续跑等功能,来了解一下它的新特性吧。

    (1)断点续传

    数据同步过程中,假如一个任务要同步500G的数据到目标库,已经跑了15min,但到400G的时候由于集群资源不够、网络等因素数据同步失败了,若需要重头跑此任务,想必该同学要抓狂了。FlinkX基于checkpoin机制可支持断点续传,当同步任务由于上述原因失败时,不需要重跑任务,只需从断点继续同步,节省重跑时间和集群资源。

    Flink的Checkpoint功能是其实现容错的核心功能,它能够根据配置周期性地对任务中的Operator/task的状态生成快照,将这些状态数据定期持久化存储下来,当Flink程序一旦意外崩溃时,重新运行程序时可以有选择地从这些快照进行恢复,从而修正因为故障带来的程序数据异常。

    并且断点续传可和任务失败重试机制配合,即当任务执行失败,系统会自动进行重试,若重试成功则系统会接着断点位置继续同步,从而减少人为运维。

    (2)实时采集与续跑

    19年6月份,袋鼠云数栈研发团队基于FlinkX实现批流数据采集统一,可对MySQL Binlog、Filebeats、Kafka等数据源进行实时采集,并可写入Kafka、Hive、HDFS、Greenplum等数据源,采集任务也支持作业并发数与作业速率的限制,以及脏数据管理。并基于checkpoint机制,可实现实时采集任务的续跑。当产生业务数据或Flink程序引起的采集进程中断时,可基于Flink定期存储的快照,对流数据的读取节点进行保存,从而在进行故障修复时,可选择历史保存的数据断点进行续跑操作,保证数据的完整性。此功能在袋鼠云的StreamWorks产品中实现,欢迎大家了解。

    (3)流数据的脏数据管理

    之前在BatchWorks离线计算产品中,已实现离线数据同步的脏数据管理,并基于Flink的累加器实现脏数据的错误管理,当错误量达到配置时,置任务失败。目前流数据实时采集也支持了此功能,即在将源库数据写入目标库的过程中,将错误记录进行存储,以便后续分析数据同步过程中的脏数据,并进行处理。但由于是流数据采集,任务具有不间断性,没有进行错误数记录达到阈值的触发任务停止操作,待后续用户自行对脏数据分析,进行处理。

    (4)数据写入至Greenplum、OceanBase数据源

    Greenplum是基于PostgreSQL的MPP数据库,支持海量数据的存储与管理,目前在市场上也被很多企业采用。于最近,数栈基于FlinkX实现多类型数据源写入Greenplum,除全量同步外,也支持部分数据库增量同步写入。OceanBase是阿里研发的一款可扩展的金融领域关系型数据库,其用法与MySQL基本一致,实现OceanBase的数据读入写出也是基于jdbc的连接方式,进行数据表与字段的同步与写入,也支持对OceanBase进行增量写入,以及作业同步通道、并发的控制。

    写入Greenplum等关系数据库时,默认是不使用事务的,因为数据量特别大的情况下,一旦任务失败,就会对业务数据库产生巨大的影响。但是在开启断点续传的时候必须开启事务,如果数据库不支持事务,则无法实现断点续传的功能。开启断点续传时,会在Flink生成快照的时候提交事务,把当前的数据写入数据库,如果两次快照期间任务失败了,则这次事务里的数据不会写入数据库,任务恢复时从上一次快照记录的位置继续同步数据,这样就可以做到任务多次失败续跑的情况下准确的同步数据。

    四、写在后面

    FlinkX经过袋鼠云内部使用以及在大量的数据中台项目中实践,支持以下数据源。且在FlinkX的高扩展特性下,将持续支撑更多的数据源。

    本文首发于:数栈研习社

    数栈,作为云原生一站式数据中台PaaS,在github上有个颇有趣味的开源项目:FlinkX。FlinkX是基于Flink的批流统一的数据同步工具,它不仅能采集MySQL、HDFS等静态数据,还能采集MySQL binlog、Kafka等实时变化的数据,是名副其实的全域、异构、批流一体的数据同步引擎。如果您对此感兴趣,欢迎到github社区与我们交流探讨~

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 数据同步
    相关文章 更多
    漫蛙2 Manwa2 官方正版功能详解与数据同步教程
    漫蛙2 Manwa2 官方正版功能详解与数据同步教程

    漫蛙2 Manwa2 (https://www.ao3cn.cc/)提供海量正版资源与无广告清爽体验。针对多设备阅读断点、离线缓存及画质需求,本文详解其横竖屏切换、智能推荐及高清显示功能,并逐步指导用户通过账号登录与书架设置完成阅读进度同步,确保在Android设备上获得流畅、舒适的追更体验。

    【安装教程】灵活计算器下载安装到手机后怎么开始使用
    【安装教程】灵活计算器下载安装到手机后怎么开始使用

    安装灵活计算器后不知从何下手?本文教你跳过强制登录,先通过本地算式验证应用,再学习构建动态计算页、选择同步时机及导出备份文件,让计算器真正服务于日常预算与试算工作。

    一文看懂灵活计算器手机端和电脑端的使用区别
    一文看懂灵活计算器手机端和电脑端的使用区别

    想知道灵活计算器在手机和电脑上怎么用最高效?本文详解两端在输入节奏、布局整理及账号同步上的核心区别,助你避免数据丢失,建立顺畅的跨设备记账习惯。

    免费版够不够用?灵活计算器激活前的功能区别对比
    免费版够不够用?灵活计算器激活前的功能区别对比

    不确定灵活计算器该不该开会员?本文不罗列空洞的功能表,而是从基础计算闭环、标签备注管理、模板复用效率及跨设备同步需求四个真实场景出发,帮你判断免费版是否够用,以及何时激活会员才具有实际价值。

    Mac用户怎么安装灵活计算器?下载、登录和同步流程
    Mac用户怎么安装灵活计算器?下载、登录和同步流程

    详解 Mac 用户安装灵活计算器的完整流程,包括确认 Apple Silicon 兼容性、从 Mac App Store 安全下载、双端同账号登录设置及同步功能验证。提供 .flexicalc 文件备份策略,解决多设备数据不一致问题。

    安装灵活计算器前要注意什么?设备、权限和版本说明
    安装灵活计算器前要注意什么?设备、权限和版本说明

    在安装灵活计算器之前,请确认您的设备芯片与系统版本是否匹配,优先通过官方应用商店下载,并谨慎授予文件与网络权限。本文详解从环境检查到首次运行验证的完整流程,确保计算数据的安全与同步正常。

    百度浏览器收藏夹数据同步失败该如何修复?
    百度浏览器收藏夹数据同步失败该如何修复?

    百度浏览器的收藏夹同步问题,确实是个让人头疼的老毛病——明明在电脑上存了个书签,手机端翻来覆去就是找不到,非得手动折腾一番才能同步。这背后的原因其实很简单:默认的自动同步有延迟机制,后台不是实时推送的。要解决,就得跳过这个等待,直接触发一次端到端的强制同步。下面说几个经过验证的实战步骤,照着操作基本

    ThinkPHP如何对接京东宙斯API_OAuth2.0授权与数据同步【指南】
    ThinkPHP如何对接京东宙斯API_OAuth2.0授权与数据同步【指南】

    ThinkPHP 跟京东宙斯 API 打交道,说到底就是跟 OAuth2.0 授权码模式较劲——服务端闭环走通 code 换 token,安全存好 refresh_token 并让它自动续命,调用时用官方 SDK 签名请求,全程 HTTPS 加 state 校验防 CSRF,client_secre

    Google日历怎么导入日程?外部数据同步一键搞定
    Google日历怎么导入日程?外部数据同步一键搞定

    可通过导入.ics文件实现一次性可编辑的批量迁移,或订阅iCal链接获得只读实时同步;双向同步需借助gSyncit插件,支持Outlook与Google日历间的实时联动。

    悦跑圈怎么同步运动数据-悦跑圈数据同步有哪些方法
    悦跑圈怎么同步运动数据-悦跑圈数据同步有哪些方法

    跑步软件千千万,但真要说数据同步做得顺手、省心的,悦跑圈确实算一个。它能帮你把每一次跑步的轨迹、配速、心率都乖乖记录下来,还能跨平台、跨设备无缝流转——听起来很美好,对吧?但具体怎么操作?别急,我们一步步拆开看。 先把网络这件事搞定 同步数据的第一个前提,不是什么黑科技,而是最基础的网络连接。不管你

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。