当前位置:

首页 > 编程开发 > Java实现CompletionService并发编排消费任务

Java实现CompletionService并发编排消费任务

这是很多人都遇到过的场景:RocketMQ 一次性拉取了 128 条消息,可消费端是一条一条串行处理的。每条消息耗 50 毫秒,一轮下来就是 6.4 秒。听着就让人头疼,对吧? 那能不能直接用批量消费来加速呢? 串行消费的瓶颈 RocketMQ 的 setConsumeMessageBatchMax

本文目录

    这是很多人都遇到过的场景:RocketMQ 一次性拉取了 128 条消息,可消费端是一条一条串行处理的。每条消息耗 50 毫秒,一轮下来就是 6.4 秒。听着就让人头疼,对吧?

    Ja va实现CompletionService并发编排消费任务

    那能不能直接用批量消费来加速呢?

    串行消费的瓶颈

    RocketMQ 的 setConsumeMessageBatchMaxSize(128) 确实允许你一次性拉 128 条消息,但如果还是逐条同步处理,那批量拉取的意义基本就只剩下“减少网络往返”了。处理速度的瓶颈,一条都没解开。

    直觉上的解法很简单:交给线程池并发执行不就完了?但这里面藏着一个很容易被忽略的问题。

    如果异步线程执行失败了,Broker 是毫不知情的。主线程已经返回了 CONSUME_SUCCESS,Broker 提交了偏移量,那条失败的消息就无声无息地丢了。更常见的情况是,主线程根本搞不清楚哪些子线程成功了、哪些失败了,只能盲目地返回成功或重试。

    这里缺的是一个办法:让主线程能够感知每一个子线程的执行结果。全部成功才返回 CONSUME_SUCCESS,有一条失败就返回 RECONSUME_LATER,让 RocketMQ 整体重发。

    问题的核心不是“能不能并发”,而是“并发了之后能不能控得住”。

    CompletionService,先完成先取结果的编排器

    Ja va 并发包里有一个接口叫 CompletionService,在 ja va.util.concurrent 包下,专门干这件事:批量提交异步任务,然后按完成顺序逐个取结果。

    它的唯一实现类是 ExecutorCompletionService,用法就三步。

    1. 提交所有任务到线程池。
    2. 循环取结果,发现失败立即标记。
    3. 全部成功返回 CONSUME_SUCCESS,否则返回 RECONSUME_LATER。

    代码逻辑是这样的。

    @Override
    public void prepareStart(DefaultMQPushConsumer consumer) {
        consumer.setPullInterval(1000);
        consumer.setConsumeMessageBatchMaxSize(128);
        consumer.setPullBatchSize(64);
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            log.info("NewBuyBatchMsgListener receive message size: {}", msgs.size());
    
            CompletionService completionService = new ExecutorCompletionService<>(executor);
            List> futures = new ArrayList<>();
    
            // 1. 提交所有任务
            msgs.forEach(messageExt -> {
                Callable task = () -> {
                    try {
                        OrderCreateRequest orderCreateRequest = JSON.parseObject(JSON.parseObject(messageExt.getBody()).getString("body"), OrderCreateRequest.class);
                        return doNewBuyExecute(orderCreateRequest);
                    } catch (Exception e) {
                        log.error("Task failed", e);
                        return false; // 标记失败
                    }
                };
                futures.add(completionService.submit(task));
            });
    
            // 2. 检查结果
            boolean allSuccess = true;
            try {
                for (int i = 0; i < msgs.size(); i++) {
                    Future future = completionService.take();
                    if (!future.get()) { // 3. 发现一个失败立即终止
                        allSuccess = false;
                        break;
                    }
                }
            } catch (Exception e) {
                allSuccess = false;
            }
    
            // 3. 根据结果返回消费状态
            return allSuccess ? ConsumeConcurrentlyStatus.CONSUME_SUCCESS
                    : ConsumeConcurrentlyStatus.RECONSUME_LATER;
        });
    }
    

    128 条消息并发处理,总耗时从 6.4 秒直接降到最慢那条消息的耗时,通常几十毫秒就搞定了。

    那么,CompletionService 底层是怎么做到“先完成先取”的?

    底层原理:BlockingQueue + QueueingFuture

    ExecutorCompletionService 的源码非常精炼,核心就三个成员变量。

    private final Executor executor;
    private final AbstractExecutorService aes;
    private final BlockingQueue> completionQueue;
    

    executor 是你传入的线程池,completionQueue 是一个 LinkedBlockingQueue,用来存放已完成任务的 Future 对象。

    关键在于 submit 方法里。当你调用 completionService.submit(task) 时,它并没有直接把 task 丢给线程池,而是先包装了一层。

    private class QueueingFuture extends FutureTask {
        QueueingFuture(RunnableFuture task) {
            super(task, null);
            this.task = task;
        }
        protected void done() { completionQueue.add(task); }
        private final Future task;
    }
    

    QueueingFuture 继承自 FutureTask,重写了 done() 方法。done() 是 FutureTask 提供的钩子,任务无论正常完成还是异常终止,都会回调这个方法。

    所以整个流程是这样的:你 submit 一个任务,它被包装成 QueueingFuture 交给线程池执行。任务跑完的那一刻,done() 触发,把对应的 Future 塞进 completionQueue。你调 take(),就是从 completionQueue 阻塞地取一个出来。

    谁先完成,谁的 Future 先入队,你就先取到谁的结果。提交顺序和完成顺序被解耦了。

    这个设计非常漂亮。它没有用任何锁排序、没有用优先队列、没有用回调链,就是最朴素的“生产者往队列里放,消费者从队列里取”。BlockingQueue 天然线程安全,生产消费解耦,简单到几乎不可能出错。

    那 CompletableFuture 呢?

    Ja va 8 引入了 CompletableFuture,同样是处理异步任务的利器。它和 CompletionService 解决的问题有重叠,但设计哲学完全不同。

    维度CompletionServiceCompletableFuture
    引入版本Ja va 5Ja va 8
    核心机制BlockingQueue,先完成先取回调链,任务间可编排依赖
    结果获取take() 阻塞等待下一个完成thenApply() / thenCompose() 非阻塞回调
    任务关系批量独立任务,互不依赖可描述 A 完成后执行 B、A 和 B 都完成后执行 C
    异常处理在 Future.get() 时抛 ExecutionExceptionexceptionally() / handle() 流式处理
    适用场景批量同构任务,只关心结果是否全部成功异步流程编排,任务间有依赖和组合关系

    一句话总结:CompletionService 是“批量并发,按完成顺序收结果”;CompletableFuture 是“异步编排,按依赖关系串流程”。

    回到 RocketMQ 批量消费的场景,128 条消息之间没有任何依赖关系,我们只关心“全部成功还是有一个失败”。这正是 CompletionService 的主场。

    如果你用 CompletableFuture 来写,也能做,但需要自己维护一个 CompletableFuture.allOf() 来等全部完成,然后再遍历检查结果。代码更啰嗦,而且 allOf 会等所有任务都完成才能继续——哪怕第 2 条消息就失败了,你也要等剩下 126 条跑完才能返回。CompletionService 的 take() 则是逐个检查,发现失败立即 break,省下了不必要的等待。

    当然,如果你的场景是“查商品信息,再根据商品查库存和价格,最后组装结果”,任务之间有明确的先后依赖,那 CompletableFuture 的链式编排就比 CompletionService 的队列取值优雅得多。

    工具没有好坏,只有合不合适。

    并发不是目的,可控才是

    串行消费慢,直觉反应是加并发。但加了并发之后,如果主线程无法感知子线程的成败,那并发就不是加速,是埋雷。消息丢了都不知道。

    CompletionService 解决的不是“怎么并发”的问题,而是“并发了怎么收场”的问题。它用最朴素的 BlockingQueue 机制,让主线程能按完成顺序逐个检查结果,发现异常立即止损。

    并发编程的难点,从来不是“怎么让任务跑起来”,而是“跑起来之后怎么确保结果可控”。CompletionService 给了一个很干净的答案。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    BTIG调研:ServiceNow(NOW.US)AI叙事正经历“实质性”积极转变 Q2或成关键起跳点
    BTIG调研:ServiceNow(NOW.US)AI叙事正经历“实质性”积极转变 Q2或成关键起跳点

    BTIG一线调研显示,ServiceNow的AI叙事正经历实质性积极转变:客户提前续约并接受两位数涨价,分析师给予买入评级与150美元目标价。公司聚焦高端市场,第二季度或成关键起跳点,AI战略驱动增长,市场信心持续增强。

    解决apollo的configService服务启动异常
    解决apollo的configService服务启动异常

    前言 apollo是一个非常流行的开源的配置中心项目,这里就不多介绍了。接触过apollo和运行过apollo的人肯定都遇到过启动configService时抛异常了,而且100%会抛一个异常。原因是,在apollo的架构中configService既作为config服务,同时也承载了metaSer

    4.2.1 Service初涉
    4.2.1 Service初涉

    本节引言 好的,我们在前三节中对Android中的Activity进行了研究学习,相信大家获益良多吧! 本节开始我们继续来学习Android中的第二个组件:Service(服务), 好,废话不多说,开始本节内容! 1.线程的相关概念 在开始学习Service之前我们先来了解下线程的一些概念! 1)相

    4.2.2 Service进阶
    4.2.2 Service进阶

    本节引言 上节我们学习了Service的生命周期,以及两种启动Service的两种方法, 本节继续来深入了解Service中的IntentService,Service的使用实例: 前台服务与轮询的实现! 1.IntentService的使用 在上一节后我们已经知道了如何去定义和启动Service,

    android service 常见报错与处理办法汇总
    android service 常见报错与处理办法汇总

    AndroidService作为后台组件,其开发常遇多种报错。主要涉及生命周期管理不当、进程间通信错误及权限配置问题。例如前台服务未及时调用startForeground()会导致异常,绑定服务时需确保清单文件正确定义和Intent明确。系统后台限制趋严,需适配WorkManager或前台服务。同时须防范内存泄漏,如在Activity销毁前解绑服务,并利用日

    java调用webservice 对比指南:不同方案优缺点分析
    java调用webservice 对比指南:不同方案优缺点分析

    Java调用WebService主要有JAX-WS、ApacheCXF/Axis2、HTTP客户端直接调用及Spring-WS等方案。JAX-WS标准化程度高,适合企业级SOAP服务,但依赖较重。第三方框架如CXF灵活性更强,支持更多功能,但增加了复杂度。直接使用HTTP客户端依赖最简、可控性高,但开发效率低。Spring-WS与Spring生态集成良好,适

    ttsservice是什么 使用中遇到的问题怎么解决
    ttsservice是什么 使用中遇到的问题怎么解决

    TTS服务将文本转为语音,常见问题包括无声或音质异常,应检查音量、引擎及语音数据包;语言或语速不准确,需调整设置与滑块;特定应用无法朗读,应检查权限与兼容性。系统故障可重启、清除数据或恢复出厂设置。用户也可选用第三方引擎优化体验。

    pcidevice 实操经验总结:这些技巧很实用
    pcidevice 实操经验总结:这些技巧很实用

    PCI设备是连接主板与外部硬件的关键接口,其管理与配置对系统优化和虚拟化部署至关重要。Linux下可使用lspci查看设备信息,结合grep过滤定位。高级场景中可通过sysfs文件手动绑定或解绑驱动,实现SR-IOV或设备直通。setpci工具能直接读写配置寄存器,但需谨慎操作。虚拟化直通需启用IOMMU并将设备绑定至vfio-pci驱动。故障排查可。

    pcidevice 选型思路:使用场景与区别整理
    pcidevice 选型思路:使用场景与区别整理

    PCIe设备选型需综合考虑物理接口、版本带宽与使用场景。需明确主板插槽类型、支持的PCIe版本,确保设备兼容。根据图形处理、存储扩展或网络升级等具体需求选择设备类别,并比较关键参数与软硬件兼容性。同时应权衡品牌、预算、散热及未来升级空间,做出适宜选择。

    pcidevice 用不好怎么办?问题排查指南
    pcidevice 用不好怎么办?问题排查指南

    当PCI设备无法识别或运行时,应先检查物理连接与插槽状态,并在设备管理器中更新或重装官方驱动,清理旧驱动残留。随后排查BIOS/UEFI设置、系统资源冲突与电源管理选项。若问题仍存,可尝试更换测试平台、更新主板固件或查看系统日志。最后需考虑硬件故障的可能性及替代解决方案。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。