当前位置:

首页 > 硬件相关 > 阿里云联合上海交大攻关DiT推理加速,3篇论文入选视觉顶会ECCV

阿里云联合上海交大攻关DiT推理加速,3篇论文入选视觉顶会ECCV

阿里云与上海交通大学合作的三篇论文入选ECCV2026,聚焦DiffusionTransformer推理加速,提出时序误差校正、自适应特征分解、时空令牌筛选技术,将算力需求缩短近90%,综合提速最高达14.76倍。这些创新显著降低了扩散模型推理成本,为高效AI生成奠定基础。

本文目录

    7月9日消息,欧洲计算机视觉顶级会议ECCV 2026放榜,阿里云与上海交通大学张林峰教授团队合作的3篇论文被主会收录,研究方向均聚焦Diffusion Transformer(DiT)架构下的高效推理加速,覆盖了时序误差校正、自适应特征分解、时空令牌筛选三条不同的技术路线。在高分辨率图片生成场景下,这些成果能将算力需求缩短近90%,综合提速最高可达14.76倍。

    这个会议到底有多牛?ECCV是计算机视觉领域公认的三大国际顶级学术会议之一,目标检测、图像分割、视觉Transformer等多项影响行业走向的核心技术,都曾在这里首次亮相。而DiT作为当前主流视觉生成模型的通用架构,在文生图、文生视频、图像编辑等场景中应用广泛,但推理成本高、生成耗时长的问题也日益突出,被行业视为AIGC规模化落地的核心瓶颈。


    3篇论文入选视觉顶会ECCV 2026

    先说第一篇,《Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache》,核心思路是搞定时序缓存误差校正。DiT生成一张图片通常需要跑几十甚至上百步去噪,业界常用的“特征缓存”策略虽然能跳步复用,但预测偏差会像滚雪球一样越滚越大。团队发现缓存残差在局部严格服从零均值高斯分布,于是用高斯过程回归搭了一个轻量级校正模块,可以直接挂载到主流时序缓存算法后面。与TaylorSeer结合后,在Qwen-Image上能将计算量再降19.3%,同时PSNR提升0.9dB,LPIPS从0.65降至0.29,生成效果更快也更清晰,算是破解了长区间预测漂移这个老大难问题。


    对比不同基线缓存方法与GP-Refiner结合前后生成图像的视觉效果

    第二篇《LinCa: Accelerating Diffusion Models via Learnable Decomposed Feature Caching》提出了一个基于可学习可逆网络的特征缓存框架,名字叫LinCa。它首次系统性地揭示了扩散特征演化的异质性——这个异质性不仅存在于跨模型之间,还同时存在于跨去噪阶段和跨特征维度三个层面。LinCa的做法是将原始特征沿通道维度拆解成不同“性格”的子分量,对连续性强的用高阶预测器外推,对突变性强的就直接复用。单卡GPU训练1小时就能完成适配。测试数据很漂亮:FLUX.1-dev实现5.51倍加速,Qwen-Image达到6.95倍,HunyuanVideo视频模型实现5.50倍加速,画质指标全面领先现有方案。


    在Qwen-Image-Edit上,LinCa表现出更优的提示理解能力,并生成高保真图像,同时保持未编辑区域的一致性

    动态分辨率是高分辨率DiT推理的核心加速方向之一,但传统方案有个尴尬的地方:分辨率切换时会统一上采样全部隐式令牌,导致大量背景和低语义区域产生冗余计算;现有的局部上采样方法呢,又大多依赖边缘、纹理这类底层视觉特征,难以匹配文本语义和编辑指令的需求,关键区域的细节容易丢失。

    阿里云和交大合作的第三篇论文《A ViTS: Adaptive Spatiotemporal Token Selection for Efficient DiTs with Dynamic Resolution》提出了一种时空动态令牌筛选框架,通过“低分辨率打底—选择性上采样—全分辨率精修”三阶段生成流程,巧妙地砍掉了背景与低语义区域的冗余算力。这个方法完全在推理阶段执行,不需要重新训练,而且和特征缓存、模型蒸馏、量化等加速技术完全正交。实验数据显示,A ViTS在FLUX模型上最高实现6.34倍推理加速,编辑场景FLOPs削减近9倍;叠加步骤蒸馏后,综合提速最高能达到14.76倍。


    A ViTS 整体架构:包含时空重要度计算模块与三级分辨率递进调度流程

    据了解,上述3项技术已经完整集成到阿里云自研的WuYingDiT推理加速引擎,并且全量落地至无影灵构一站式AIGC创研平台,服务于游戏美术、电商设计、影视制作、新媒体等行业客户。这套引擎原生适配FLUX、Qwen、混元视频等主流生成基座,客户不需要改造现有工作流就能一键启用。

    阿里云方面表示,未来将持续在端侧生成式AI前沿技术方向开展研究,把真实业务场景中的技术难题与学术研究结合在一起,不断迭代WuYingDiT加速引擎,进一步降低端侧和边缘场景下高保真生成式AI的应用门槛。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    长兴海洋实验室启用,上海交大海洋装备创新平台进入实质运行
    长兴海洋实验室启用,上海交大海洋装备创新平台进入实质运行

    上海交大长兴海洋实验室正式启用,一期约14万平方米五大实验功能区投入运行。实验室聚焦高端海洋装备研发,打通基础研究到产业转化链条,拥有500吨级深海管缆疲劳试验机等核心测试能力,多项准工业化创新产品同步亮相,并与多家单位签署合作协议。

    偏差不超过硬币厚度!上海交大团队攻克大型部件毫米级装配难题|上海市科技奖
    偏差不超过硬币厚度!上海交大团队攻克大型部件毫米级装配难题|上海市科技奖

    上海交通大学团队联合多家单位,历经十余年攻克大型部件毫米级对接装配难题,提出并联机构误差标定、点云精准识别及形变补偿等核心技术,研发出智能对接装备,应用于船舶和航天领域,实现高效精准装配,打破行业技术瓶颈。

    火箭巨轮“搭乐高”精准至毫米!上海交大十年磨剑“快装”重器|上海科技奖
    火箭巨轮“搭乐高”精准至毫米!上海交大十年磨剑“快装”重器|上海科技奖

    针对船舶、火箭大型部件总装依赖人工、效率低下的难题,上海交通大学团队联合多家单位,历经十余年攻关,研发出国际领先的大型部件一体化高效对接装配技术与装备,实现百米级尺寸、万吨级载荷的毫米级精度装配,将装配时间从一周缩短至半天。

    上海交大发布自研光学垂直大模型 Optics GPT
    上海交大发布自研光学垂直大模型 Optics GPT

    上海交通大学发布光学垂直大模型OpticsGPT,作为数字光学顾问,系统掌握光学核心知识。在覆盖六大方向的评测中,其关键指标超越主流通用及开源模型,位列第一。该模型参数量8B,支持轻量化部署,具备高领域认知与强场景赋能优势。

    深海生态、全光芯片……上海交大“十大科技进展”揭晓
    深海生态、全光芯片……上海交大“十大科技进展”揭晓

    2026年7月22日,上海交通大学发布第七届“十大科技进展”,涵盖6项基础研究与4项关键核心技术,涉及深海生态、全光芯片等领域。其中“溟渊计划”绘制首个海洋最深生态系统图景,建立全球最大深渊微生物数据库。成果同步启动全球传播并推动产业转化。

    上海交大师生眼中的顾诵芬:用粉笔勾勒机翼,为学生讲解超声速飞机设计
    上海交大师生眼中的顾诵芬:用粉笔勾勒机翼,为学生讲解超声速飞机设计

    上海交大师生深切缅怀顾诵芬院士。这位航空工程系校友、飞机空气动力学大师,其牵头研制的歼-8Ⅱ战机模型及主编的《大飞机出版工程》丛书陈列校园。顾老严谨治学、以身许国,曾用粉笔勾勒机翼讲解超声速设计,激励后辈投身航空事业。

    粒子可触、星河可见,上海交大两大重点实验室开放前沿科学现场
    粒子可触、星河可见,上海交大两大重点实验室开放前沿科学现场

    5月30日,上海交大两大重点实验室举办科普开放日,设20余个摊位,涵盖粒子探测、光学等领域。公众可体验“隔空取电”、海螺共鸣等实验,科研人员讲解前沿科学,集章兑换纪念品,展示诺奖复刻件等实物。

    在脑脊液找到神经退行性疾病分型密码,上海交大团队成果登《细胞》
    在脑脊液找到神经退行性疾病分型密码,上海交大团队成果登《细胞》

    全球有超过六千万人正受到神经退行性疾病的困扰,而这个数字随着人口老龄化还在持续增长。对于这类与衰老紧密相关的进展性疾病而言,如何在早期就实现准确识别和精准分型,无疑是当前临床诊疗面临的核心挑战。 其中,帕金森病(PD)和多系统萎缩(MSA)堪称一对“难兄难弟”。在疾病早期,患者都可能表现出行动迟缓、

    当智能助手学会
    当智能助手学会"看图办事":上海交大让AI拥有了真正的视觉技能包

    上海交通大学等机构提出MMSkills框架,使AI助手能结合视觉信息执行任务。该框架整合操作流程、状态卡片与多视角参考图,形成可迁移的多模态技能包,并通过分支加载机制智能调用技能、实时对齐屏幕。实验显示,该方法可显著提升AI在办公、游戏等视觉任务中的成功率和效率,减少无效操作。

    山茶花也具芳疗功效,上海交大这场研讨会聚焦中国芳疗的标准制订
    山茶花也具芳疗功效,上海交大这场研讨会聚焦中国芳疗的标准制订

    首届“科学芳疗+X”跨学科研讨会在上海交通大学举办,聚焦嗅觉通路在大健康领域的应用潜力。会议旨在构建中国特色科学芳疗体系,推动其从感官体验升级为有据可循的自然疗愈方法,倡议制定中国标准、引领产业向功能型发展,并探讨了山茶花功效发掘、联觉疗愈结合等前沿方向。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。