固定参数的模型有多大潜力？港中文、上海AI Lab等提出高效视频理解框架EVL
视觉基础模型近两年取得了瞩目发展。从一方面而言，基于大规模互联网数据的预训练已经给模型预置了大量的语义概念，从而具有良好的泛化性能；但另一方面，为充分利用大规模数据集带来的模型尺寸增长，使得相关模型在迁移到下游任务时面临着低效率问题，尤其是对于需要处理多帧的视频理解模型。论文链接：https://arxiv.org/abs/2208.03550代码链接：https://github.com/OpenGVLab/efficient-video-recognition基于上述两方面特点，来自香港中文大学、上海
视觉基础模型近两年取得了瞩目发展。从一方面而言，基于大规模互联网数据的预训练已经给模型预置了大量的语义概念，从而具有良好的泛化性能；但另一方面，为充分利用大规模数据集带来的模型尺寸增长，使得相关模型在迁移到下游任务时面临着低效率问题，尤其是对于需要处理多帧的视频理解模型。
- 论文链接：https://arxiv.org/abs/2208.03550
- 代码链接：https://github.com/OpenGVLab/efficient-video-recognition
基于上述两方面特点，来自香港中文大学、上海人工智能实验室等机构的研究者提出了高效的视频理解迁移学习框架 EVL，通过固定骨干基础模型的权重，节省了训练计算量和内存消耗；同时通过利用多层次、细粒度的中间特征，尽可能保持了传统端到端微调的灵活性。
下图 1 展示了 EVL 方法在视频理解数据集 Kinetics-400 上的结果。实验显示，本文方法在节省训练开销的同时，仍然充分发掘了视觉基础模型在视频理解任务中的潜力。
图 1：Kinetics-400 识别精度比较，横轴为推理计算量，纵轴为精度。
方法
算法的总体示意图如图 2（a）所示。对于一个视频样本，我们取其中的 T 帧输入一个图像识别网络（以 CLIP 为例）并提取特征。与传统方法相比，我们从图像识别网络的最后几层中提取多层、未池化的特征，从而获取更丰富、更细粒度的图像信息；并且图像识别网络的参数权重在视频学习中始终保持固定。随后，多层特征图依次输入一个 Transformer 解码器进行视频级信息聚合。经多层解码后的 [CLS] 特征将用于生成最终的分类预测。
如图 2（b）所示，由于 Transformer 解码器聚合特征时的无序性，我们在网络中添加了额外的时序信息建模模块，以更好地提取位置有关的细粒度时序信息。具体而言，我们添加 3 种额外的位置有关时序信息：第一是时间位置嵌入（Position Embeddings），第二是时间维度深度可分卷积（Depthwise Convolution），第三是相邻帧间的注意力信息。对于帧间注意力信息，我们从图像识别网络中提取对应层的 Query 和 Key 特征，并在相邻帧之间计算注意力图（不同于图像识别网络中，注意力图是由来自同一帧内的 Query 和 Key 特征得到）。所得的注意力图能显式地反映出相邻帧之间物体的位置变化。注意力图经过线性投影后得到反应物体位移特征的向量组，并以逐元素相加的形式融合入图像特征中。
图 2：EVL 算法结构图。（a）总体结构，（b）时序信息建模模块。
图 3：帧间注意力特征的数学表达。
实验
在图 1 和表 1 中，我们引用了之前视频理解中的部分重要方法。尽管着力于减小训练开销，我们的方法仍然能在精度方面领先于现有方法（相同计算量下）。
表 2 中我们展示了固定骨干网络带来的训练开销降低。内存方面，在 V100 16GB GPU 上，固定骨干网络可以使单卡 batch size 最高达到 64，而端到端训练则只能达到 8；时间方面，固定骨干网络可以节省 3 至 4 倍的训练时间。
表 3 中我们展示了细粒度特征图对识别性能的提升。多层的未经池化特征使得我们在固定骨干网络权值时仍然能保持相当程度的灵活性。使用未经池化的特征带来的提升最为显著（大约 3%），其次，使用多层解码器和中间层特征也能分别带来大约 1% 的性能提升。
最后我们在表 4 中展示了细粒度时序信息模块的效果。尽管细粒度时序信息对 Kinetics-400 的性能影响有限，但它们对于 Something-Something-v2 的性能十分重要：3 种细粒度时序信息模块在 Kinetics-400 和 Something-Something-v2 上分别合计带来大约 0.5% 和大约 14% 的性能提升。
表 1：Kinetics-400 上与现有方法的对比结果
表 2：固定骨干网络权重带来的训练开销降低
表 3：细粒度特征图对精度的影响
表 4：细粒度时序信息建模在不同数据集上的效果
总结
本文提出了 EVL 视频理解学习框架，首次展示了固定的图像骨干网络在视频理解问题上的巨大潜力，也使得高性能的视频理解对于计算资源有限的研究群体更加友好。我们也相信随着视觉基础模型在质量及规模上的提升，我们的方法能为后续的轻量级迁移学习算法研究提供参考。
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
GoLang框架扩展将迎来标准化、自动代码生成和蓬勃的第三方生态系统。通过自定义扩展，如GinGonic中间件，开发人员可以轻松添加额外的功能，优化应用程序开发。
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
Go框架学习路线图：预备知识：Go基础知识终端操作HTTP和RESTfulAPI入門階段：選擇框架（如Gin）建立項目結構處理HTTP路徑中級階段：使用模板引擎使用中間件執行錯誤處理高級階段：使用ORM（如GORM）與資料庫互動處理並行處理使用測試框架實戰案例：构建RESTfulAPI、Web服务和企業級應用程序
全球Java框架社区活跃度分析：印度、美国和中国拥有最大、最活跃的社区，分别拥有10万、5万和3万名活跃贡献者。印度社区在讨论和代码贡献方面最为活跃，美国社区拥有高质量的贡献，欧洲社区则平衡发展。南美社区活动水平较低，但增长迅速。印度的SpringFramework社区和美国的JakartaEE社区是活跃社区的实际案例。
PHP是一种流行的编程语言，尤其在Web开发方面，几乎是无可替代的。PHP有许多优点，包括易学易用，灵活性高，可扩展性强等等。但是在实际应用中，使用PHP编写大型应用程序会面临一些问题。因此，使用PHP框架来开发应用程序变得越来越普遍。PHP框架是一个提供了一系列工具和架构的软件包，以帮助应用程序开发人员快速构建PHP应用程序。每个框架都有自己的独特功能和支
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
