还得是抖音，字节推出竖屏视频理解数据集，入选CVPR2024
想了解更多AIGC的内容，请访问：51CTOAI.x社区https://www.51cto.com/aigc/短视频是当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和内容重点不同，展示出与横屏视频数据不同的特性。针对这一不同，字节跳动技术团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技术点以及一个初步方案。这项研究对准确的竖屏视频理解和基础技术架构有较为重要的意义，论文已入选CVPR2024。视频demo展示、数据特性
想了解更多AIGC的内容，请访问：
51CTO AI.x社区
https://www.51cto.com/aigc/
短视频是当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和内容重点不同，展示出与横屏视频数据不同的特性。
针对这一不同，字节跳动技术团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技术点以及一个初步方案。这项研究对准确的竖屏视频理解和基础技术架构有较为重要的意义，论文已入选CVPR2024。
视频 demo 展示、数据特性演示以及竖屏视频类别分类，请见 https://mingfei.info/PMV
论文地址：https://arxiv.org/abs/2312.13746
视频分类是基础的计算机视觉技术，对视频内容的分类、特征提取，以及推荐等有着重要的作用。竖屏视频是目前社交媒体平台上主导的短视频格式，受到用户的广泛青睐。而竖屏的视频分类技术在目前的研究中鲜有关注，为了激发这一领域的研究，团队提出了一个专用的数据集 PortraitMode-400，包括真实的视频数据和400个结构化的类别标签。 该数据集可以被用于竖屏视频的分类、特征提取等重要作用。
通过进一步自建数据和公开数据子集实验，团队初步展示了横屏数据和竖屏数据之间的不同，和独特的先验分布，并针对不同的技术点进行实验，提出了针对竖屏视频处理的技术方案。
团队首先从公开数据 Kinetics-700 中抽取包含竖屏视频数量的子集 S100-PM，并对应的抽取同等数量的横屏视频得到 S100-LM。团队分别在 S100-PM 和 S100-LM 上训练两个相同的模型（不含任何预训练），并在相同的测试集上进行公平测试，以观察竖屏和横屏视频所含的不同数据特性。
如下方所示，以上半为例，团队将 S100-PM 训练的模型在竖屏测试集上做滑窗测试（16x9 个不重叠的均匀分布的滑窗）得到 Probing-P，同样的可以得到 S100-LM 训练模型的测试结果 Probing-L。为了观察 S100-PM 模型对 S100-LM 模型的优势，团队做差值图得到 c 图，黄色框 1 表示此位置竖屏训练的模型以大于 9 个点的差值显著优于横屏训练的模型。同样的，团队可以得到下半所示的差值图，S100-LM 训练模型在横屏中下区域的准确率低于 S100-PM 训练模型。
可以观察得到，在确保所有训练和测试条件一致的情况下，训练数据的不同带来准确率空间分布上的显著差异，而且差值呈哑铃状分布。
横屏与竖屏视频的不同，说明竖屏视频是一种不同于以往数据的新视频格式，有着不同的数据特性。为了进一步推动领域研究，团队提出了数据集 PortraitMode-400，通过自底向上的方式综合大量的热门搜索词，人工筛查和提取得到 400 个包含显著动作内容的类别集合，涵盖从饮食运动到休闲娱乐等等领域。每个类别包含至少 100 个公开的竖屏视频链接，并已通过人工审查的方式确保数据的高质量可用。
此外，团队还真对竖屏视频数据的不同特性进行实验，以期提出一套合理有效的技术方案。为此，团队利用不同的模型类别，如 CNN（X3D）、Transformer（MViT v2）、Hyrid-Transformer（Uniformer）在竖屏数据上进行广泛实验。团队发现，与传统横屏数据处理相比，竖屏数据对数据预处理有着不一样的倾向。
如下图上半所示，在 CNN 模型下倾向于 Inception-style 方案，而在 Transformer 类模型下倾向于 shorter-side resize 方案。进一步的，团队发现更好的保持原始视频在训练时的长宽比，可以在同等测试条件下获得更好的准确率。
如下半所示，随着采样框长宽比增大，Transformer 类模型表现逐渐增强，而 CNN 模型表现相反。这些实验现象表明了，竖屏数据不同于横屏数据的特性；提供了不同模型架构下的训练偏好设置。
最后，团队还在时间信息显著性、音频模态重要性等方面进行了实验。发现时间信息的加入和音频模态的引入，都可以对竖屏数据的准确率带来不小的提升，展示了在相关领域的研究空间和可能性。
应用落地和展望
视频分类作为基础的计算机视觉技术，对视频内容的分类、特征提取，以及推荐等有着重要的作用。针对竖屏视频的专门研究可以进一步推动相关技术的发展，增强内容推荐等关键能力，进一步激发竖屏领域的其他类型研究，如生成等。
想了解更多AIGC的内容，请访问：
51CTO AI.x社区
https://www.51cto.com/aigc/
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
无论是专业摄影师还是摄影爱好者，相机内存储卡的可靠性都至关重要，尤其是在恶劣的拍摄环境中，数据存储的安全性更是不可忽视。尽管市场上有多种支持三防功能的移动存储设备用于数据备份，但最常用的SD存储卡由于采用塑料外壳，长期使用后容易出现破损，导致数据损坏，甚至可能损坏相机的存储卡槽，带来的损失不可估量。国际存储品牌雷克沙推出了全新的Armor系列SD存储卡，不仅读写速度快，还采用了不锈钢材质的外壳，具有优异的防水、防尘和防跌落性能，为相机的原始拍摄数据提供了可靠的保护。雷克沙ArmorSD存储卡分为GOLD
1.1计算机发展历程[计组]1.0_你好，我是计算机组成原理我们生活在一个信息化程度极高的世界中，我们每天的生活都离不开电脑和手机，这些设备实际上都属于计算机的范畴。计算机的底层结构由硬件构成，在硬件之上，我们会安装操作系统，再在操作系统上运行各种应用软件，这样就能得到一个易于使用的计算机系统。通过计算机网络，这些设备实现了信息的互联互通，这正是我们现在生活的信息化世界的缩影。计算机组成原理这门课研究的就是这些计算机硬件在底层如何协同工作。既然我们要研究硬件，不妨先来看一下大家日常生活中常见的一些硬件
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
