Meta开源唇语翻译系统，支持6种语言的模型识别和本地部署，适用于所有人
大家是否还记得年初在全网引起轰动的反黑大剧《狂飙》？最后几集因为导演对剧情进行了删改，导致演员的嘴型和台词完全不匹配的情况有一些懂唇语的铁杆剧迷，为了能够欣赏到原汁原味的剧情，他们直接开始进行翻译工作重写后的内容：来源：娱乐资讯Meta最近发布了一个名为MuAViC的AI语音-视频识别系统，它让我们只需动动手指，就能理解无声人物说了什么，并且能够准确识别嘈杂背景中特定人物的语音Meta使用TED/TEDx的视频和音频素材，创建了MuAViC数据集。该数据集包含了1200小时的文本、语音和视频素材，涵盖了9
大家是否还记得年初在全网引起轰动的反黑大剧《狂飙》？最后几集因为导演对剧情进行了删改，导致演员的嘴型和台词完全不匹配的情况
有一些懂唇语的铁杆剧迷，为了能够欣赏到原汁原味的剧情，他们直接开始进行翻译工作
重写后的内容：来源：娱乐资讯
Meta最近发布了一个名为MuAViC的AI语音-视频识别系统，它让我们只需动动手指，就能理解无声人物说了什么，并且能够准确识别嘈杂背景中特定人物的语音
Meta使用TED/TEDx的视频和音频素材，创建了MuAViC数据集。该数据集包含了1200小时的文本、语音和视频素材，涵盖了9种语言，并且支持英语与其他6种语言之间的双向翻译
语音识别数据的详细内容包括：
具体包括将英语翻译成六种不同的语言的素材
具体包括以下6种语言到英语的翻译素材：
论文
对于这个系统，Mate的研究人员还发表了一篇论文，介绍了它与现有的最先进技术的对比
需要重写的内容是：https://arxiv.org/pdf/2303.00628.pdf
视听语料库的收集
需要进行重新编写的内容是：中文语料收集
研究人员在处理英语语料时，重新利用了LRS3-TED中的视听数据，并按照原始数据进行了拆分
研究人员通过对LRS3-TED的转录与TED2020的原文进行匹配，从TED2020的机器翻译语料库中找到了这些会谈的人工翻译
将匹配的LRS3-TED示例与TED2020中相应的目标句子配对，以获得翻译标签
为了确保最佳准确性，研究人员对开发集和测试集示例进行了精确的文本匹配
为了提高训练集的匹配召回率，研究人员开发了一种模糊文本匹配策略：如果句对双方包含相同数量的句段，他们首先用标点符号分割TED2020源句和目标句
为了规范TED2020和LRS3-TED文本，我们需要进行一些步骤。首先，我们需要去除标点符号和将所有字母转换为小写。这样可以统一文本的格式，使其更易于处理和分析
最后，我们将在两个语料库之间进行准确的文本匹配
研究人员在处理TED2020中没有匹配的LRS3-TED训练集示例时，决定从机器翻译模型M2M-100 418M中获得伪翻译标签。为此，他们采用了默认的解码超参数方法
非英语语料的收集
为了处理非英语语料，研究人员采用了之前研究中收集的mTEDx纯音频数据、转录和文本翻译。他们还按照mTEDx的方式对数据进行了拆分
我们会提取原始录音的视频轨迹，并将经过处理的视频数据与音频数据对齐，形成视听数据，类似于LRS3-TED
虽然mTEDx中的所有音频数据都已转录，但其中只有一个子集进行了翻译。重新写成：尽管mTEDx的所有音频数据都已经转录，但只有其中的一部分进行了翻译
研究人员从M2M-100 418M中获取伪翻译标签，以便在未翻译的训练集示例中使用默认解码超参数
实验
需要重新编写的内容是：实验设置
研究人员在研究视听语音识别（AVSR）和视听语音翻译（AVST）时，采用了英语AV-HuBERT大型预训练模型。该模型是通过结合LRS3-TED和VoxCeleb2中的英语部分进行训练而得到的
研究人员根据AV-HuBERT论文的方法微调超参数，但与此不同的是，他们将双语模型微调为30K次更新，将多语言AVSR模型微调为90K次更新。研究人员还分别冻结了X-En AVST和En-X AVST模型的第一个4K和24K次更新的预训练编码器
需要进行重新编写的内容是：AVSR测试
在宁静的环境中
研究人员对AVSR模型进行了评估，分别在纯音频（"A"）和视听（"AV"）模式下进行。在纯音频模式下，模型仅利用音频进行微调和推理；而在视听模式下，模型同时利用音频和视觉进行微调和推理
根据表1所示，英语 AVSR 模型的测试误码率分别为 2.5 和 2.3
研究人员对非英语AVSR进行了重新编写。他们对预先训练好的英语AVHuBERT模型进行了微调，微调的方式可以是对每种语言分别进行微调（共有8种单语模型），也可以是对所有8种非英语语言进行联合微调（多语模型）
请参考下表2以获取测试误码率数据
研究人员发现，在视听模式下，他们的单语AVSR模型的WER平均降低了52%，比同类ASR基线（Transformer，单语）表现更好
表1
表2
表3
在噪音环境中
在高噪音环境下，研究人员的 AVSR 模型的测试误码率在表3的第一部分中得到了展示
研究人员发现，在这个具有挑战性的设置中，SOTA多语种ASR模型Whisper的表现不佳，平均误码率为174.3
研究人员的单语言AVSR模型在纯音频模式下的平均误码率相比之下分别为70.2和66.7
在视听模式下，研究人员发现模型的平均误码率下降了32%，这说明它们成功地利用了视觉信息来减少嘈杂环境的干扰
在纯音频和视听模式下，研究人员发现多语言AVSR模型在每种非英语语言（除了El语）上的表现都比单语言模型更好
近日Cloudflare收购Astro团队，以强化开源Web框架生态。Astro以内容优先、多框架兼容、毫秒级加载著称，收购后继续保持MIT许可，并支持多平台部署。全新Astro6Beta重构开发服务器，原生集成内容安全策略，极大地提升运行性能与开发体验。
6月29日，2026全球数字经济大会的太空算力论坛在北京海淀举办。这场论坛上，北京太空算力创新中心正式揭牌，同时国内首个太空操作系统开源标准体系也对外亮相。这标志着，我们在太空算力产业的标准化、协同化发展上，迈出了重要一步。活动由全球数字经济大会组委会主办，“北京团队”——市经信局、中关村科学城管委
本文首发于 NebulaGraph 公众号NebulaGraph VEditor 是一个拥有高性能、高可定制的所见即所得图可视化编辑器前端库。NebulaGraph VEditor 底层基于 SVG 绘图，它通过合理抽象代码结构以易于二次开发和自定义绘制，极适用于审批流，工作流，血缘关系，ETL 处
李志信 (GitHubID LaurenceLiZhixin)，中山大学软件工程专业在校学生，擅长使用 Ja va/Go 语言，专注于云原生和微服务等技术方向。3月19日，初春的杭州，依旧阴雨朦胧。透过 EFC 健身房的落地窗往外看，远处的楼宇、青山、整齐的街道和稀疏的车辆在水雾中若隐若现。午后的小
今日，StreamNative宣布发布并开源首版AWS Simple Queue Service (SQS) connector[1]，这着实令人振奋！借助SQS connector，您能够毫不费力地在Pulsar与SQS之间实现数据的流动，进而充分发挥这两种消息系统各自的优势。可以说，这是Stre
01 网易 Duilib 框架概述 Duilib 是 Windows 系统下的开源的 DirectUI 界面库（遵循 BSD 协议），完全免费，可用于商业软件开发。Duilib 可以简单方便地实现大多数界面需求，包括换肤、换色、透明等功能，支持多种图片格式，使用 XML 可以方便地定制窗口，能较好地
美国西部时间 2020 年 11 月 18 日，在云原生技术“最高盛宴”的 KubeCon 北美峰会 2020 上，CNCF 应用交付领域小组（CNCF SIG App Delivery) 与 Open Application Model (OAM) 社区，以及来自阿里云、微软云的 OAM 项目维护
本文涉及的开源框架，仅包含前端、后端和客户端三个方面开源的世界里到处都是“奇珍异宝”，那些琳琅满目的开源项目，它们各有特色有的是简单清爽的小工具，有的是令人称奇的黑科技，还有的是解决痛点的技术方案。这些开源项目处处散发着“诱人”的气息，让人跃跃欲试、欲罢不能。作为程序员的你，看到那些高星、高性能、高
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。多源数据目录在 D
Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。理解连接参数连接参
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
