当前位置:

首页 > 业界资讯 > 谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

11月16日消息,谷歌公司近日发布新闻稿,介绍了小型人工智能模型Mirasol,可以回答有关视频的问题并创造新的记录。AI模型目前很难处理不同的数据流,如果要让AI理解视频,需要整合视频、音频和文本等不同模态的信息,这大大增加了难度。谷歌和谷歌Deepmind的研究人员提出了新的方法,将多模态理解扩展到长视频领域。借助MirasolAI模型,该团队努力解决两个关键挑战:需要以高频采样同步视频和音频,但要异步处理标题和视频描述。视频和音频会生成大量数据,这会让模型的容量紧张。在Mirasol中,谷歌采用了合

本文目录

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    11 月 16 日消息,谷歌公司近日发布新闻稿,介绍了小型人工智能模型 Mirasol,可以回答有关视频的问题并创造新的记录。

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    AI 模型目前很难处理不同的数据流,如果要让 AI 理解视频,需要整合视频、音频和文本等不同模态的信息,这大大增加了难度。

    谷歌和谷歌 Deepmind 的研究人员提出了新的方法,将多模态理解扩展到长视频领域。

    借助Mirasol AI模型,该团队努力解决两个关键挑战:

    • 需要以高频采样同步视频和音频,但要异步处理标题和视频描述。
    • 视频和音频会生成大量数据,这会让模型的容量紧张。

    在Mirasol中,谷歌采用了合路器和自回归转换器模型

    该模型组件将处理时间同步的视频和音频信号,然后将视频拆分成独立的片段

    转换器处理每个片段,并学习每个片段之间的联系,然后使用另一个转换器处理上下文文本,这两个组件交换有关其各自输入的信息。

    一个新的转换模块名为Combiner,能够从每个片段中提取通用表示,并通过降维来压缩数据。每个片段包含4到64帧,该模型目前拥有30亿个参数,能够处理128到512帧的视频

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    在测试中,Mirasol3B 在视频问题分析方面达到了新的基准,体积明显更小,并且可以处理更长的视频。通过使用带有内存的组合器变体,该团队能够进一步降低所需的计算能力18%

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    谷歌推出Mirasol:30亿参数,将多模态理解扩展至长视频

    本站在此附上 Mirasol 的官方新闻稿,感兴趣的用户可以深入阅读。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 人工智能 谷歌
    相关文章 更多
    claude怎么收费最新价格与会员收费标准详解
    claude怎么收费最新价格与会员收费标准详解

    想了解Claude怎么收费?本文梳理了Claude Free、Pro及Team版的最新月费价格、消息限额与高级功能权益,并对比了不同层级的性价比,助你快速找到适合的AI办公伙伴。

    sora使用指南国内使用的具体操作步骤教程
    sora使用指南国内使用的具体操作步骤教程

    本文详细解析Sora在国内的使用现状,指出目前官方未对公众开放注册,提醒用户警惕虚假链接,并提供关注官方动态及替代方案的实用建议。

    南邮光擎智算团队:GaN基Micro-LED光计算芯片从理论到流片的突破
    南邮光擎智算团队:GaN基Micro-LED光计算芯片从理论到流片的突破

    南京邮电大学“光擎智算”团队联合南京大学,攻克GaN基Micro-LED器件技术,成功搭建实验室级光计算验证系统。团队自主研发的5×5 Micro-LED光电计算阵列芯片已进入流片封装阶段,实现了图像识别等算力任务验证,推动光计算技术从理论走向工程落地。

    苹果与铠侠签署NAND长期供应协议:3-5年长约与不设价格上限背后的供应链战略
    苹果与铠侠签署NAND长期供应协议:3-5年长约与不设价格上限背后的供应链战略

    苹果与铠侠签署为期3-5年的NAND闪存长期供应协议,且可能不设价格上限。此举旨在应对AI数据中心需求激增导致的芯片供应紧张,从单纯压价转向确保稳定供货。

    谷歌浏览器网页快捷方式怎么创建?Chrome发送到桌面【指南】_果粉控
    谷歌浏览器网页快捷方式怎么创建?Chrome发送到桌面【指南】_果粉控

    通过Chrome内置功能创建网页快捷方式 想要把常用网站变成桌面一键直达的入口?Chrome浏览器内置的快捷方式创建功能就能轻松实现。无论是生成独立应用窗口,还是传统桌面图标,下面这四种方法总有一款适合你。 一、通过地址栏创建桌面快捷方式 这个方法最实用——它能生成一个独立的桌面图标,双击后直接以应

    Chrome官方网页版入口
    Chrome官方网页版入口

    Chrome官方网页版入口:全方位解析谷歌浏览器的核心体验 很多朋友都在问,Chrome官方网页版的入口到底在哪里?答案其实很明确:https://www.google.com/chrome/。这个地址就是通往谷歌浏览器官网在线版的唯一官方大门。接下来,我们不妨深入看看,这个看似简单的页面背后,究竟

    中国人民大学AI团队揭开大语言模型的隐藏秘密
    中国人民大学AI团队揭开大语言模型的隐藏秘密

    一项研究揭示大语言模型在文本嵌入任务中表现平庸的根源:反嵌入矩阵边缘频谱引入高频词偏见。提出的EmbedFilter方法通过滤除该噪声,在MTEB49项任务上显著提升性能,且无需重新训练,兼容多种基线方法。

    苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法
    苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法

    手机早已成为中青年人的标配,不同年龄段对手机的需求其实差别不小。iPhone 15 Plus 作为当前热度颇高的机型,功能与服务覆盖得相当全面,能满足各类用户的需求。不过,有个实用问题很多人都会遇到——怎么把照片传到电脑上?今天就把两种主流方法掰开揉碎讲清楚,看完你就知道该怎么操作了。 方法一:数据

    谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜
    谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜

    谷歌正式推送安卓17系统,首批覆盖Pixel6至10系列共21款机型。新功能包括长按应用气泡菜单、应用内存限制机制、精确/大致定位权限选择,以及遗失设备追踪的FindHub功能,进一步优化隐私与设备管理体验。

    2026世界人工智能大会倒计时30天:全球首发超300款AI新品
    2026世界人工智能大会倒计时30天:全球首发超300款AI新品

    2026年世界人工智能大会将于7月17日至20日举办,超过300款人工智能新品全球首发,1400多位嘉宾参会,近140场论坛,展览面积超过10万平方米,促成意向合作金额达162亿元,并且推出首个自主举办的国际顶级人工智能学术会议。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。