当前位置:

首页 > 业界资讯 > 中科院&树兰医院&北师大团队开发基于掩码模块的深度生成框架,用于多模态数据集成、插补和跨模态生成

中科院&树兰医院&北师大团队开发基于掩码模块的深度生成框架,用于多模态数据集成、插补和跨模态生成

编辑|红菜苔随着单细胞技术的进步,我们能够测量许多细胞的特性。同时,多组学分析技术使我们能够同时测量单个细胞中的多个特征。为了有效处理这些庞大的数据,我们需要开发多模态数据集成的计算方法。树兰医院、中国科学院和北京师范大学的合作团队提出了inClust+,一个用于多组学分析的深度生成框架。它基于之前的inClust框架,针对转录组数据进行了改进,并添加了两个专为多模式数据处理设计的掩码模块:输入掩码模块和输出掩码模块,分别位于编码器前和解码器后。这些掩码模块的引入使得inClust+能够更好地处理多模式数

本文目录

    可多模态数据集成、插补和跨模态生成,中科院&树兰医院&北师大团队开发带有掩码模块的深度生成框架

    编辑 | 红菜苔

    随着单细胞技术的进步,我们能够测量许多细胞的特性。同时,多组学分析技术使我们能够同时测量单个细胞中的多个特征。为了有效处理这些庞大的数据,我们需要开发多模态数据集成的计算方法。

    树兰医院、中国科学院和北京师范大学的合作团队提出了inClust+,一个用于多组学分析的深度生成框架。它基于之前的inClust框架,针对转录组数据进行了改进,并添加了两个专为多模式数据处理设计的掩码模块:输入掩码模块和输出掩码模块,分别位于编码器前和解码器后。这些掩码模块的引入使得inClust+能够更好地处理多模式数据,并提高多组学分析的准确性和效率。

    InClust+ 是一个用于整合相似细胞群的 scRNA-seq 和 MERFISH 数据的工具。它通过使用 scRNA-seq 数据来估算 MERFISH 数据,从而提供了一种综合分析多模态数据的方法。除了基因表达数据外,InClust+ 还能整合染色质可及性和蛋白质丰度等三种模态的数据,并且能够处理批次效应的影响。通过使用 InClust+,研究人员可以更全面地理解细胞的多方面特征,并获得更准确的细胞类型分类和功能注释。

    研究人员利用inClust+整合了一个未标记的单模态scRNA-seq数据集和两个标记的多模态CITE-seq数据集。通过这种整合,他们成功将CITE-seq数据集中的标签转移到了scRNA-seq数据集中,并且成功生成了单模态scRNA-seq数据中缺失的蛋白质丰度模态。这项研究为单模态转多模态数据整合提供了一种有效的方法,并且为进一步研究细胞的多模态特征提供了重要的工具。

    该研究以「InClust+: the deep generative framework with mask modules for multimodal data integration, imputation, and cross-modal generation」为题,于 2024 年 1 月 24 日发布在《BMC Bioinformatics》。

    可多模态数据集成、插补和跨模态生成,中科院&树兰医院&北师大团队开发带有掩码模块的深度生成框架

    近年来,单细胞技术的进步使得在单个细胞中获得多种性状成为可能,例如单细胞 RNA 测序 (scRNA-seq)、转座酶可及染色质测序的单细胞测定 (scATAC-seq) 和单细胞亚硫酸氢盐测序 (scBS-seq)。

    这些单细胞方法极大地促进了科学家对细胞的理解,揭示了细胞群的异质性、细胞发育轨迹以及基因调控网络。然而,单一数据采集方式仅能展示细胞状态的有限侧面。为了获取更全面、深入的信息,需要整合来自不同模态的数据,以更好地揭示数据的生物学意义。

    为了完成这些任务,树兰医院、中国科学院和北京师范大学的合作团队在之前的研究中,曾提出了 inClust(集成聚类),一种灵活的转录组数据深度生成框架。在这里,该团队通过添加两个新模块来扩展 inClust,即编码器前面的输入掩码模块和解码器后面的输出掩码模块。

    可多模态数据集成、插补和跨模态生成,中科院&树兰医院&北师大团队开发带有掩码模块的深度生成框架

    图示:inClust+的架构及其应用。(来源:论文)

    该团队将增强的 inClust 命名为 inClust+,并证明它不仅可以完成数据集成,还可以利用掩模模块的优点完成基因插补。

    研究人员将 inClust+ 应用于各种数据集,包括多个单模态(未配对)数据集、一个或多个多模态数据集以及包含多模态数据和单模态数据的数据集。在这些例子中,inClust+展示了其数据集成、插补和数据生成的能力。

    首先,通过 mask 模块的优点,参考类似细胞群的 scRNA-seq 数据,使用 inClust+ 对 MERFISH 数据进行插补。

    然后,通过三个示例评估了具有堆叠式编码器-解码器架构和掩模模块的 inClust+ 的多模态集成能力。结果表明,inClust+ 不仅可以混合模态之间的数据,还可以分离生物学差异并消除批次效应。

    最后,研究人员使用 inClust+ 将数据与单模态数据集和多模态数据集进行集成。结果表明,inClust+ 可以将标签从多模态数据转移到单模态数据,并补全单模态数据中缺失的模态。

    可多模态数据集成、插补和跨模态生成,中科院&树兰医院&北师大团队开发带有掩码模块的深度生成框架

    图示:inClust+ 整合多模态(三重)数据集的图表。(来源:论文)

    InClust+ 的应用并不限于上述情况。对于基因插补,会出现一种情况,即所有数据集都有自己的特定基因,而不是只有一个数据集有自己独特的基因。通过调整输出掩码,inClust+ 可以基于共享基因整合两个数据集,并通过引用相应数据集中的特定基因来估算两个数据集中的其余基因。对于缺失模态生成,会出现所有数据集都有自己特定模态的情况,inClust+ 可以基于共享模态整合两个数据集,并通过引用相应数据集中的特定模态来生成每个数据集中的缺失模态。

    由于inClust+ 是 inClust 在多模态应用中的扩展,因此与其他集成方法相比,inClust+ 和 inClust 可以作为一个整体放在一起。该团队的模型(inClust 和 inClust +)与其他集成方法的区别在于其适应不同情况的灵活性以及尽可能集成信息的能力。

    灵活性体现在以下两点:首先,InClust 可以灵活地处理标签信息;InClust+也继承了这一优点,并体现在 inClust+ 可以半监督模式将标签从参考数据集转移到查询数据集。其次,inClust+ 中的两个 mask 模块可以灵活调整以处理不同的输入。

    模型尽可能整合信息的能力体现在以下两点:首先,在inClust中证明该模型不仅可以使用表达数据,还可以使用协变信息(例如批次)和标签信息;这一优点也被 inClust+ 继承了。其次,如 inClust+ 所示,该模型不仅可以利用共享数据(共享基因表达或共享模态)进行整合,还可以利用特定基因或模态来进行缺失基因插补或缺失模态生成。

    简而言之,该团队的模型不仅可以集成数据,还可以在数据集成的基础上完成其他下游任务(例如分布外生成、标签转移和新型识别、空间域分割、跨模态插补和生成)。

    添加掩模是增强深度学习模型的常见方法。在 inClust+ 中,研究人员通过一对掩码模块(输入掩码模块和输出掩码模块)来增强模型。掩模的灵活设计和使用使模型能够完成一系列任务,这些任务通常需要多个模型分别完成。例如,inClust+ 可以利用常见的和数据集特定的基因进行整合和插补,如 uniPort。掩码使事情变得简单:输入掩码筛选出常见基因,输出掩码筛选出相应数据的常见基因和数据集特定基因。

    同时,inClust+ 可以集成多模态数据集来实现多域翻译,作为跨模态自动编码器。输入掩码和输出掩码使inClust+ 成为多个独立且相关的编码器-解码器组合。因此,inClust+ 不仅可以对同一模态的数据进行压缩和重构,还可以将一种模态的数据压缩并重构为另一种模态,从而实现跨模态翻译。

    此外,inClust+ 可以集成多模态数据集和单模态数据集,将标签从多模态数据转移到单模态数据,并通过数据生成将单模态数据完整地转换为多模态数据,如 sciPENN。InClust+ 指的是多模态数据集,用于生成单模态数据集中缺失模态的数据。一般来说,作为一种模型增强技术,在模型中添加一对掩模不仅限于 inClust,还可以扩展到具有类似编码器-解码器结构的深度学习模型,例如 scArches。

    论文链接:https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-024-05656-2

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    下一篇: 网购联想电脑
    相关文章 更多
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了

    前瞻研判:未来十年,县域特色化经济的竞争,不再是资源的竞争,而是市场信任的竞争。谁能为消费者提供最确定的价值承诺,谁就能赢得市场。 2026年全国两会刚刚落幕,“十五五”规划进入开局之年。今年的政府工作报告中,“扎实推进乡村全面振兴”被摆在突出位置,明确提出要“壮大县域富民产业,做好土特产文章”。这

    南昌光电产业集群将重磅亮相ISLE 2026
    南昌光电产业集群将重磅亮相ISLE 2026

    2026 ISLE展前瞻:南昌光电产业集群即将重磅亮相 明年三月,深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日,ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次,聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌,智链全球”为主题,携一支实力雄厚的“集团军”

    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”
    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”

    天龙三号海上试车成功:看中国商业航天如何将“安全”铸为核心竞争力 9月15日,山东海阳东方航天港,巨大的轰鸣声撕裂长空,炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭,在这里的海上平台成功完成了一级动力系统试车。 这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人

    通用技术集团发布四大战略行动计划,形成全维发展布局
    通用技术集团发布四大战略行动计划,形成全维发展布局

    3月18日,通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京,一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行,近500位产业链上下游的企业代表与行业专家齐聚一堂。会上,通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

    华为鸿蒙电脑亮相,重构产业新格局
    华为鸿蒙电脑亮相,重构产业新格局

    华为鸿蒙电脑技术与生态沟通会隆重举行,首款鸿蒙电脑惊艳登场,这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步,为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功,而是华为经过五年精心策划的结果。在此期间,华为汇聚了超过10000名顶尖工程师,与20多家专业研究所紧密合作,投入大量的精力与资源进行技术研发,最终积累了超过2700项核心专利,彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核,从操作系统底层开始重构,旨在为用户提供全面升级的办公体验

    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT
    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生,导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO

    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM
    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM

    用来运行Llama3405B优势明显。最近,Meta开源了最新的405B模型(Llama3.1405B),把开源模型的性能拉到了新高度。由于模型参数量很大,很多开发者都关心一个问题:怎么提高模型的推理速度?时隔才两天,LMSYSOrg团队就出手了,推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时,它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下(运行Llama系列模型),它的吞吐量甚至能达到TensorRT

    人类模仿AI新赛道,AI:论疯癫,你是我爹
    人类模仿AI新赛道,AI:论疯癫,你是我爹

    机器之能报道编辑:杨文AI被人类带坏!这个世界,太癫了……最近,社交媒体上冒出来一堆搞怪视频,打着AI的旗号,真人cosAI,甚至抖音还专门出了个热门话题——人类模仿AI大赛。(视频来自抖音博主「关妮乱石」)视频链接:https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿:左边一张旧照片,右边打着「AI修复」的字幕,实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI:第一次被人冒充,没想到比我还抽

    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath
    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath

    获胜的AI数学奥林匹克模型出炉!几天前,随着榜单的公布,大家对全球首届AI数学奥林匹克竞赛(AIMO)进步奖的讨论量居高不下。这次比赛共有5个团队胜出,获得第一名的是Numina的团队,CMU_MATH位列第二,afterexams暂居第三,codeinter、Conor#2团队分别拿到第四、第五的成绩。图源:https://www.kaggle.com/c/ai-mathematical-olympiad-prize/leaderboard这一成绩,曾让陶哲轩感到惊讶。当时官方只公布了获奖名单,并未透漏

    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者
    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者

    2024年WAIC・云帆奖面向全球征选AI青年技术人才,欢迎点击「此链接」报名或提名。人工智能的研究范式和产业格局正在经历深刻而积极的转变。过去一年,大模型引发了一股席卷全球的智能浪潮,这不仅推动了AI技术在更广泛领域的应用,也激发了人类对人工智能深层次潜力的追寻和探索。在这场技术革新的洪流中,通用人工智能(AGI)正逐渐从幻想走进现实。我们正处于一个新征程的起点,这个阶段将以人类对通用智能的不懈追求为特征。迎接即将到来的新时代,让我们将目光投向那些充满激情、勇于探索的青年创新者。他们凭借卓越的智慧和无畏

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。