微软亚洲研究院推出TinyMIM:通过知识蒸馏提升小型ViT的性能
作者:吹吹风会发光
时间:2023-10-03
来源:正软商城
浏览:5
重新表达:研究动机掩码建模(MIM,MAE)被证明是非常有效的自监督训练方法。然而,如图1所示,MIM对于更大的模型效果相对更好。当模型很小的时候(比如ViT-T5M参数,这样的模型对于现实世界非常重要),MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%,但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。在这篇工作中我们提出了TinyMIM,其在保持ViT结构不变并且不修改结构引入
本文目录
重新表达:研究动机

论文地址:https://arxiv.org/pdf/2301.01296.pdf 代码地址:https://github.com/OliverRensu/TinyMIM







指学生模型的 class token,而
指老师模型的 class token。







作者最新文章
ABBYY FineReader内容导入 文件添加步骤
2026-11-04 20:14
Agent Space智能体如何进行功能测试
2026-11-01 08:45
Proxifier怎么卸载:Windows标准版彻底移除与配置清理指南
2026-10-30 09:37
七彩虹 iGame RTX 5070 Ti Ultra SFF 显卡图赏:嘻哈涂鸦风,设计更潮酷
2026-10-26 16:48
viso如何导入word的详细操作步骤教程
2026-10-20 16:03
热门文章
更多
精品专题
更多
Mac软件
更多
火山引擎 网页版
Windows/ macOS/ Linux
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。
















