达摩院开源半监督学习框架Dash，刷新多项SOTA
一、研究背景监督学习（SupervisedLearning）我们知道模型训练的目的其实是学习一个预测函数，在数学上，这可以刻画成一个学习从数据(X)到标注(y)的映射函数。监督学习就是一种最常用的模型训练方法，其效果的提升依赖于大量的且进行了很好标注的训练数据，也就是所谓的大量带标签数据((X,y))。但是标注数据往往需要大量的人力物力等等，因此效果提升的同时也会带来成本过高的问题。在实际应用中经常遇到的情况是有少量标注数据和大量未标注数据，由此引出的半监督学习也越来越引起科学工作者的注意。
一、研究背景
监督学习（Supervised Learning）
我们知道模型训练的目的其实是学习一个预测函数，在数学上，这可以刻画成一个学习从数据 (X) 到标注 (y) 的映射函数。监督学习就是一种最常用的模型训练方法，其效果的提升依赖于大量的且进行了很好标注的训练数据，也就是所谓的大量带标签数据 ((X,y))。但是标注数据往往需要大量的人力物力等等，因此效果提升的同时也会带来成本过高的问题。在实际应用中经常遇到的情况是有少量标注数据和大量未标注数据，由此引出的半监督学习也越来越引起科学工作者的注意。
半监督学习（Semi-Supervised Learning）
半监督学习同时对少量标注数据和大量未标注数据进行学习，其目的是借助无标签数据来提高模型的精度。比如 self-training 就是一种很常见的半监督学习方法，其具体流程是对于标注数据 (X, y) 学习数据从 X 到 y 的映射，同时利用学习得到的模型对未标注数据 X 预测出一个伪标签
，通过对伪标签数据 (X, 
)进一步进行监督学习来帮助模型进行更好的收敛和精度提高。
核心解决问题
现有的半监督学习框架对无标签数据的利用大致可以分为两种，一是全部参与训练，二是用一个固定的阈值卡出置信度较高的样本进行训练 (比如 FixMatch)。由于半监督学习对未标注数据的利用依赖于当前模型预测的伪标签，所以伪标签的正确与否会给模型的训练带来较大的影响，好的预测结果有助于模型的收敛和对新的模式的学习，差的预测结果则会干扰模型的训练。所以我们认为：不是所有的无标签样本都是必须的！
二、论文 & 代码
- 论文链接：https://proceedings.mlr.press/v139/xu21e/xu21e.pdf
- 代码地址：https://github.com/idstcv/Dash
- 技术应用：https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
这篇论文创新性地提出用动态阈值（dynamic threshold）的方式筛选无标签样本进行半监督学习（semi-supervised learning，SSL）的方法，我们改造了半监督学习的训练框架，在训练过程中对无标签样本的选择策略进行了改进，通过动态变化的阈值来选择更有效的无标签样本进行训练。Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。实验方面，我们在 CIFAR-10, CIFAR-100, STL-10 和 SVHN 等标准数据集上充分验证了其有效性。理论方面，论文从非凸优化的角度证明了 Dash 算法的收敛性质。
三、方法
Fixmatch 训练框架
在引出我们的方法 Dash 之前，我们介绍一下 Google 提出的 FixMatch 算法，一种利用固定阈值选择无标签样本的半监督学习方法。FixMatch 训练框架是之前的 SOTA 解决方案。整个学习框架的重点可以归纳为以下几点：
1、对于无标签数据经过弱数据增强（水平翻转、偏移等）得到的样本通过当前的模型得到预测值 
2、对于无标签数据经过强数据增强（RA or CTA）得到的样本通过当前的模型得到预测值 
3、把具有高置信度的弱数据增强的结果
，通过 one hot 的方式形成伪标签
，然后用 
和 X 经过强数据增强得到的预测值 
进行模型的训练。
fixmatch 的优点是用弱增强数据进行伪标签的预测，增加了伪标签预测的准确性，并在训练过程中用固定的阈值 0.95（对应 loss 为 0.0513) 选取高置信度（阈值大于等于 0.95，也就是 loss 小于等于 0.0513）的预测样本生成伪标签，进一步稳定了训练过程。
Dash 训练框架
针对全部选择伪标签和用固定阈值选择伪标签的问题，我们创新性地提出用动态阈值来进行样本筛选的策略。即动态阈值 
是随 t 衰减的
式中 C=1.0001,
是有标签数据在第一个 epoch 之后 loss 的平均值，我们选择那些
的无标签样本参与梯度回传。下图展示了不同
值下的阈值 
的变化曲线。可以看到参数 
控制了阈值曲线的下降速率。
的变化曲线类似于模拟训练模型时损失函数下降的趋势。
下图对比了训练过程中的 FixMath 和 Dash 选择的正确样本数和错误样本数随训练进行的变化情况（使用的数据集是 cifar100）。从图中可以很清楚地看到，对比 FixMatch，Dash 可以选取更多正确 label 的样本，同时选择更少的错误 label 的样本，从而最终有助于提高训练模型的精度。
我们的算法可以总结为如下 Algorithm 1。Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。为了方便，在本文的实验中我们主要将 Dash 与 FixMatch 集成。更多理论证明详见论文。
四、结果
我们在半监督学习常用数据集：CIFAR-10，CIFAR-100，STL-10 和 SVHN 上进行了算法的验证。结果分别如下：
可以看到我们的方法在多个实验设置上都取得了比 SOTA 更好的结果，其中需要说明的是针对 CIFAR-100 400label 的实验，ReMixMatch 用了 data align 的额外 trick 取得了更好的结果，在 Dash 中加入 data align 的 trick 之后可以取得 43.31% 的错误率，低于 ReMixMatch 44.28% 的错误率。
五、应用
实际面向任务域的模型研发过程中，该半监督 Dash 框架经常会被应用到。接下来给大家介绍下我们研发的各个域上的开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：
- https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
- https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
- https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
- https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
- https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
- https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
- https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
- https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
- https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
- https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
- https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
- https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary
机器学习奠基人MichaelJordan认为AGI是公关炒作，AI的真正挑战在于让系统学会协调。他主张机器学习必须与经济学结合，关注不确定性、激励机制和数据流动等社会系统性问题，而非单纯追求模型能力。
持续坚持原创输出，点击蓝字关注我吧 ❝ 沉淀、分享、成长，让自己和他人都能有所收获！ ❞ 目录 一、前言二、面试题三、线程池讲解1. 先看个例子2. 手写一个线程池3. 线程池源码分析四、总结五、系列推荐一、前言人看手机，机器学习！正好是2020年，看到这张图还是蛮有意思的。以前小时候总会看到一些科
当前数字时代，deepseek入口智能助手凭借前沿技术架构为用户带来革新体验 在如今这个数字浪潮翻涌的时代，deepseek入口智能助手凭借其前沿的技术架构，为用户带来了真正意义上的革新体验。这个平台巧妙融合了自然语言处理与知识图谱技术，能够精准解析那些看似复杂的语义需求，已然成为提升工作效率的智能
刚开始学机器学习时，我也像大部分人 一样，有个很朴素的想法：特征越多，模型能学到的信息就越多，效果自然越好。 所以每次拿到数据，我就拼命往模型里塞特征——能算出来的统计量全加上，能衍生出来的比率全拼上。 一个原本 20 列的数据集，经常被我搞到七八十列。 然后我就发现事情不太对劲了： 训练时间明显变
机器学习实战中，大家往往把精力花在调参和选模型上，却忽略了一个更基础的问题：喂给模型的数据里，有多少特征是真正有用的？ 刚开始学机器学习那会儿，很多人特别喜欢堆特征——不管有用没用先一股脑全塞进去，总觉得特征越多模型越聪明。直到有一次跑练习数据集，X_train.shape 直接干到了 (50000
空气中直径小于100纳米的超细颗粒物每年导致约199万人早逝，其中近半因心血管疾病。该颗粒物主要来自化石燃料，可通过呼吸进入血液，引发氧化应激和内皮功能紊乱，是未被充分认识的心血管危险因素。若年均浓度控制在每立方厘米5000个以下，全球超额死亡率可降低约45%。
这项研究来自Ezgi Korkmaz，论文以预印本形式发布于2026年7月8日，编号为arXiv:2607.07769，发表于cs.LG（机器学习）领域，并将出版于2026年人工智能促进协会（AAAI）会议论文集。有兴趣深入了解的读者可以通过arXiv编号2607.07769查询完整论文。 深度强化
机器人编程侧重硬件组装与程序驱动，编程受限于特定机器人；少儿编程系统化教授编程知识，从Scratch启蒙延伸至Python、C++等高级语言。两者各有侧重，选择取决于希望孩子提升的能力方向。
少儿编程分为软件与硬件两大方向。软件编程侧重逻辑与代码能力，含图形化、Python、C++，适配学业竞赛；硬件编程侧重动手与工程实践，含乐高搭建与机器人。选择应基于孩子兴趣与年龄。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
