蜘蛛侠妖娆起舞，下一代 ControlNet 来了！贾佳亚团队推出，即插即用，还能控制视频生成
只用不到10%的训练参数，就能实现ControlNet一样的可控生成！而且SDXL、SD1.5等StableDiffusion家族的常见模型都能适配，还是即插即用。同时还能搭配SVD控制视频生成，动作细节控制得精准到手指。在这些图像和视频的背后，就是港中文贾佳亚团队推出的开源图像/视频生成引导工具——ControlNeXt。从这个名字当中就能看出，研发团队给它的定位，就是下一代的ControlNet。像大神何恺明与谢赛宁的经典大作ResNeXt（ResNet的一种扩展），起名字也是用的这个路数。有网友认为
只用不到 10% 的训练参数，就能实现 ControlNet 一样的可控生成！
而且 SDXL、SD1.5 等 Stable Diffusion 家族的常见模型都能适配，还是即插即用。
同时还能搭配 SVD 控制视频生成，动作细节控制得精准到手指。
在这些图像和视频的背后，就是港中文贾佳亚团队推出的开源图像 / 视频生成引导工具——ControlNeXt。
从这个名字当中就能看出，研发团队给它的定位，就是下一代的 ControlNet。
像大神何恺明与谢赛宁的经典大作 ResNeXt（ResNet 的一种扩展），起名字也是用的这个路数。
有网友认为这个名字是实至名归，确实是下一代的产品，将 ControlNet 提高了一个档次。
还有人直言 ControlNeXt 是规则改变者，让可控生成的效率提升了一大截，期待看到人们用它创作的作品。
蜘蛛侠跳起美女舞蹈
ControlNeXt 支持多款 SD 系模型，而且即插即用。
其中包括了图像生成模型 SD1.5、SDXL、SD3（支持 Super Resolution），还有视频生成模型 SVD。
话不多说，直接看效果。
可以看到，在 SDXL 中加入边缘（Canny）引导，绘制出的二次元少女和控制线条几乎完美贴合。
即使控制轮廓又多又细碎，模型依然可以绘制出符合要求的图片。
而且无需额外训练就可与其他 LoRA 权重无缝集成。
比如在 SD1.5 中，可以把姿势（Pose）控制条件与各种 LoRA 搭配使用，形成风格迥异乃至跨越次元，但动作相同的角色。
另外，ControlNeXt 也支持遮罩（mask）和景深（depth）的控制模式。
在 SD3 当中还支持 Super Resolution（超级分辨率），可生成超高清晰度的图像。
视频生成当中，ControlNeXt 可以实现对人物动作的控制。
比如让蜘蛛侠也跳起 TikTok 中的美女舞蹈，就连手指的动作也模仿得相当精准。
甚至让一把椅子也长出手跳同样的舞蹈，虽然是抽象了一些，但单看动作复刻得还算不错。
而且相比于原始的 ControlNet，ControlNeXt 需要的训练参数更少，收敛速度也更快。
比如在 SD1.5 和 SDXL 中，ControlNet 需要的可学习参数分别是 3.61 亿和 12.51 亿，但 ControlNeXt 分别只需要 3 千万和 1.08 亿，不到 ControlNet 的 10%。
而在训练过程中，ControlNeXt 在 400 步左右就已接近收敛，但 ControlNet 却需要十倍甚至数十倍的步数。
生成的速度也比 ControlNet 更快，平均下来 ControlNet 相当于基础模型会带来 41.9% 的延时，但 ControlNeXt 只有 10.4%。
那么，ControlNeXt 是如何实现的，对 ControlNet 进行了哪些改进呢？
更轻量化的条件控制模块
首先用一张图来了解一下 ControlNeXt 的整个工作流程。
其中轻量化的关键，是 ControlNeXt 移除了 ControlNet 中的庞大控制分支，改为引入一个由少量 ResNet 块组成的轻量级卷积模块。
这个模块负责提取控制条件（如语义分割掩码、关键点先验等）的特征表示。
其中的训练参数量通常不到 ControlNet 中预训练模型的 10%，但仍能很好地学习将输入的条件控制信息，这种设计大大降低了计算开销和内存占用。
具体来说，它从预训练模型的不同网络层的中等距采样，形成用于训练的参数子集，其余参数则被冻结。
另外在设计 ControlNeXt 的架构时，研究团队还保持了模型结构与原始架构的一致性，从而实现了即插即用。
无论是 ControlNet 还是 ControlNeXt，条件控制信息的注入都是一个重要环节。
在这个过程中，ControlNeXt 研究团队主要针对两个关键问题进行了深入研究——注入位置的选择和注入方式的设计。
研究团队观察发现，在大多数可控生成任务中，指导生成的条件信息形式相对简单，且与去噪过程中的特征高度相关。
所以团队认为，没有必要在去噪网络的每一层都注入控制信息，于是选择了只在网络的中间层将条件特征与去噪特征聚合。
聚合的方式也尽可能简单——在用交叉归一化对齐两组特征的分布后，直接将其相加。
这样既能确保控制信号影响去噪过程，又避免了注意力机制等复杂操作引入额外的学习参数和不稳定性。
这之中的交叉归一化，也是 ControlNeXt 的另一项核心技术，替代了此前常用的 zero-convolution 等渐进式初始化策略。
传统方法通过从零开始逐步释放新模块的影响力来缓解崩塌问题，但往往导致的结果就是收敛速度慢。
交叉归一化则直接利用主干网络去噪特征的均值 μ 和方差 σ 对控制模块输出的特征做归一化，使二者的数据分布尽量对齐。
（注： 是为数值稳定性而添加的小常数，γ 为缩放参数。）
归一化后的控制特征再通过尺度和偏移参数调整幅度和基线，再与去噪特征相加，既避免了参数初始化的敏感性，又能在训练初期就让控制条件发挥作用，加快收敛进程。
此外，ControlNeXt 还借助控制模块学习条件信息到隐空间特征的映射，使其更加抽象和语义化 , 更有利于泛化到未见过的控制条件。
项目主页：
https://pbihao.github.io/projects/controlnext/index.html
论文地址：
https://arxiv.org/abs/2408.06070
GitHub：
https://github.com/dvlab-research/ControlNeXt
墨刀将AIPPT纳入产品导航，支持AI生成与美化PPT，与原型、流程图等工具协同，为方案表达提供完整链路。AIPPT可快速梳理结构、初步美化，但最终输出仍需人工校对，不能替代真实业务数据与决策。
溧阳市博物馆展出号称“八十年代拍摄”的老照片，因文字模糊扭曲被质疑AI生成。馆方回应称，原版照片模糊，主办方使用AI修复导致变形，目前已撤展，并将加强审核。
昨天（6月22日），Mozilla 放出了一条相当有意思的更新日志——安卓版火狐 Firefox 浏览器（152版）正式上线了“网页摘要”功能。说简单点，你摇一摇手机，AI 就能帮你把当前页面用几句话概括出来。 别急着升级完就去摇手机——Mozilla 说的是渐进式推送，所以就算你更新到了 152
在系统运维中，下面这些配置文件的用途值得逐一了解，每个文件都有自己明确的职责。 /etc/bootparams 用来指定网络客户机启动时所需的配置文件信息。 /etc/cron.d/cron.allow 和 /etc/cron.d/cron.deny 这一对组合，专门用于对 crontab 做访问控
打开丰云行APP，首先在主页下面点击【服务】。进入服务页面，点击【车钥匙】选项。最后在数字钥匙页面，点击进入我的车钥匙即可使用钥匙远程启动车辆。
在3D生成技术需求持续攀升的当下，如何快速构建结构合理、几何细节丰富的三维模型，已成为AIGC与数字内容生产领域的核心难题。尽管近年来3D生成技术不断突破，精度显著提升，但大多数现有方法在效率与质量之间仍难以兼顾，尤其在高分辨率建模场景中，高昂的计算成本严重拖慢生成速度，制约了实际应用的推广。为应对这一挑战，南洋理工大学携手数美万物、西湖大学共同推出全新3D生成框架——Ultra3D。Ultra3D采用“由粗到精”的两阶段生成策略，高效实现高分辨率三维资产构建，刷新了当前3D生成质量的新高度。第一阶段利用
在互联网高速发展的时代，短视频行业正成为越来越多人的关注焦点。想要在短视频领域脱颖而出，一个专业、高效的团队至关重要。那么，如何寻找合适的团队呢？一、想做短视频怎么找团队？1.明确自身需求首先，你需要明确自己的需求。你想创作的短视频类型是什么？是搞笑、美食、旅游、教育还是其他类型？这将决定你需要的团队成员和技能。2.寻找合作伙伴一旦明确了需求，你可以开始寻找志同道合的合作伙伴。你可以通过社交媒体、行业论坛、招聘网站等途径寻找潜在的合作伙伴。3.评估团队实力在找到合适的团队成员后，你需要评估他们的实力。观看
Go语言作为一门开发效率高、并发性能强大的编程语言，在并发编程方面有着独特的优势。本文将深入探讨Go语言中的并发控制机制，包括Goroutine、Channel、Mutex等概念，并结合具体的代码示例进行讲解。一、Goroutine概念在Go语言中，Goroutine是一种轻量级的线程，由Go语言的运行时管理。通过Goroutine，可以实现并发执行的效果，
本文将介绍如何在使用AppleCarPlay时进行微软团队通话。AppleCarPlay是一款智能手机镜像系统，可让用户通过汽车的信息娱乐屏幕访问iPhone功能。最近，微软宣布用户可以通过AppleCarPlay拨打微软团队电话。使用AppleCarPlay进行团队通话的先决条件是什么？要在团队中使用CarPlay，您需要以下条件：支持CarPlay的信息娱乐系统苹果手机适用于iOS的最新团队应用程序如何使用AppleCarPlay进行微软团队通话？在使用AppleCarPlay拨打微软团队电话之前，让
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
