TTFNet | 实时目标检测效率提升方案
作者：Edison_G简要现在目标检测器很少能同时实现训练时间短，推理速度快，精度高。为了达到平衡，作者就提出了Train-FriendlyNetwork(TTFNet)。作者从light-head,single-stage,andanchor-free设计开始，这使得推理速度更快。然后作者重点缩短训练时间。我们注意到，从注释框中编码更多的训练样本与增加批处理大小具有相似的作用，这有助于扩大学习速率和加速训练过程。为此作者就介绍了一种利用高斯核对训练样本进行编码的新方法。此外，为了更好地利用信息
作者：Edison_G
简要
现在目标检测器很少能同时实现训练时间短，推理速度快，精度高。为了达到平衡，作者就提出了Train-Friendly Network(TTFNet)。作者从light-head, single-stage, and anchor-free设计开始，这使得推理速度更快。然后作者重点缩短训练时间。
我们注意到，从注释框中编码更多的训练样本与增加批处理大小具有相似的作用，这有助于扩大学习速率和加速训练过程。为此作者就介绍了一种利用高斯核对训练样本进行编码的新方法。此外，为了更好地利用信息，还设计了主动样本权重。在MSCOCO上的实验表明，TTFNet在平衡训练时间、推理速度和精度方面具有很大的优势。它比以前的实时检测器减少了7倍以上的训练时间，同时保持了最先进的性能。此外，super-fast版本的TTFNet-18和TTFNet-53可以分别是SSD300和YOLOv3的训练时间不到十分之一。
历史回顾&背景
目标检测器的精度，推理速度，训练时间等方面都得到了广泛关注和不断提高。然而，很少工作可以在它们之间取得良好的平衡。直观地说，推理速度较快的检测器应该有较短的训练时间。然而，事实上大多数实时检测器比非实时检测器需要更长的训练时间。高精度检测器可以大致分为两种类型之——它们的推理速度慢，而且需要大量的训练时间。
第一类网络（Huang, L.; Yang, Y.; Deng, Y.; and Yu, Y. 2015. Densebox: Unifying landmark localization with end to end object detection.）一般依靠heavy检测头或复杂后处理。虽然这些设计有利于精度的提高和快速收敛，但它们显著降低了推理速度。因此，这种类型的网络通常不适合实时应用。
为了加快推理，研究人员努力简化检测头和后处理，同时保持准确性(Zoph, B., and Le, Q. V. 2017. Neural architecture search with reinforcement learning.)。在最近的一项名为CenterNet的研究中，推理时间进一步缩短，几乎与主干网络消耗的时间相同。然而，所有这些网络不可避免地需要很长的训练时间。这是因为这些网络由于简化而难以训练，使得它们在很大程度上依赖于数据增强和较长的训练时间。例如，CenterNet需要在公共数据集MSCOCO上进行140个epochs训练。相比之下，第一类网络通常需要12个epochs。
动机根据Linear Scaling Rule，可以通过增大batchsize提高learning rate，然而仔细分析SGD的公式，我们也可以通过增加高质量的正样本个数来起到同样的作用。也就是不仅可以增大n，也可以增大m。
回顾随机梯度下降(SGD)的公式，权重更新表达式可以描述为：
至于目标检测，图像x可以包含多个注释框，这些框将被编码到训练样本s∈Sx。Mx=|Sx|表示图像x中所有框产生的样本数， 因此上公式可以表述为：
为了简化，假设mx对于小批量B中的每个图像x是相同的。关注个体训练样本s，上式可以改写为：
线性缩放规则是在经验中发现的，如果批处理大小乘以k，则学习速率应该乘以k，除非网络正在迅速变化，或者采用非常大的mini-batch批处理。也就是说，用小的mini-batch Bj和学习速率η执行k迭代基本上相当于用大的mini-batch ∪j∈[0，k)Bj和学习速率kη执行1迭代，只有当我们可以假设：
这个条件通常是在大规模的真实世界数据下满足的。
较大的学习速率不能帮助CenterNet更快地收敛，并且删除数据增强会导致性能变差。根据上面的结论，我认为这是因为CenterNet在训练过程中只在目标中心编码一个单一的回归样本。这种设计使得CenterNet在很大程度上依赖于数据增强和较长的训练时间，导致不友好的训练时间。
为了减少网络对数据增强的依赖，同时减少训练时间，我认为需要更好的编码回归样本的策略。在这一动机的指导下，作者提出新的方法，在 ablation研究中进行更全面的实验可以进一步验证新方法的优越性。
新方法
面向需要高效获取全球资讯的用户，Google Search App整合了文本、语音及图像识别等多模态搜索方式。针对界面语言设置需求，本文详解如何在App内将搜索语言切换为简体中文（普通话），并介绍其跨端检索、沉浸式浏览及本地生活推荐等核心功能，帮助用户更便捷地定制个性化信息获取体验。
随着人工智能技术的不断发展，图像识别已经成为了一项非常重要的任务。而基于神经网络的图像识别系统，则是实现高精度识别、分类和检测的常用方法之一。本文将介绍如何使用Java编写一个基于神经网络的图像识别系统。神经网络的基础知识神经网络是由很多个神经元相互连接而成的网络，每一个神经元都有输入、输出和激活函数。在图像识别中，神经网络的输入层通常是原始图像的像素值，隐
随着人工智能技术的不断发展，图像识别技术也得到了越来越广泛的应用。而在实际开发中，由于图像数据的庞大，往往需要使用高性能的解决方案来保证识别速度和结果准确性。PHP作为一门广泛应用于Web开发的语言，在图像识别领域也有不俗的表现，本文将介绍PHP中的高性能图像识别技术。一、PHP中的图像处理扩展PHP本身并不是专门用于图像处理的语言，但是增加了图像处理扩展可
如何使用Vue和Canvas开发智能化的图像识别应用随着人工智能的快速发展，图像识别技术在各个领域得到了广泛应用。而Vue是一款流行的JavaScript框架，可以帮助我们构建响应式的Web应用程序。在本文中，我们将学习如何使用Vue和Canvas来开发一个智能化的图像识别应用。首先，我们需要创建一个Vue项目。假设你已经安装了Node.js和VueCLI
随着计算机视觉技术的不断发展，图像识别技术成为了计算机视觉研究中的重要部分。近年来，人工智能的迅速发展和应用，使得图像识别技术得到了进一步的提升和应用。本文将重点介绍使用Java实现的图像识别技术与应用。一、什么是图像识别技术？图像识别技术，顾名思义，是指通过计算机对图像进行分析和处理，从而识别出其中的物体、人脸、文字等信息。通俗地说，就是计算机可以像人类一
随着云计算和大数据技术的不断发展，计算机图形识别已成为人工智能领域的一个重要方向。而图像识别在现代工业中具有广泛的应用，如人脸识别、物体识别、车牌识别等等。在实际的应用场景中，通常需要对大量的图像进行处理。单一机器的处理速度和处理能力可能已经无法满足应用的需求。因此，如何实现高效的分布式图像识别技术，成为了现代计算机科学研究的重要问题。本文将介绍一种基于R
随着人工智能技术的发展，图像识别和智能化处理已经成为各行各业的必备技能。在这样一个时代背景下，使用Gin框架实现图像识别和智能化处理功能也成为了越来越多开发者的选择。首先，我们需要了解什么是Gin框架。Gin是一个基于Go语言的web框架，它轻量级、快速、灵活且易于扩展。它采用了类似于Martini的API，但比Martini更快。Gin框架中的中间件和路由
随着人工智能技术的发展，图像识别在各个领域的应用越来越广泛。而PHP作为一种流行的Web编程语言，也可用于图像识别的应用。本文将介绍如何使用PHP进行图像识别。一、什么是图像识别？图像识别，也被称为图像分类或图像识别，是通过计算机程序对数字图像进行分析和理解的过程。对于人类来说，我们可以轻松地分辨出我们看到的物体，但对于计算机来说，图像只是一些数字和像素的集
计算机视觉是人工智能的一个分支，旨在使计算机能够理解数字图像或视频中的内容。图像识别是计算机视觉的一个重要任务，它涉及到将图像中的对象或场景识别并分类。python凭借其强大的图像处理库和深度学习框架，在计算机视觉领域独占鳌头。一、Python图像处理库Python提供了丰富的图像处理库，使开发人员能够轻松地处理和分析图像。其中最受欢迎的库包括OpenCV、Pillow和Scikit-Image。1.OpenCVOpenCV是一个开源的计算机视觉库，提供了一系列图像处理和计算机视觉算法，包括图像读取、写入
在当代科技领域中，图像识别技术正变得越来越重要。图像识别技术可以帮助我们识别和分类从数字图像中提取出来的实体，然后在数据分析和预测中使用。Python是一种非常流行的编程语言，也非常适合使用图像识别技术。在本文中，我们将了解如何在Python中使用图像识别技术，以及我们可以用它来做些什么。一、图像处理库在开始使用图像识别技术之前，最好了解一些图像处理库的基础
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
