ML Kit 实时人脸追踪精准技巧

本文介绍如何通过融合 ML Kit 的对象检测与人脸检测能力，实现对指定人物的稳定追踪与头部姿态估计，有效避免背景人员运动导致的误识别，并支持实时人数粗略统计。

本文介绍如何通过融合 ML Kit 的对象检测与人脸检测能力，实现对指定人物的稳定追踪与头部姿态估计，有效避免背景人员运动导致的误识别，并支持实时人数粗略统计。

在使用 ML Kit 进行人脸检测（如 getHeadEulerAngleY() 获取头部偏航角）时，若视频中存在多人且无明确目标区分机制，系统默认会返回检测到的第一个（或置信度最高）人脸的姿态数据——这极易导致后台移动人员干扰主目标分析，尤其在头部旋转检测等精细任务中严重影响鲁棒性。

根本原因在于：ML Kit 原生 FaceDetector 不提供跨帧人脸 ID、轨迹跟踪或优先级选择能力，其每次调用均为独立帧检测，无法天然区分“主讲人”与“背景路人”。

✅ 推荐解决方案：分层检测 + 轨迹绑定

采用「对象检测先行、人脸验证后置、ID 持续绑定」的两级流水线：

1. 第一层：使用 ML Kit Object Detection（带跟踪）定位所有人体/上半身区域
   启用 ObjectDetectorOptions 的 enableTracking = true，获取带唯一 trackingId 和稳定 boundingBox 的检测结果：

   val objectOptions = ObjectDetectorOptions.Builder()
       .setDetectorType(ObjectDetectorOptions.DETECTOR_TYPE_PERSON)
       .enableClassification() // 可选：辅助判断人体类别
       .enableTracking()        // 关键！启用跨帧 ID 跟踪
       .build()

2. 第二层：对每个 tracked object 区域裁剪后，单独调用人脸检测器
   仅在该 ROI（Region of Interest）内运行 FaceDetector，避免全局搜索干扰：

   val roiBitmap = Bitmap.createBitmap(
       fullFrame, 
       object.boundingBox.left.toInt(),
       object.boundingBox.top.toInt(),
       object.boundingBox.width().toInt(),
       object.boundingBox.height().toInt()
   )
   val faceInput = InputImage.fromBitmap(roiBitmap, 0)
   faceDetector.process(faceInput)
       .addOnSuccessListener { faces ->
           if (faces.isNotEmpty()) {
               // ✅ 此人脸属于当前 trackingId 对应的目标对象
               val headYaw = faces[0].headEulerAngleY ?: 0f
               updateRotationForTrackId(object.trackingId, headYaw)
           }
       }

3. 实现目标锁定与人数统计

   • 人数统计：objectDetector 输出的 List<Object> 数量即为当前帧检测到的人体实例数（注意：非精确人脸数，但可作为合理上界）；结合 trackingId 去重后可得活跃目标数。
   • 目标锁定：用户首次点击/框选某 trackingId 后，后续仅处理该 ID 对应的人脸姿态，彻底隔离背景干扰。

⚠️ 注意事项：

• Object Detection 的 PERSON 模型需 Android 6.0+ 且推荐使用 STREAM_MODE 以保障实时性；
• ROI 裁剪务必做坐标映射校验（如考虑预览尺寸缩放、镜像翻转）；
• 避免高频创建 Bitmap —— 建议复用 BitmapFactory.Options 或使用 Allocation（RenderScript）提升性能；
• 若需更高精度人脸 ID，可引入轻量级 Re-ID 模型（如 TensorFlow Lite MobileNetV3 + 特征比对），但会增加复杂度。

总结：ML Kit 本身不提供“多目标人脸追踪”能力，但通过对象检测的 trackingId 作为桥梁，构建 ROI 级人脸检测闭环，即可在不依赖服务端、不牺牲实时性的前提下，实现稳定的目标人物头部姿态分析与背景抗干扰能力。