当前位置:

首页 > 编程开发 > AIORTC 实现桌面实时屏幕流媒体传输

AIORTC 实现桌面实时屏幕流媒体传输

本文详解如何用aiortc替代静态视频文件,结合mss库实现低延迟、高帧率的本地桌面实时WebRTC流媒体推流,涵盖自定义VideoStreamTrack、线程安全帧队列、时间戳同步等关键实践。

本文目录

    使用 aiortc 实现桌面实时屏幕流媒体传输(基于 MSS 屏幕捕获)

    本文详解如何用 aiortc 替代静态视频文件,结合 mss 库实现低延迟、高帧率的本地桌面实时 WebRTC 流媒体推流,涵盖自定义 VideoStreamTrack、线程安全帧队列、时间戳同步等关键实践。

    在基于 aiortc 的 WebRTC 服务中,MediaPlayer 仅适用于预录制的音视频文件(如 video.mp4),无法满足实时屏幕共享需求。要将用户当前桌面画面作为实时视频源推送到浏览器客户端,必须实现一个符合 aiortc 接口规范的自定义 VideoStreamTrack,并集成高效、轻量的屏幕捕获方案。mss 是 Python 中性能优异的纯 Python 屏幕捕获库,支持跨平台、无依赖、高帧率(可达 30–60 FPS),是理想选择。

    以下是一个完整、可运行的 ScreenCapturing 类实现,它继承 VideoStreamTrack,通过后台线程持续抓取屏幕,并利用线程安全队列(queue.Queue)向主线程异步提供帧:

    from aiortc import VideoStreamTrack
    from av import VideoFrame
    import numpy as np
    import threading
    import asyncio
    import queue
    import mss
    
    class ScreenCapturing(VideoStreamTrack):
        """
        自定义视频流轨道:实时捕获主显示器画面(monitor[1])
        支持 WebRTC 兼容的 BGR24 格式帧输出与 PTS 时间戳管理。
        """
        def __init__(self) -> None:
            super().__init__()
            self.queue = queue.Queue(maxsize=10)  # 限制缓冲深度,防内存溢出
            self._started = False
    
        async def recv(self) -> VideoFrame:
            """核心方法:被 aiortc 调用以获取下一帧"""
            # 阻塞等待新帧(超时可选,避免永久挂起)
            try:
                img = self.queue.get(timeout=5.0)
            except queue.Empty:
                # 若长时间无帧,生成黑帧兜底(可选健壮性增强)
                dummy = np.zeros((720, 1280, 3), dtype=np.uint8)
                frame = VideoFrame.from_ndarray(dummy, format="bgr24")
                pts, time_base = await self.next_timestamp()
                frame.pts = pts
                frame.time_base = time_base
                return frame
    
            # RGBA → RGB(丢弃 Alpha 通道),确保格式兼容
            if img.shape[2] == 4:
                img_rgb = img[:, :, :3]
            else:
                img_rgb = img
    
            # 创建 VideoFrame 并设置时间戳(必需!否则播放卡顿/不同步)
            frame = VideoFrame.from_ndarray(img_rgb, format="bgr24")
            pts, time_base = await self.next_timestamp()
            frame.pts = pts
            frame.time_base = time_base
            return frame
    
        def start(self) -> None:
            """启动独立捕获线程(daemon=True 确保主程序退出时自动终止)"""
            if self._started:
                return
            self._started = True
            thread = threading.Thread(target=self._capture_loop, daemon=True)
            thread.start()
    
        def _capture_loop(self) -> None:
            """后台捕获循环:使用 mss 抓取主屏,转为 ndarray 后入队"""
            with mss.mss() as sct:
                monitor = sct.monitors[1]  # [0] 是虚拟全屏,[1] 是主显示器
                while self._started:
                    try:
                        # 高效抓屏(返回 PIL Image,转 ndarray 开销可控)
                        im = sct.grab(monitor)
                        im_np = np.array(im)
                        # 尝试非阻塞入队,满则丢弃旧帧(保证低延迟)
                        try:
                            self.queue.put_nowait(im_np)
                        except queue.Full:
                            # 丢弃最老帧,优先保障实时性
                            try:
                                self.queue.get_nowait()
                                self.queue.put_nowait(im_np)
                            except queue.Empty:
                                pass
                    except Exception as e:
                        print(f"[ScreenCapturing] 捕获异常: {e}")
                        break
    
        def stop(self) -> None:
            """停止捕获(配合 on_shutdown 使用)"""
            self._started = False
            # 清空队列避免残留引用
            while not self.queue.empty():
                try:
                    self.queue.get_nowait()
                except queue.Empty:
                    break

    接下来,在主服务逻辑中替换原有的 create_local_tracks 函数,并确保在 offer 处理流程中正确初始化和启动该轨道:

    # 替换原 create_local_tracks 函数
    async def create_local_tracks():
        track = ScreenCapturing()
        track.start()  # ⚠️ 必须显式调用启动捕获线程
        return track
    
    # 修改 offer 处理函数(关键变更点)
    async def offer(request):
        params = await request.json()
        offer = RTCSessionDescription(sdp=params["sdp"], type=params["type"])
        pc = RTCPeerConnection()
        pcs.add(pc)
    
        # ✅ 使用实时屏幕轨道替代 MediaPlayer
        video = await create_local_tracks()  # 注意:此处为协程,需 await
        pc.addTrack(video)
    
        await pc.setRemoteDescription(offer)
        answer = await pc.createAnswer()
        await pc.setLocalDescription(answer)
    
        return web.Response(
            content_type="application/json",
            text=json.dumps(
                {"sdp": pc.localDescription.sdp, "type": pc.localDescription.type}
            ),
        )

    重要注意事项与优化建议:

    • 显示器选择:sct.monitors[1] 对应主显示器;可通过 print(sct.monitors) 查看所有屏幕区域,按需调整索引或指定 {"top": ..., "left": ..., "width": ..., "height": ...}。
    • 性能调优:
      • 降低分辨率(如 monitor.update({"width": 1280, "height": 720}))可显著提升帧率;
      • mss 默认使用 numpy 后端,无需额外配置;
      • 避免在 recv() 中执行耗时操作(如图像缩放、编码),应在捕获线程中预处理。
    • 时间戳(PTS):await self.next_timestamp() 是强制要求——它确保帧按正确时间间隔渲染。忽略会导致浏览器解码器卡顿、音画不同步。
    • 资源清理:在 on_shutdown 中,除关闭 RTCPeerConnection 外,建议调用 track.stop()(若已扩展该接口),防止后台线程残留。
    • 安全性与权限:Windows/macOS/Linux 均需授予 Python 进程屏幕录制权限(如 macOS 的“屏幕录制”隐私设置),否则 mss.grab() 将返回黑屏或报错。

    通过以上改造,你的 aiortc 服务即可从“播放录像”升级为“直播桌面”,真正实现 WebRTC 场景下的实时协作、远程支持与教学演示能力。整个方案不依赖 FFmpeg 或 GStreamer,轻量可靠,适合嵌入边缘设备或容器化部署。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    Modern Web Guidance 的 legacy-scan 反转建议应该怎样判断?
    Modern Web Guidance 的 legacy-scan 反转建议应该怎样判断?

    说明源码提交对字符串、生成器和数组的识别边界,以及扫描命令与发行包核验限制。

    Codex 0.170.0 正式版的语音与连接更新,适用范围有哪些限制?
    Codex 0.170.0 正式版的语音与连接更新,适用范围有哪些限制?

    0.170.0 的语音更新限于终端通话协商能力的明确新增,同名工具服务器跨环境支持仍标注实验性质;连接部分则修复大请求回退、认证竞态和云端重连等具体问题。这份正式版公告不足以证明所有账户、所有客户端都已具备完整语音功能。

    Hy4 flash 三种权重怎么选,安装和授权要注意哪些条件?
    Hy4 flash 三种权重怎么选,安装和授权要注意哪些条件?

    了解Hy4 flash、FP8与base的适用任务,阅读官方安装及图文代码,并核对资源和MaaS许可条件。

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化
    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化。说明已核实的更新范围、类型兼容性和本地版本确认方法。

    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?
    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?

    OpenAI Java SDK 4.108.0 面向 Live MCP 工具接入与 Managed Agents 预算状态处理,说明新增模型、事件含义、正式发布范围和适用限制。

    Free Claude Code 6.19.37 如何兼顾网页搜索与普通工具调用?
    Free Claude Code 6.19.37 如何兼顾网页搜索与普通工具调用?

    Free Claude Code 6.19.37 在自动搜索时保留客户端工具及选择条件,代理执行搜索后仍返回普通调用。说明适用场景、历史信息保留、请求约束与第三方项目的版本边界。

    Google GenAI Go SDK 1.78.0 的 v1beta 配置优先级怎样判断?
    Google GenAI Go SDK 1.78.0 的 v1beta 配置优先级怎样判断?

    Google GenAI Go SDK 1.78.0 将 Gemini Developer API 默认改为 v1,可用 HTTPOptions.APIVersion 或环境变量保留 v1beta,Vertex AI 默认值不变。

    Google GenAI SDK 3.5.0实时交互值得哪些项目升级评估?
    Google GenAI SDK 3.5.0实时交互值得哪些项目升级评估?

    解释实验性实时支持、环境检查与生产评估中需要验证的条件。

    EGM Lite 为什么不会在生成检查清单后自动执行?
    EGM Lite 为什么不会在生成检查清单后自动执行?

    围绕 EGM Lite Stage 2 的仓库实现说明五步职责、人工执行门槛、独立审查条件及已分发包的证据边界。

    Open Code Review 1.13.12 的部分失败与字节边界该怎样评估?
    Open Code Review 1.13.12 的部分失败与字节边界该怎样评估?

    Open Code Review 1.13.12 的升级评估应同时关注退出状态、覆盖缺口与文件读取截断边界。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。