当前位置:

首页 > 硬件相关 > OpenAI 用 PostgreSQL 扛起 8 亿用户级别流量

OpenAI 用 PostgreSQL 扛起 8 亿用户级别流量

OpenAI深度定制并规模化改造PostgreSQL,以单主节点加约50个全球只读副本集群支撑8亿用户级别高并发流量。通过写负载剥离、读写分离、连接池优化、查询治理及高可用架构,实现百万级QPS稳定读取、毫秒级延迟及99.999%可用性,证明PostgreSQL可胜任超大规模核心数据库角色。

本文目录
    OpenAI 最近放出了一篇技术博客,详细拆解了他们是怎么把开源关系型数据库 **PostgreSQL 进行深度定制和规模化改造**,最终支撑起 ChatGPT 和 OpenAI API 全球高并发业务的。这件事直接刷新了业内对传统关系型数据库扩展能力的认知——原来 PostgreSQL 还能这么玩。 随着 ChatGPT 用户量一路狂飙,OpenAI 在过去一年里发现 PostgreSQL 的整体负载增长了 **超过 10 倍**。面对峰值高达每秒数百万查询(QPS)的流量,还要保持毫秒级响应延时,团队在数据库架构、运维策略和应用协同上做了一套系统性升级。 整体架构依然走的是稳健的 **单主节点(single-primary)+ 多地域只读副本集群** 路线:所有写操作集中到主库,全球范围内大约 **50 个地理分散的只读副本** 负责承接各类读请求。这么设计的好处是避开了分片带来的复杂性和一致性难题,同时又能高效扛住海量读取场景。 ## 关键优化举措 ### 1. 写负载剥离与精简 为了缓解主库写入瓶颈,OpenAI 把部分高吞吐、可水平扩展的写密集型任务,迁移到了专用分片存储(比如 Azure Cosmos DB)上。同时,在服务层主动收敛一些非必要的写入操作,主库的事务压力因此显著降低。 ### 2. 全面推行读写分离 只有那些必须与写事务强绑定的读操作,才留在主库执行;其余绝大多数读请求统统交给各地副本。这样一来,主节点的资源消耗被有效分流,性能瓶颈自然松绑。 ### 3. 连接复用与智能缓存协同 引入 PgBouncer 作为连接池中间件后,平均连接建立耗时从大约 50ms 降到了 5ms。再配合分级缓存机制(本地缓存 + 分布式缓存),成功防止了缓存失效风暴导致数据库瞬时过载的尴尬。 ### 4. 查询治理与资源分级管控 多表 JOIN 等高开销 SQL 被严格限制,复杂关联逻辑前置到应用层处理。通过资源隔离策略(比如独立实例或 cgroup 限流),后台分析类、低优先级请求与核心在线服务物理或逻辑隔离,杜绝了“噪声邻居”互相干扰。 ### 5. 主库高可用与快速故障恢复 主库部署在高可用 HA 架构下,配置了实时热备节点。一旦主节点异常,秒级内即可完成无缝切换,最大限度保障服务 SLA。 经过上述综合调优,OpenAI 的 PostgreSQL 集群交出了一份亮眼的成绩单: * 支撑 **百万至数百万 QPS 的稳定读取吞吐** * 实现 **全球各区域毫秒级访问延迟** * 达成 **99.999% 的服务可用性** * p99 延迟控制在 **十几毫秒以内** 在过去 12 个月运行周期中,只发生过一次 SEV-0 级别数据库事件——起因是 ImageGen 功能用户激增导致局部资源饱和。 这一实践有力印证了一点:**在严谨的工程方法论与精细化架构设计支撑下,PostgreSQL 完全能胜任超大规模生产环境的核心数据底座角色**。对于大多数还没走到必须分片那一步的团队来说,它提供了一条更可控、更成熟、性价比更高的技术演进路径。 后续,OpenAI 正在评估包括 PostgreSQL 原生分片(如 Citus 集成)、级联复制增强,以及异步复制链路优化等方向,目标进一步提升只读副本的扩展弹性与跨区域同步效率。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 OpenAI
    相关文章 更多
    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化
    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化。说明已核实的更新范围、类型兼容性和本地版本确认方法。

    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?
    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?

    OpenAI Java SDK 4.108.0 面向 Live MCP 工具接入与 Managed Agents 预算状态处理,说明新增模型、事件含义、正式发布范围和适用限制。

    OpenAI Agents SDK Python 0.25.0 的交接恢复有哪些适用边界?
    OpenAI Agents SDK Python 0.25.0 的交接恢复有哪些适用边界?

    OpenAI Agents SDK Python 0.25.0 正式版移除内置 Runloop 提供方,并新增显式选择的 handoff 错误恢复,保留默认异常行为。

    Codex 0.170.0-alpha.4.1 预发行如何关闭 Bedrock 增量工具声明?
    Codex 0.170.0-alpha.4.1 预发行如何关闭 Bedrock 增量工具声明?

    Codex 0.170.0-alpha.4.1 预发行默认在两种 Amazon Bedrock provider 上走增量工具定义,保留显式关闭选项。

    Codex 0.171.0-alpha.8 预发行的远程执行和线程恢复怎么用?
    Codex 0.171.0-alpha.8 预发行的远程执行和线程恢复怎么用?

    Codex 0.171.0-alpha.8 预发行允许 exec 连接现有应用服务器,说明 WebSocket 认证、服务端配置与线程恢复限制。

    OpenAI Agents SDK v0.24.0-alpha.8升级前为何要备份状态?
    OpenAI Agents SDK v0.24.0-alpha.8升级前为何要备份状态?

    OpenAI Agents SDK v0.24.0-alpha.8预览版新增执行前审批、自有模型客户端、Realtime与预算检查点恢复,说明alpha.7回退、Linux运行及工具认证边界。

    OpenAI部分美国企业Mastercard历史拒付已恢复,卡片范围和充值影响有哪些条件
    OpenAI部分美国企业Mastercard历史拒付已恢复,卡片范围和充值影响有哪些条件

    复核OpenAI部分美国企业Mastercard支付事件的恢复状态、卡号前缀范围及UTC和北京时间,区分充值失败、预付余额耗尽与API请求影响,不将恢复等同于历史订单自动完成。

    OpenAI与Upwork发现AI项目预算更大,为什么要同时看时薪、工时和项目范围
    OpenAI与Upwork发现AI项目预算更大,为什么要同时看时薪、工时和项目范围

    解释OpenAI与Upwork自由职业研究中固定预算、时薪和90天工时的不同统计口径,区分52.4%预算差异、任务多样性与描述性关联,避免收入和就业因果误读。

    OpenAI Agents SDK JS 0.22.0:迁移类型与保存状态,修复待审批压缩和实时中断
    OpenAI Agents SDK JS 0.22.0:迁移类型与保存状态,修复待审批压缩和实时中断

    OpenAI Agents SDK JS 0.22.0调整usage、Realtime图像、MCP描述与保存状态类型,并修复待审批期间的自动压缩及早期实时中断。升级时要同时验证TypeScript检查、旧状态恢复和工具审批链路。

    OpenAI公布Daybreak Red Team与Defense Factory:验证漏洞并生成待审补丁
    OpenAI公布Daybreak Red Team与Defense Factory:验证漏洞并生成待审补丁

    OpenAI在Cyber at the Frontier相关入口公布Daybreak Red Team与Defense Factory,分别面向Web应用漏洞验证和待审补丁制作。Red Team为early access,Defense Factory官方文档标注Preview;本文说明两者分工、访问条件与工程师复核边界。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。