当前位置:

首页 > 硬件相关 > Instacart 将搜索基础设施迁移至 PostgreSQL,并逐步淘汰 Elasticsearch

Instacart 将搜索基础设施迁移至 PostgreSQL,并逐步淘汰 Elasticsearch

Instacart将搜索基础设施从Elasticsearch全面迁移至PostgreSQL,整合了关键词检索与语义检索。此举旨在简化运维、消除数据同步开销,并提升搜索精确度与召回率。新架构采用规范化数据模型与分片设计,大幅降低了写入负载和存储成本,同时高效支撑日均数百万次查询,实现了更智能、经济且易于维护的搜索系统。

本文目录

    在电商搜索这个领域,技术团队常常面临一个经典难题:如何同时满足“精准命中”和“智能联想”这两种看似矛盾的需求?最近,Instacart给出了一份引人注目的答卷——他们彻底重构了搜索基础设施,用PostgreSQL完全取代了Elasticsearch,并将关键词检索与语义检索整合进了一个统一的系统。

    这个决策的核心逻辑很清晰:将目录和搜索数据全部整合到Postgres中,目标直指简化运维、消除数据同步的额外开销,并最终提升搜索结果的精确度与召回率。换句话说,他们想让系统变得更聪明、更高效,同时让工程师的日子更好过。

    关键词与语义:一场“双打”的艺术

    重新设计的精髓,在于对检索方式的根本性改进。传统的基于关键词的搜索,在处理诸如“8盎司香蒜意面酱”这类具体查询时堪称完美,它能精准匹配产品属性,分毫不差。然而,当用户输入“健康食品”这样宽泛的、意图驱动的查询时,关键词匹配就显得力不从心了。

    这时,就需要语义检索登场。它能够理解词语和概念之间的深层关联,而不仅仅是字面匹配。Instacart的聪明之处在于,他们没有二选一,而是通过Postgres将这两种方法结合了起来。这种混合策略,本质上是在“精确度”(确保返回的结果高度相关)和“召回率”(尽可能网罗所有相关项)之间寻找最佳平衡点。最终受益的是顾客:他们既能快速找到心中所想的确切商品,也有机会发现那些意料之外、情理之中的替代选项。

    简化架构,释放效能

    据Instacart工程团队透露,这次迁移带来了显著的效率提升。最直接的好处是开发速度的加快,因为工程师们不再需要为协调不同系统间的数据而头疼。这套混合基础设施也赋予了平台更大的灵活性,使其能够从容应对动态变化的库存和复杂的用户偏好,轻松支撑日均数百万次的搜索请求。价格、库存、折扣信息的实时更新,也得以更顺畅地实现,为顾客打造了更高效、更个性化的购物体验。

    用Instacart工程师Ankit Mittal的话来说:

    与之前在Elasticsearch中使用的非规范化数据模型相比,规范化数据模型使我们的写入工作负载减少了10倍。这带来了将近80%的存储和索引成本节省,减少了死胡同搜索,并改善了整体客户体验。

    回顾过去,他们的架构是分离的:Elasticsearch专司全文查询,而事务性数据则存放在Postgres中。维护两套独立数据库的挑战不言而喻——数据同步复杂,运营成本高昂。为了引入语义搜索能力,团队最初尝试了FAISS,但最终选择了基于Postgres pgvector扩展的混合模型。这一选择使得基于词汇和基于向量的检索能在同一屋檐下运行,从根本上减少了数据冗余和系统复杂性。

    之前使用 FAISS 和 Postgres 的检索架构(来源:Instacart工程博客)

    新架构的核心:扩展性、性能与智能化

    经过重新设计的架构,采用了分片的Postgres实例和规范化的数据模型来实现水平扩展。每个分片都包含了完整的目录和搜索索引,查询通过专门的服务层被路由到合适的分片。

    在技术细节上,团队利用Postgres的GIN索引和改进的`ts_rank`函数,实现了高性能的文本匹配。而关系型模型的内在优势,使得机器学习所需的特征数据和模型系数可以被存储在独立的表中,管理起来非常清晰。与Elasticsearch方案相比,规范化带来的写入负载十倍的降低,直接转化为了存储和索引成本的大幅削减。同时,该架构还能轻松管理数百GB的机器学习特征数据,为运行更高级的检索模型铺平了道路。

    Instacart 将搜索基础设施迁移至 PostgreSQL,并逐步淘汰 Elasticsearch -

    使用 pgvector 和 Postgres 的混合检索架构(来源:Instacart工程博客)

    可以说,Postgres的强大扩展能力是这次重构的基石。例如,利用`pg_trgm`进行基于三元组的模糊文本搜索,依靠`pgvector`处理基于嵌入向量的语义搜索。这使得单一数据库同时驾驭了传统与智能两种搜索模式。查询请求通过路由层直达拥有所需索引的分片,由于免除了跨系统同步的步骤,结果返回的效率自然更高。

    Instacart的这次技术迁徙,不仅仅是一个数据库的替换故事。它展示了一种趋势:通过统一和简化的数据栈,结合现代数据库的扩展能力,完全可以在不牺牲性能的前提下,构建出更智能、更经济、也更易于维护的搜索系统。这对于面临类似挑战的众多技术团队而言,无疑提供了一个极具参考价值的范本。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    千寻位置发布潜龙时空服务器升级版,加速时空基础设施出海
    千寻位置发布潜龙时空服务器升级版,加速时空基础设施出海

    千寻位置发布潜龙时空服务器升级版iStationPro,实现全栈自研与一体化设计,降低站点建设运维成本,应用覆盖智慧城市、交通、能源等领域。基于全球超万座组网经验,已服务国内及欧美市场,月调用量突破1.2万亿次。

    聚焦AI基础设施市场新机遇 算力能源产业链再添布局支点丨新经济观察
    聚焦AI基础设施市场新机遇 算力能源产业链再添布局支点丨新经济观察

    康迪科技战略投资的信储新能源获施耐德电气2026年度解决方案经销商授权,覆盖UPS、制冷等产品,面向数据中心及通信基站。此举补齐了康迪在人工智能数据中心备用电源与储能领域上游硬件供应链的关键一环。AI算力需求爆发驱动智能算力高速扩容,能源保障能力成为行业核心竞争力。

    实践教程丨如何在边缘基础设施上运行故障预测解决方案?
    实践教程丨如何在边缘基础设施上运行故障预测解决方案?

    作者简介Janakiram MSV不仅是Janakiram & Associates的首席分析师,还是国际信息技术学院的兼职教师。他还是Google Qualified Developer、亚马逊认证解决方案架构师、亚马逊认证开发者、亚马逊认证SysOps管理员以及微软认证Azure专业人员。Jan

    基于Kubernetes和OpenKruise的可变基础设施实践
    基于Kubernetes和OpenKruise的可变基础设施实践

    1. 对于可变基础设施的思考1.1 kubernetes中的可变与不可变基础设施在云原生逐渐盛行的现在,不可变基础设施的理念已经逐渐深入人心。不可变基础设施最早是由Chad Fowler于2013年提出的,其核心思想为任何基础设施的实例一旦创建之后变成为只读状态,如需要修改和升级,则使用新的实例进行

    AI赛道新变局!不再是成本项,网安已成核心AI基础设施丨投资秘籍
    AI赛道新变局!不再是成本项,网安已成核心AI基础设施丨投资秘籍

    网络安全已从成本项升级为AI核心基础设施,受益于AI攻击倒逼需求、三大主线(算力防护、AI智能体管控、平台化订阅)驱动及多重政策加持,行业景气度持续走高,2026年国内市场规模有望逼近3000亿元。

    企业级全栈 AI 基础设施在上海发布
    企业级全栈 AI 基础设施在上海发布

    星流科技发布企业级全栈AI基础设施战略,推出玄矩AgentNativeServerA1与SerpMindEnterpriseAgentOS。前者针对Agent场景优化,性价比提升45%-55%;后者实现多Agent统一运行与治理。同时发布医疗、政务等行业解决方案,推动企业AI规模化应用。

    CMake 在 IDE 与 CI/CD 中持续扩大基础设施角色
    CMake 在 IDE 与 CI/CD 中持续扩大基础设施角色

    CMake作为跨平台构建系统生成工具,在IDE中通过File-BasedAPI和Presets实现代码补全与调试支持,成为编辑器理解C++项目的桥梁;在CI/CD中串联配置、构建、测试、安装和打包流程,借助CTest、CPack及Presets规范交付流水线。团队需固定版本、校验下载包、跟踪策略变化,并像管理源代码一样对待CMake配置文件。

    美国7月ISM制造业PMI创逾四年新高!就业指数重返扩张区间 AI基础设施建设推动半导体需求持续升温
    美国7月ISM制造业PMI创逾四年新高!就业指数重返扩张区间 AI基础设施建设推动半导体需求持续升温

    美国7月ISM制造业PMI升至55.6%,创逾四年新高,连续第七个月扩张。就业指数重返扩张区间,新订单与生产指数显著增长。AI基础设施建设推动半导体需求持续升温,客户库存偏低预示补库需求,但价格压力仍存。

    Go 在 AI 基础设施领域崛起:从 Ollama 到 vLLM Gateway 全面开花
    Go 在 AI 基础设施领域崛起:从 Ollama 到 vLLM Gateway 全面开花

    Go语言凭借高并发与云原生优势,在AI基础设施领域崛起。Ollama、vLLMGateway、LangChainGo等项目分别主导本地模型运行、推理调度与Agent应用,Kubernetes生态的GPU调度器等组件也以Go实现。Go与C++/Rust/Python形成互补,未来在推理工程化中的地位将持续上升。

    打造开放式AI基础设施生态,AMD将在韩国设立AI研究中心
    打造开放式AI基础设施生态,AMD将在韩国设立AI研究中心

    7月27日,财闻海外资讯传来一则重磅消息:AMD(AMD.O)将在韩国建设人工智能研究中心,同时着手打造一个开放式的AI基础设施生态系统。韩国科学技术信息通信部在同一天宣布,已于23日在旧金山与AMD正式签署了关于AI芯片生态系统合作的谅解备忘录。 AMD计划在韩国设立一个AI卓越中心,这个中心将承

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。