当前位置:

首页 > 业界资讯 > 长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

大模型和AI数据库双剑合璧,成为大模型降本增效,大数据真正智能的制胜法宝。大模型(LLM)的浪潮已经涌动一年多了,尤其是以GPT-4、Gemini-1.5、Claude-3等为代表的模型你方唱罢我登场,成为当之无愧的风口。在LLM这条赛道上,有的研究专注于增加模型参数,有的疯狂卷多模态……这当中,LLM处理上下文长度的能力成为了评估模型的一个重要指标,更强的上下文意味着模型拥有更强的检索性能。例如有些模型一口气可以处理高达100万token的能力让不少研究者开始思考,RAG(R

本文目录

    大模型和 AI 数据库双剑合璧,成为大模型降本增效,大数据真正智能的制胜法宝。

    长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

    大模型(LLM)的浪潮已经涌动一年多了,尤其是以 GPT-4、Gemini-1.5、Claude-3 等为代表的模型你方唱罢我登场,成为当之无愧的风口。在 LLM 这条赛道上,有的研究专注于增加模型参数,有的疯狂卷多模态…… 这当中,LLM 处理上下文长度的能力成为了评估模型的一个重要指标,更强的上下文意味着模型拥有更强的检索性能。例如有些模型一口气可以处理高达 100 万 token 的能力让不少研究者开始思考,RAG (Retrieval-Augmented Generation,检索增强生成)方法还有存在的必要吗?

    有人认为 RAG 要被长上下文模型杀死了,但这种观点遭到了很多研究者和架构师的反驳。他们认为一方面数据结构复杂、定期变化,并且很多数据具有重要的时间维度,这些数据对于 LLM 来说可能太复杂。另一方面,企业、行业的海量异构数据,都放到上下文窗口中也不现实。而大模型和 AI 数据库结合,给生成式 AI 系统注入专业、精准和实时的信息,大幅降低了幻觉,并提高了系统的实用性。同时,Data-centric LLM 的方法也可以利用 AI 数据库海量数据管理、查询的能力,大幅降低大模型训练、微调的开销,并支持在系统不同场景的小样本调优。总结来说,大模型和 AI 数据库双剑合璧,既给大模型降本增效,又让大数据真正实现智能。

    历经数年开发和迭代,MyScaleDB 终于开源

    RAG 的出现使得 LLM 能从大规模的知识库中精确地抽取信息,并生成实时、专业、富有洞察力的答案。伴随而来的是 RAG 系统的核心功能向量数据库也得到了迅速发展,按照向量数据库的设计理念我们可以将其大致分为三类:专用向量数据库,关键字和向量结合的检索系统,以及 SQL 向量数据库。

    • 以 Pinecone/Weaviate/Milvus 为代表的专用向量数据库,一开始即为向量检索设计打造,向量检索性能出色,不过通用的数据管理功能较弱。
    • 以 Elasticsearch/OpenSearch 为代表的关键字和向量检索系统,因其完善的关键字检索功能得到广泛生产应用,不过系统资源占用较多,关键字与向量的联合查询精度和性能不尽人如意。
    • 以 pgvector(PostgreSQL 的向量搜索插件)和 MyScale AI 数据库为代表的 SQL 向量数据库,基于 SQL 并且数据管理功能强大。不过因为 PostgreSQL 行存的劣势和向量算法的局限性,pgvector 在复杂向量查询中精度较低。
     
    MyScale AI 数据库(MyScaleDB)基于高性能的 SQL 列式存储数据库打造,自研高性能和高数据密度的向量索引算法,并针对 SQL 和向量的联合查询对检索和存储引擎进行了深度的研发和优化,是全球第一个综合性能和性价比大幅超越了专用向量数据库的 SQL 向量数据库产品。

    得益于 SQL 数据库在海量结构化数据场景长期的打磨,MyScaleDB 同时支持海量向量和结构化数据,包括字符串、JSON、空间、时序等多种数据类型的高效存储和查询,并将在近期推出功能强大的倒排表和关键字检索功能,进一步提高 RAG 系统的精度并替代 Elasticsearch 等系统。

    长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

    长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

    经过近 6 年的开发和数次版本迭代,MyScaleDB 已于近期开源,欢迎所有开发者和企业用户在 GitHub 上 Star,并开启使用 SQL 构建生产级 AI 应用的新玩法!

    项目地址:https://github.com/myscale/myscaledb
     
    完全兼容 SQL,精度提升、成本降低

    借助完善的 SQL 数据管理能力,强大高效的结构化、向量和异构数据存储和查询能力,MyScaleDB 有望成为第一款真正面向大模型和大数据的 AI 数据库。

    SQL 和向量的原生兼容性

    自从 SQL 诞生半个世纪以来,尽管其中经历了 NoSQL、大数据等浪潮,不断进化的 SQL 数据库还是占据了数据管理市场主要份额,甚至 Elasticsearch、Spark 等检索和大数据系统也陆续支持了 SQL 接口。而专用的向量数据库尽管为向量做了优化和系统设计,但其查询接口通常缺乏规范性,没有高级的查询语言。这导致了接口的泛化能力较弱,例如 Pinecone 的查询接口甚至不包括指定要检索的字段,更不用说分页、聚合等数据库常见的功能。

    接口的泛化能力弱意味着其变化频繁,增加了学习成本。MyScale 团队则认为,经过系统性优化的 SQL 和向量系统是可以既保持完整的 SQL 支持,又保证向量检索高性能的,而他们的开源评测的结果已经充分论证了这一点。

    在实际复杂 AI 应用场景中,SQL 和向量结合可以极大增加数据建模的灵活性,并简化开发流程。例如 MyScale 团队与北京科学智能研究院合作的 Science Navigator 项目中,利用 MyScaleDB 对于海量的科学文献数据做检索和智能问答,其主要的 SQL 表结构就有 10 多个,其中多张表结构建立了向量和倒排表索引,并利用主键和外键做了关联。系统在实际查询中,也会涉及结构化、向量和关键字数据的联合查询,以及几张表的关联查询。在专用的向量数据库中这些建模和关联是难以实现的,也会导致最终的系统迭代缓慢、查询低效和维护困难。

    长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

                               Science Navigator 主要表结构示意图(加粗体的列建立了向量索引或倒排索引)
     
    支持结构化、向量和关键字等数据联合查询

    在实际 RAG 系统中,检索的精度和效果是制约其落地的主要瓶颈。这需要 AI 数据库高效支持结构化、向量和关键字等数据联合查询,综合提高检索精度。

    例如在金融场景中,用户需要针对文档库查询 “某公司 2023 年全球各项业务的收入情况如何?”,“某公司”,“2023 年” 等结构化元信息并不能被向量很好的抓取,甚至不一定在对应的段落中有直接的体现。直接在全库上执行向量检索会得到大量的干扰信息,并降低系统最终的准确性。另一方面,公司名称,年份等通常是可以作为文档的元信息被获取的,我们可以将 WHERE year=2023 AND company ILIKE "%%" 作为向量查询的过滤条件,从而精准的定位到相关信息,大幅提升了系统的可靠性。在金融、制造业、科研等场景中,MyScale 团队都观察到异构数据建模和关联查询的威力,很多场景下甚至有 60% 精度到 90% 的提升。
     
    尽管传统的数据库产品都已经陆续意识到了向量查询在 AI 时代的重要性,并开始在数据库中增加向量能力,其联合查询的精度仍然存在显著的问题。例如,在过滤查询的场景下,Elasticsearch 在过滤比例为 0.1 时,QPS 会降到只有 5 左右,而 PostgresSQL(使用 pgvector 插件)在过滤比例是 0.01 时,检索精度只有 50% 左右,不稳定的查询精度 / 性能极大制约了其应用的场景。而 MyScale 仅使用了 pgvector 36% 的成本和 ElasticSearch 12% 的成本,就能够在各种不同过滤比例的场景下都实现高性能和高精度的查询。

    长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

                                     在不同过滤比例场景下,MyScale 都用低成本实现了高精度和高性能查询

    真实场景下性能和成本的平衡

    正因为向量检索在大模型应用中的重要性和高关注度,越来越多的团队投入了向量数据库这个赛道。大家一开始的关注点都是努力提升纯向量搜索场景下的 QPS,不过纯向量搜索是远远不够的!在实战的场景中,数据建模、查询的灵活性和精准度以及平衡数据密度、查询性能和成本是更为重要的议题。

    在 RAG 场景中,纯向量查询性能有 10x 的过剩,向量占用资源庞大,联合查询功能缺乏、性能和精度不佳往往是当下专有向量数据库的常态。MyScaleDB 致力于在真实海量数据场景下 AI 数据库的综合性能提升,其推出的 MyScale Vector Database Benchmark 也是业内首个在五百万向量规模,不同查询场景下比较主流向量数据库系统综合性能、性价比的开源评测系统,欢迎大家关注和提 issue。MyScale 团队表示,AI 数据库在真实应用场景下还存在很大的优化空间,他们也希望在实践中不断打磨产品并完善评测系统。

    MyScale Vector Database Benchmark 项目地址:
    https://github.com/myscale/vector-db-benchmark

    展望:AI 数据库支撑的大模型 + 大数据 Agent 平台

    机器学习 + 大数据驱动了互联网和上一代信息系统的成功,而在大模型的时代背景下,MyScale 团队也致力于提出新一代的大模型 + 大数据方案。以高性能的 SQL + 向量数据库为坚实的支撑,MyScaleDB 提供了大规模数据处理、知识查询、可观测性、数据分析和小样本学习的关键能力,构建了 AI 和数据闭环,成为下一代大模型 + 大数据 Agent 平台的关键基座。MyScale 团队已经在科研、金融、工业、医疗等领域探索这套方案的落地。

    长文本杀不死RAG:SQL+向量驱动大模型和大数据新范式,MyScale AI数据库正式开源

    随着技术的快速发展,某种意义上的通用人工智能 (AGI) 有望在未来 5-10 年内出现。关于这个问题,我们不禁要思考:是需要一个静态、虚拟且与人类竞争的大模型,还是其他更加全面的解决方案?数据无疑是连接大模型、世界与用户的重要纽带,MyScale 团队的愿景是将大模型和大数据有机结合,打造更加专业、实时、高效协作,同时亦充满人性温度和价值的 AI 系统。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了

    前瞻研判:未来十年,县域特色化经济的竞争,不再是资源的竞争,而是市场信任的竞争。谁能为消费者提供最确定的价值承诺,谁就能赢得市场。 2026年全国两会刚刚落幕,“十五五”规划进入开局之年。今年的政府工作报告中,“扎实推进乡村全面振兴”被摆在突出位置,明确提出要“壮大县域富民产业,做好土特产文章”。这

    南昌光电产业集群将重磅亮相ISLE 2026
    南昌光电产业集群将重磅亮相ISLE 2026

    2026 ISLE展前瞻:南昌光电产业集群即将重磅亮相 明年三月,深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日,ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次,聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌,智链全球”为主题,携一支实力雄厚的“集团军”

    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”
    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”

    天龙三号海上试车成功:看中国商业航天如何将“安全”铸为核心竞争力 9月15日,山东海阳东方航天港,巨大的轰鸣声撕裂长空,炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭,在这里的海上平台成功完成了一级动力系统试车。 这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人

    通用技术集团发布四大战略行动计划,形成全维发展布局
    通用技术集团发布四大战略行动计划,形成全维发展布局

    3月18日,通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京,一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行,近500位产业链上下游的企业代表与行业专家齐聚一堂。会上,通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

    华为鸿蒙电脑亮相,重构产业新格局
    华为鸿蒙电脑亮相,重构产业新格局

    华为鸿蒙电脑技术与生态沟通会隆重举行,首款鸿蒙电脑惊艳登场,这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步,为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功,而是华为经过五年精心策划的结果。在此期间,华为汇聚了超过10000名顶尖工程师,与20多家专业研究所紧密合作,投入大量的精力与资源进行技术研发,最终积累了超过2700项核心专利,彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核,从操作系统底层开始重构,旨在为用户提供全面升级的办公体验

    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT
    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生,导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO

    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM
    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM

    用来运行Llama3405B优势明显。最近,Meta开源了最新的405B模型(Llama3.1405B),把开源模型的性能拉到了新高度。由于模型参数量很大,很多开发者都关心一个问题:怎么提高模型的推理速度?时隔才两天,LMSYSOrg团队就出手了,推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时,它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下(运行Llama系列模型),它的吞吐量甚至能达到TensorRT

    人类模仿AI新赛道,AI:论疯癫,你是我爹
    人类模仿AI新赛道,AI:论疯癫,你是我爹

    机器之能报道编辑:杨文AI被人类带坏!这个世界,太癫了……最近,社交媒体上冒出来一堆搞怪视频,打着AI的旗号,真人cosAI,甚至抖音还专门出了个热门话题——人类模仿AI大赛。(视频来自抖音博主「关妮乱石」)视频链接:https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿:左边一张旧照片,右边打着「AI修复」的字幕,实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI:第一次被人冒充,没想到比我还抽

    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath
    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath

    获胜的AI数学奥林匹克模型出炉!几天前,随着榜单的公布,大家对全球首届AI数学奥林匹克竞赛(AIMO)进步奖的讨论量居高不下。这次比赛共有5个团队胜出,获得第一名的是Numina的团队,CMU_MATH位列第二,afterexams暂居第三,codeinter、Conor#2团队分别拿到第四、第五的成绩。图源:https://www.kaggle.com/c/ai-mathematical-olympiad-prize/leaderboard这一成绩,曾让陶哲轩感到惊讶。当时官方只公布了获奖名单,并未透漏

    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者
    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者

    2024年WAIC・云帆奖面向全球征选AI青年技术人才,欢迎点击「此链接」报名或提名。人工智能的研究范式和产业格局正在经历深刻而积极的转变。过去一年,大模型引发了一股席卷全球的智能浪潮,这不仅推动了AI技术在更广泛领域的应用,也激发了人类对人工智能深层次潜力的追寻和探索。在这场技术革新的洪流中,通用人工智能(AGI)正逐渐从幻想走进现实。我们正处于一个新征程的起点,这个阶段将以人类对通用智能的不懈追求为特征。迎接即将到来的新时代,让我们将目光投向那些充满激情、勇于探索的青年创新者。他们凭借卓越的智慧和无畏

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。