华人又来炸场！一个命令工具让GPT-4干掉Devin和RAG！Jim Fan：提示工程2.0没必要了！
出品|51CTO技术栈（微信号：blog51cto）昨天，普林斯顿的CS/NLP硕士生JohnYang在Github上开源了一款比Devin更优秀的工具。不久之后，在Github上斩获了1.3k星，异常生猛。据悉，4月10日，详细的技术论文将会公开！图片1.让语言模型秒变编程Agent！SWE-agent是一款用于自主解决Github存储库问题的新系统，在SWE-bench上取得了与Devin相似的准确度，平均耗时只有93s，而且重要的是，开源！！图片此外，SWE-agent通过与专用终端交互来工作，这使
出品 | 51CTO技术栈（微信号：blog51cto）
昨天，普林斯顿的CS/NLP硕士生John Yang在Github上开源了一款比Devin更优秀的工具。不久之后，在Github上斩获了1.3k星，异常生猛。据悉，4月10日，详细的技术论文将会公开！
图片
1.让语言模型秒变编程Agent！
SWE-agent是一款用于自主解决Github存储库问题的新系统，在SWE-bench上取得了与Devin相似的准确度，平均耗时只有93s，而且重要的是，开源！！
图片
此外，SWE-agent 通过与专用终端交互来工作，这使得它能够：
- 打开、滚动和搜索文件
- 使用自动语法检查编辑特定行
- 编写并执行测试 这个定制的界面对于良好的性能至关重要！
2.大模型虽好，但也需要叠加Buff
要知道，目前如果只是简单地将 LM 连接到普通的 bash 终端效果并不好。
大模型需要精心设计的代理计算机界面（类似于人类喜欢良好的 UI 设计）才能更好地发挥威力！即使强如GPT-4，良好的代理计算机设计也很重要。
例如，当大模型弄乱缩进时，SWE-agent的编辑器会阻止它并提供反馈！
另外，团队还发现了一个重要的数字经验：对于查看文件，让 SWE-agent 一次仅查看 100 行比让它查看 200 或 300 行要好，而且比让它查看整个文件要好得多。所谓的“长文本”能力在这里好像不好用了。
SWE-agent团队的厉害之处在于，他们设计了一种代理计算机交互接口（ACI），让大模型有一个专属的定制界面。
图片
SWE-agent 将大模型（例如 GPT-4）转变为软件工程代理，可以修复真实 GitHub 存储库中的错误和问题。在完整的SWE-bench测试集上，SWE-agent 解决了12.29%的问题，在完整的测试集上实现了最先进的性能。
图片
3.Agent必备：代理计算机接口 (ACI)
通过设计简单的以大模型为中心的命令和反馈格式来实现这些结果，使大模型更容易浏览存储库、查看、编辑和执行代码文件。团队将其称为代理计算机接口(ACI)，并构建 SWE 代理存储库，以便轻松迭代存储库级编码代理的 ACI 设计。
图片
大家都知道，再好的语言模型，也都需要良好的提示工程。Agent也一样，同样需要良好的ACI设计，这样可以带来更好的结果。正如我们在论文中所示，没有经过良好调整的 ACI 的基线代理的表现比 SWE 代理差得多。
在Agent-计算机界面设计过程中，SWE-agent 团队总结了几个非常有用的经验：
第一，团队添加了一个在发出编辑命令时运行的 linter，并且如果代码语法不正确，则不会让编辑命令通过。
第二，为Agent提供了一个专门构建的文件查看器，而不仅仅是cat文件。团队发现此文件查看器在每轮仅显示 100 行时效果最佳。我们构建的文件编辑器具有用于上下滚动以及在文件中执行搜索的命令。
第三，还为Agent提供了专门构建的全目录字符串搜索命令。团队发现该工具简洁地列出匹配项非常重要 - 我们只需列出至少有一个匹配项的每个文件。事实证明，向模型显示有关每场比赛的更多上下文对于模型来说太混乱了。
第四，当命令的输出为空时，我们会返回一条消息，指出“您的命令已成功运行，但未产生任何输出”。
来看看实际演示，全程无炒作！
安装也很简单，Docker+Miniconda，外加一个激活命令行：conda activate swe-agent
就可以快速体验。具体来说，运行./setup.sh以创建swe-agentdocker 镜像，然后配置文件keys.cfg也需要改动填充一下：
OPENAI_API_KEY: 'OpenAI API Key Here if using OpenAI Model (optional)'ANTHROPIC_API_KEY: 'Anthropic API Key Here if using Anthropic Model (optional)'GITHUB_TOKEN: 'GitHub Token Here (required)'
4.用法简单：推理和评估两个步骤
SWE-agent 管道有两个步骤：推理和评估。非常简单，第一步（推理）就是向SWE agent输入GitHub问题并返回尝试修复它的拉取请求；第二步（评估，目前仅适用于 SWE-bench 基准测试中的问题）就是评估拉取请求，看看它是否确实可以解决问题。
不管你是想跑在Github还是SWE-bench上，都会有相应的命令。
推理
对任何GitHub 问题的推理：使用此脚本，你可以在任何 GitHub 问题上运行 SWE-agent！
python run.py --model_name gpt4 \--data_path https://github.com/pvlib/pvlib-python/issues/1603 --config_fi
SWE-bench 上的推理：在SWE-bench Lite上运行 SWE-agent并生成补丁。
python run.py --model_name gpt4 \--per_instance_cost_limit 2.00 \--config_file ./config/default.yaml
如果您想从 SWE-bench运行单个--instance_filter问题，请使用以下选项：
python run.py --model_name gpt4 \--instance_filter marshmallow-code__marshmallow-1359
评估
此步骤仅适用于 SWE 基准集中的问题。要评估生成的拉取请求：
cd evaluation/./run_eval.sh
5.JimFan：提示工程2.0也许没那么重要了！
对于这一发布，英伟达高级研究经理JimFan认为，非常棒！单纯靠GPT4命令行工具进行更好手动设计就可以达到媲美Devin的精确度，没有魔法，没有炒作。
此外，Jim认为当GPT5到来时，也许指令遵循、工具使用，长上下文会更好。也许所谓“提示工程2.0”不再那么重要了！
图片
知识补充：
SWE Bench旨在提供一组不同的代码库问题，这些问题可以使用回购单元测试进行验证。完整的SWE台架测试拆分包括12个python存储库中的2294个问题提交对。
自发布以来，对于大多数在SWE工作台上进行评估的系统来说，运行每个实例可能需要大量的时间和计算。官方还发现，SWE工作台可能是一个特别困难的基准，从长远来看，这对评估LMs很有用，但对试图在短期内取得进展的系统来说却令人沮丧。
为了解决这些问题，SWE-bench发布了一个规范子集SWE-bench Lite。SWE-bench Lite包括SWE bench中的300个实例，这些实例经过采样后更加独立，重点是评估功能性错误修复。
参考链接：https://github.com/princeton-nlp/SWE-agent
智东西 编译 刘煜编辑 陈骏达 今天，AI界一则人事变动引发了广泛关注：被誉为“GPT-4o之母”的Joanne Jang宣布从OpenAI离职，结束了其长达四年半的任职。作为公司模型行为（Model Beha vior）领域的创始负责人及OpenAI Labs总经理，她的离开略显突然，目前并未透露
清华大学THUNLP团队联合多家机构推出UltraRAG框架，简化RAG系统搭建流程。传统RAG系统搭建复杂，UltraRAG框架提供“单反相机”级精细化配置和“卡片机”级一键式操作，显著降低学习成本和开发周期。UltraRAG框架的核心优势在于其对模型与知识库的适配，避免了反复的模型选型。其模块化设计也方便科研人员快速迭代。用户可轻松完成数据到模型的全流程管理。零代码WebUI，一键式数据构建UltraRAG的零代码WebUI是其一大亮点，即使没有编程经验的用户也能轻松构建、训练和评估模型。框架
芝麻粒大小的人脑组织，突触规模就相当于一个GPT-4！谷歌与哈佛联手，对局部人脑进行了纳米级建模，论文已登Science。这是迄今为止最大、最详细的人脑复制品，首次展示出了大脑中的突触连接网络。凭借超高分辨率，这个名为H01的重建，已经揭示了一些以前未曾见过的关于人类大脑的细节。项目通讯作者、哈佛大学Lichtman教授介绍说，在此之前，没有人真正看到过这样复杂的突触网络。这一建模成果，将有助于深入地了解大脑的运作方式，启发人类对大脑功能和疾病的进一步研究。另外值得一提的是，该研究涉及了1立方毫米的人脑组
编辑|诺亚、伊风出品|51CTO技术栈（微信号：blog51cto）近日在开源模型界，CommandR+风头正劲。在Arena榜单上，按下Command+R键超过13000名支持者的票，一次跃升至第6位，其表现为GPT-4-0314旗帜相当！在一众对垒GPT-4的开放权重模型中，斩获该榜单有史以来的首胜。图源：https://twitter.com/lmsysorg/status/17776301337而Arena榜单，是近日用纯C语言手搓GPT-2的AI大神AndrejKarpathy提过的唯二信任的测
人形机器人Ameca升级第二代了！最近，在世界移动通信大会MWC2024上，世界上最先进机器人Ameca又现身了。会场周围，Ameca引来一大波观众。得到GPT-4加持后，Ameca能够对各种问题做出实时反应。「来一段舞蹈」。当被问及是否有情感时，Ameca用一系列的面部表情做出回应，看起来非常逼真。就在前几天，Ameca背后的英国机器人公司EngineeredArts刚刚演示了团队最新的开发成果。视频中，机器人Ameca具备了视觉能力，能看到并描述房间整个情况、描述具体物体。最厉害的是，她还能模仿各种声
Mistral-Medium竟然意外泄露？此前仅能通过API获得，性能直逼GPT-4。CEO最新发声：确有其事，系早期客户员工泄露。但仍表示敬请期待。图片换句话说，这个版本尚且还是旧的，实际版本性能还会更好。这两天，这个名叫“Miqu”的神秘模型在大模型社区里炸了锅，不少人还怀疑这是LIama的微调版本。图片MistralCEO解释说，他们对MistralMedium进行了重新训练，基于Llama2的基础上进行了改进。这是为了尽快向早期客户提供接近GPT-4性能的API。预训练工作在Mistral7B发布
“大模型排位赛”权威榜单ChatbotArena刷新：谷歌Bard超越GPT-4，排名位居第二，仅次于GPT-4Turbo。然鹅，众多网友对此却表示“不服”、“不公平”。原来，谷歌AI掌门人JeffDean透露，Bard性能大幅提升，是因为搭载了新版大模型——GeminiPro-scale。这也就意味着，打“排位赛”的Bard具备了联网功能。网友的质疑正是围绕着这一点展开：在同一个排行榜上混合在线和离线大模型，是极易引起误解的。HuggingFace的“首席羊驼官”OmarSanseviero也表示：既然
我们将讨论使用开源的大型语言多模态模型（LargeLanguageMulti-Modal）构建检索增强生成（RAG）系统的方法。我们的重点是在不依赖LangChain或LLlamaindex的情况下实现这一目标，以避免增加更多的框架依赖。什么是RAG在人工智能领域，检索增强生成（retrieve-augmentedgeneration,RAG）技术的出现为大型语言模型（LargeLanguageModels）带来了变革性的改进。RAG的本质是通过允许模型从外部源动态检索实时信息，从而增强人工智能的响应能力
在使用大型语言模型(LLM)时，幻觉是一个常见问题。尽管LLM可以生成流畅连贯的文本，但其生成的信息往往不准确或不一致。为了防止LLM产生幻觉，可以利用外部的知识来源，比如数据库或知识图谱，来提供事实信息。这样一来，LLM可以依赖这些可靠的数据源，从而生成更准确和可靠的文本内容。向量数据库和知识图谱向量数据库向量数据库是一组表示实体或概念的高维向量。它们可以用于度量不同实体或概念之间的相似性或相关性，通过它们的向量表示进行计算。一个向量数据库可以根据向量距离告诉你，“巴黎”和“法国”比“巴黎”和“德国”更
《ComputerWorld》杂志曾经写过一篇文章，说“编程到1960年就会消失”，因为IBM开发了一种新语言FORTRAN，这种新语言可以让工程师写出他们所需的数学公式，然后提交给计算机运行，所以编程就会终结。图片又过了几年，我们听到了一种新说法：任何业务人员都可以使用业务术语来描述自己的问题，告诉计算机要做什么，使用这种叫做COBOL的编程语言，公司不再需要程序员了。后来，据说IBM开发出了一门名为RPG的新编程语言，可以让员工填写表格并生成报告，因此大部分企业的编程需求都可以通过它来完成图片在80年
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
