选择GPT-3.5、还是乔丹Llama 2等开源模型？综合比较后答案有了
通过对GPT-3.5和Llama2在不同任务上的参数对比，我们可以得知在什么情况下选择GPT-3.5，什么情况下选择Llama2或其他模型。显然，对GPT-3.5进行的扭矩是非常昂贵的。本文通过实验来验证手动扭矩模型是否可以接近GPT-3.5的性能，而只是成本GPT-3.5的一部分。有趣的是，论文确实做到了。在SQL任务和函数表示任务上的结果对比，论文发现：GPT-3.5在两个数据集（Spider数据集的子集以及Viggo函数表示数据集）上都比经过Lora的CodeLlama34B表现轻微好一点。GPT-
通过对 GPT-3.5 和 Llama 2 在不同任务上的参数对比，我们可以得知在什么情况下选择 GPT-3.5，什么情况下选择 Llama 2 或其他模型。
显然，对 GPT-3.5 进行的扭矩是非常昂贵的。本文通过实验来验证手动扭矩模型是否可以接近 GPT-3.5 的性能，而只是成本 GPT-3.5 的一部分。有趣的是，论文确实做到了。
在SQL任务和函数表示任务上的结果对比，论文发现：
GPT-3.5在两个数据集（Spider数据集的子集以及Viggo函数表示数据集）上都比经过Lora的Code Llama 34B表现轻微好一点。
GPT-3.5 的训练成本高出4-6倍，部署成本也更高。
本实验的结论之一是GPT-3.5适用于初始验证工作，但之后，像Llama 2这样的模型可能是最佳选择，简单总结一下：
如果您希望验证是解决特定任务/数据集的正确方法，又或者想要一个完全托管的环境，那么调整 GPT-3.5。
如果想省钱、想从数据集中获取最大性能、想要在训练和部署基础设施方面具有更大的灵活性、又想要或者保留一些数据，那么就消耗类似 Llama 2 的这种开源模型。
接下来我们看看，论文是如何实现的。
下图为 Code Llama 34B 和 GPT-3.5 在 SQL 任务和函数表示任务上训练至收敛的性能。结果表明，GPT-3.5 在这两个任务上都取得了更好的准确率。
在硬件使用上，实验使用的是A40 GPU，约合0.475美元。
另外，实验列举了两个非常适合进行可怕的数据集，Spider 数据集的子集 Viggo 函数表示数据集。
为了与 GPT-3.5 模型进行公平的比较，实验对 Llama 进行了最少的超参数。
本文实验的两个关键选择是使用 Code Llama 34B 和 Lora 参数，而不是全参数参数。
实验中很大程度上遵循了有关Lora超参数配置的规则，Lora负载如下：
SQL提示示例如下：
SQL提示部分展示，完整提示请查看原博客
实验没有使用完整的Spider数据集，具体形式如下
department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]
实验选择使用sql-create-context数据集和Spider数据集的交集。为模型提供的上下文是一个SQL创建命令，如下所示：
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)
SQL任务的代码和数据地址：https://github.com/samlhuillier/spider-sql-finetune
函数表示提示的示例如下所示：
功能表示提示部分展示，完整提示请查看原博客
输出如下所示：
verify_attribute(name[Little Big Adventure], rating[average], has_multiplayer[no], platforms[PlayStation])
评估阶段，两个实验很快就收敛了：
函数表示任务代码和数据地址：https://github.com/samlhuillier/viggo-finetune
了解更多内容，请查看原博客。
原文链接：
https://ragntune.com/blog/gpt3.5-vs-llama2-finetuning?continueFlag=11fc7786e20d498fc4daa79c5923e198
伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。近日，字节跳动豆包大模型团队与香港大学联合提出了ByteCheckpoint。这是一个PyTorch原生，兼容多个训练框架，支持Checkpoint的高效读写和自动重新切分的大模型Checkpointing系统，相比现有方法有显著性能提升和易用性优势。本文介绍了大模型训练提效中C
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本论文第一作者杜超群是清华大学自动化系2020级直博生。导师为黄高副教授。此前于清华大学物理系获理学学士学位。研究兴趣为不同数据分布上的模型泛化和鲁棒性研究，如长尾学习，半监督学习，迁移
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者是来自OpenSearch中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com皮仁杰：香港科技大学博士三年级学生，师从张潼教授和周晓方教授。于2024年获得苹果奖学金。目前主要研究方向是多模态大语言模型和数据为中心的AI。张鉴殊：武汉大学本科三年级学生，目前在张潼
仅需一个任务描述，即可一键分割所有图片！SegmentationAnythingModel(SAM)的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM仍面临一个无法回避的问题：为了使SAM能够准确地分割出目标物体的位置，每张图片都需要手动提供一个独特的视觉提示。如下图所示，即使点击的是同一物体（图(b)-(d)），微小位置变化都会导致分割结果的显著差异。这是因为视觉提示语义信息的缺乏，即使提供了想要分割的目标物体上，仍然可能引发歧义。框提示和涂鸦提示（图(e)(
第一个针对「SegmentAnything」大模型的域适应策略来了！相关论文已被CVPR2024接收。引言大语言模型（LLMs）的成功激发了计算机视觉领域探索分割基础模型的兴趣。这些基础分割模型通常通过PromptEngineer来进行zero/few图像分割。其中，SegmentAnythingModel（SAM）是最先进的图像分割基础模型。图SAM在多个下游任务上表现不佳但是最近的研究表明，SAM在多种下游任务中并非具有很强的鲁棒性与泛化性，例如在医学图像、伪装物体、添加干扰的自然图像等领域表现较差。
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者来自浙江大学、上海人工智能实验室、香港中文大学、悉尼大学和牛津大学。作者列表：吴逸璇，王逸舟，唐诗翔，吴文灏，贺通，WanliOuyang，PhilipTorr，JianWu。其
颠覆过往大模型评测标准，最新、最全、最权威的测评数据集MR-Ben来了！这是继今年4月发布堪称GPT-4+DALL-E-3的王炸产品超强视觉语言模型Mini-Gemini后，港中文贾佳亚团队再次提出的极具代表性的作品。在MR-Ben的“监督”下，大模型不仅要像学生那样会答题，还要像老师那样会阅卷，真实的推理能力无所遁形。MR-Ben细致地评测了不少国内外一线的开源和闭源模型，如GPT4-Turbo、Cluade3.5-Sonnet、Mistral-Large、Zhipu-GLM4、
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文共同第一作者简介：张逸骅：密歇根州立大学计算机系博士三年级学生，师从SijiaLiu教授，主要研究方向是大模型的安全、隐私和效率问题。李平治：本科毕业于中国科学技术大学，将于2024
高质量图像编辑的方法有很多，但都很难准确表达出真实的物理世界。那么，EdittheWorld试试。图片北京大学、TiamatAI、天工AI、Mila实验室提出了EditWorld，他们引入了一种新的编辑任务，即世界指令（world-instructed）图像编辑。它定义和分类基于各种世界场景的指令。图片在一组预训练模型，比如GPT-3.5、Video-LLava和SDXL的支持下，建立了一个带有世界指令的多模态数据集。在该数据集训练了一个基于扩散的图像编辑模型EditWorld，结果在其新任务的表现明显优
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
