阿里云再次开源多模态大模型Qwen-VL，具备图文理解能力的千问通义

阿里云于8月25日推出了大规模视觉语言模型Qwen-VL，并直接开源。Qwen-VL是基于通义千问70亿参数模型Qwen-7B进行研发的，支持图文输入，并具备多模态信息理解能力。在主流的多模态任务评测和多模态聊天能力评测中，Qwen-VL的表现远超过同等规模的通用模型

Qwen-VL是一种支持多种语言的视觉语言（Vision Language，VL）模型。相较于之前的VL模型，Qwen-VL除了具备基本的图文识别、描述、问答和对话能力外，还增加了视觉定位和图像中文字理解等功能

多模态技术是通用人工智能的重要技术发展方向之一。业界普遍认为，从只支持文本输入的单一感官语言模型，发展到支持文本、图像、音频等多种信息输入的多模态模型，具有巨大的智能提升潜力。多模态技术可以增强大模型对世界的理解能力，广泛拓展了大模型的应用场景

视觉是人类的主要感官能力，也是研究者首先考虑为大型模型赋予多模态能力的能力。在推出M6、OFA系列多模态模型之后，阿里云通义千问团队又开源了基于Qwen-7B的大规模视觉语言模型（Large Vision Language Model, LVLM）Qwen-VL。Qwen-VL和其视觉AI助手Qwen-VL-Chat已经在ModelScope魔搭社区上线，并且是开源、免费、可商用的

用户可以直接从魔搭社区下载模型，也可以通过阿里云灵积平台访问并调用Qwen-VL和Qwen-VL-Chat。阿里云为用户提供全方位的服务，包括模型训练、推理、部署和精调等

Qwen-VL可以应用于知识问答、图像标题生成、图像问答、文档问答、细粒度视觉定位等不同场景

例如，一位不懂中文的外国游客到医院看病，不知道如何前往相应的科室。他拍下楼层导览图并问Qwen-VL：“骨科在哪一层？”、“耳鼻喉科在哪一层？” Qwen-VL会根据图片信息给出文字回复，这展示了图像问答的能力。另外，如果输入一张上海外滩的照片，让Qwen-VL找出东方明珠。Qwen-VL能够准确地用检测框圈出对应的建筑物，这展示了其视觉定位的能力

Qwen-VL是业界首个支持中文开放域定位的通用模型。开放域视觉定位的能力决定了大模型的精准度，也就是说，它能否在画面中准确地找出想要找的事物。这对于VL模型在机器人操控等真实应用场景的实际应用非常重要

Qwen-VL是以Qwen-7B为基座语言模型的，通过引入视觉编码器在模型架构上，使得模型可以接受视觉信号输入，并通过设计训练过程，使得模型能够细致地感知和理解视觉信号。Qwen-VL支持的图像输入分辨率为448，而之前开源的LVLM模型通常只支持224分辨率。在Qwen-VL的基础上，通义千问团队使用对齐机制，开发了基于LLM的视觉AI助手Qwen-VL-Chat，可以帮助开发者快速构建具备多模态能力的对话应用

在对四大类多模态任务（Zero-shot Caption/VQA/DocVQA/Grounding）进行标准英文测评时，Qwen-VL表现出了与开源LVLM相当尺寸的最佳效果。为了评估模型的多模态对话能力，通义千问团队创建了一个名为“试金石”的测试集，采用基于GPT-4的评分机制，对Qwen-VL-Chat和其他模型进行了比较测试。在中英文对齐评测中，Qwen-VL-Chat都取得了开源LVLM最佳结果

阿里云在8月初开源了通义千问70亿参数通用模型Qwen-7B和对话模型Qwen-7B-Chat，成为国内首家加入大模型开源行列的大型科技企业。通义千问开源模型一经发布就引起了广泛关注，在上线的那周登上了HuggingFace趋势榜单，不到一个月时间在GitHub上获得了超过3400个星标，累计下载量已经突破了40万次

重写的内容是：开源地址：

ModelScope魔搭社区是一个平台，旨在为模特和设计师提供一个交流和合作的空间。这个社区是一个创造性的环境，允许用户展示自己的作品、分享灵感和获取反馈。模特可以在这里展示自己的时尚风格和独特魅力，与设计师合作并参与时装秀和广告活动。设计师可以在这里找到合适的模特来展示他们的设计，并与其他设计师进行合作和创新。ModelScope魔搭社区致力于促进模特和设计师之间的互动和合作，为时尚行业的发展做出贡献

Qwen-VL    https://modelscope.cn/models/qwen/Qwen-VL/summary

Qwen-VL-Chat    https://modelscope.cn/models/qwen/Qwen-VL-Chat/summary

模型体验：https://modelscope.cn/studios/qwen/Qwen-VL-Chat-Demo/summary

HuggingFace：拥抱面孔：

Qwen-VL   https://huggingface.co/Qwen/Qwen-VL

Qwen-VL-Chat   https://huggingface.co/Qwen/Qwen-VL-Chat

GitHub（中文名：基于Git的代码托管平台）是全球最大的开源代码托管平台之一。它提供了一个方便的在线平台，使开发者能够协作开发、管理和共享代码。GitHub以其简洁的界面、强大的版本控制功能和丰富的社区资源而受到广泛欢迎。无论是个人开发者还是大型团队，都可以在GitHub上创建仓库，管理项目，并与其他开发者进行交流和合作。通过GitHub，开发者可以轻松地进行代码托管、版本控制、问题跟踪和代码审查等操作。同时，GitHub还提供了丰富的API和插件生态系统，使开发者能够根据自己的需求定制和扩展平台功能。总之，GitHub为开发者提供了一个强大的工具，促进了开源软件的发展和协作

https://github.com/QwenLM/Qwen-VL

请查看技术论文的链接：

    https://arxiv.org/abs/2308.12966