当前位置:

首页 > 编程开发 > TensorFold 1.2.9的Ollama接口和服务配置文件怎么用

TensorFold 1.2.9的Ollama接口和服务配置文件怎么用

TensorFold 1.2.9的服务配置文件用于保存和复用启动参数,Ollama兼容API则在同一推理路径上提供聊天、生成和模型查询等接口。理解配置优先级及后端限制,比只看到“兼容”就直接迁移全部流量更有用。

本文目录

    TensorFold 1.2.9的服务配置文件用于保存和复用启动参数,Ollama兼容API则在同一推理路径上提供聊天、生成和模型查询等接口。理解配置优先级及后端限制,比只看到“兼容”就直接迁移全部流量更有用。

    TensorFold官方文档中的服务启动环境与命令

    Ollama兼容覆盖哪些端点

    1.2.9列出的端点为/api/chat、/api/generate、/api/embed、/api/tags、/api/show、/api/ps和/api/version,走与OpenAI路由相同的引擎路径。这说明接口层增加了兼容入口,并不表示所有Ollama扩展参数、模型管理行为及客户端版本都已经逐项验证。

    已有客户端如果只使用这些端点,可以围绕实际请求与响应评估接入。模型能否运行仍取决于TensorFold支持的架构、权重形式及本机硬件;接口名称相同不能替代模型与后端检查。

    TensorFold 1.2.9新增Ollama兼容端点和配置文件的版本记录

    怎样把启动参数保存为TOML

    以下示例适用于已安装TensorFold 1.2.9、具备相应模型运行环境的终端。保存为serve.toml;示例采用官方README中的模型和服务别名,运行前需确保模型权重可获取且本机资源足够。配置中的127.0.0.1只在本机监听,8080是示例端口;不包含真实密钥。

    # serve.toml
    model = "mlx-community/Qwen3.5-2B-MLX-4bit"
    host = "127.0.0.1"
    port = 8080
    name = "local-model"
    context = 8192
    thinking = false

    配置键对应去掉--的serve参数,全部位于顶层。thinking = false对应--no-thinking;不能把no-thinking直接作为此开关的配置键。文件不支持任意完整TOML语法,例如表、点分键和嵌套数组会被拒绝,而不是默默忽略。

    如何启动并临时覆盖端口

    在保存配置的目录运行下面的命令。macOS和Linux会拒绝可由组或其他用户写入的配置,因此先移除这两类写权限。第二个启动命令是替代第一个的示例,用来说明临时改端口,不是要求同时启动两个实例。

    chmod go-w serve.toml
    tensorfold serve --config serve.toml
    
    # 需要9000端口时,改用这一条启动命令
    tensorfold serve --config serve.toml --port 9000

    预期服务按配置加载模型并监听所选端口;命令行优先于文件,文件优先于内置默认值。若参数不支持、模型无法运行或配置不合法,启动可能失败,不能把命令存在当作已实测成功。

    文件内相对路径以配置文件目录为起点,命令行路径仍以启动时工作目录为起点。路径参数不经过shell展开,文件中的~/不会自动变成用户主目录。重复参数列表在命令行出现时,会替换文件里的整组列表,而不是追加。

    哪些修复值得纳入回归检查

    在CUDA的Nemotron Omni场景,失败的图像请求不再污染下一次回复;GLM-5.3-Flash在TP=3且prompt_logprobs超过约100个token时的挂起得到修复。这些是具体场景修复,不能概括为所有错误或长提示故障都已消失。

    /v1/models增加每个模型的input_types,不支持视频的模型收到视频请求时返回HTTP 400而不是500。CUDA发行服务也会在没有对应GPU内核时明确拒绝启动;遇到拒绝应先看硬件与构建支持,而不是把它当成随机挂起。

    官方性能数字分别来自指定模型、GPU、并发数和提示长度,不能把一个场景的提升比例套到所有部署。Linux内存压力调节需要显式启用;CUDA图像路径和部分视觉内核仍属于尚未被已服务模型使用的基础工作,也不应当作已经开放的模型功能。1.2.9是这里讨论的准确版本,不代表始终为最新发行版。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    如何理解Univer 1.5.2的二次混淆移除与构建边界?
    如何理解Univer 1.5.2的二次混淆移除与构建边界?

    理解Univer 1.5.2的关键,是把额外混淆与构建压缩分开。本版删除二次混淆插件及相关配置,同时保留Pro模块的minify设置;它解释的是产物处理方式的变化,不代表增加了表格或公式能力。

    Open Code Review 1.13.10的续跑和比较侧代码访问怎么用
    Open Code Review 1.13.10的续跑和比较侧代码访问怎么用

    Open Code Review 1.13.10新增工作区模式的--resume支持,并在仅指定--from时把--to默认设为HEAD。它还支持访问比较侧代码,改进Markdown摘要和进度输出;这些变化分别涉及会话延续、比较范围、代码上下文与终端展示。

    browser-use 1.0.6默认模型费用为何变化,如何保留原配置
    browser-use 1.0.6默认模型费用为何变化,如何保留原配置

    browser-use 1.0.6更换未传llm时的默认模型和推理档位;显式选择bu-fast并按任务读取真实用量费用。

    Claude Sonnet 5.5与Claude Fable 5.2错误恢复后,四类产品影响范围怎么看
    Claude Sonnet 5.5与Claude Fable 5.2错误恢复后,四类产品影响范围怎么看

    Claude Sonnet 5.5与Claude Fable 5.2错误升高事故的恢复覆盖claude.ai、Claude API、Claude Code和Claude Cowork,影响窗口为2026年11月16日北京时间15:32至16:45。这份恢复结论针对事故r1b4f9bbnsx1,不表示每位用户都曾中断,也不表示其他独立事故全部恢复。

    llama.cpp b12432测试构建改善了哪些KV缓存管理行为?
    llama.cpp b12432测试构建改善了哪些KV缓存管理行为?

    llama.cpp b12432预发布构建利用位置索引减少KV序列删除扫描;解释官方函数微基准、删除边界测试及生产评估限制。

    Nod 0.8.0怎样按工作类型分配模型并理解生效边界
    Nod 0.8.0怎样按工作类型分配模型并理解生效边界

    Nod 0.8.0细分对话、计划、自主工作和单个任务的模型选择;解释下一轮生效、成本估计与Linux Flatpak预览版限制。

    n8n 1.123.97相对1.123.96改了什么,依赖版本如何判断
    n8n 1.123.97相对1.123.96改了什么,依赖版本如何判断

    n8n 1.123.97更新1.x分支的undici、multer、follow-redirects等依赖;说明扫描发现口径、版本比较及适用分支,避免误作2.x降级目标。

    Ducter 0.0.57怎样整理手头任务,项目与设备识别有何变化
    Ducter 0.0.57怎样整理手头任务,项目与设备识别有何变化

    Ducter 0.0.57按仓库或文件夹自动组织项目,区分四项任务状态并说明等待条件与复查时间,同时统一页头和设备识别。

    llama.cpp b12431代码标签如何判断推理级别是否被模板拒绝
    llama.cpp b12431代码标签如何判断推理级别是否被模板拒绝

    llama.cpp b12431通过保存聊天模板明确拒绝的推理级别,让对应请求以400和支持级别提示返回。它修正的是reasoning_effort错误分类:此前三类兼容端点可能把模板拒绝反映为500,不能据此将所有推理失败都归入同一原因。

    llama.cpp b12430预发布的HIP修复与多平台构建有什么区别?
    llama.cpp b12430预发布的HIP修复与多平台构建有什么区别?

    llama.cpp b12430为预发布构建,修复HIP后端MoE回归;区分GFX906上的两种性能对比基准、dense对照与多平台附件适用边界。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。