LangChain CSV代理调用失败解析与解决办法

本文深入探讨了LangChain CSV/Pandas Dataframe代理在使用`AgentType.OPENAI_FUNCTIONS`时，如果底层大型语言模型（LLM）不兼容OpenAI函数调用格式，可能导致代理不执行工具而直接返回JSON调用的问题。文章提供了两种核心解决方案：一是切换至支持OpenAI函数调用的LLM，如GPT-3.5 Turbo；二是改用其他不依赖特定函数调用格式的代理类型，例如`AgentType.ZERO_SHOT_REACT_DESCRIPTION`，以确保代理能够正确解析并执行工具指令。

理解LangChain代理与工具执行机制

LangChain框架通过其代理（Agent）模块，使得大型语言模型（LLM）能够与外部工具进行交互，从而扩展其能力，例如执行代码、查询数据库或进行网络搜索。CSV代理和Pandas Dataframe代理是其中常见的两种，它们允许LLM对CSV数据进行分析和操作。

当我们在LangChain中初始化一个代理时，需要指定一个代理类型（AgentType）。其中，AgentType.OPENAI_FUNCTIONS是一种特殊类型，它利用了OpenAI模型（如GPT-3.5 Turbo、GPT-4）特有的函数调用（Function Calling）能力。这意味着，当LLM需要使用工具时，它会生成一个符合OpenAI规范的JSON对象，描述要调用的函数及其参数。LangChain代理接收到这个JSON后，会识别并执行相应的工具。

然而，如果底层LLM不具备OpenAI函数调用能力，或者没有经过适当的微调来生成这种特定格式的JSON，那么即使代理类型被设置为AgentType.OPENAI_FUNCTIONS，LLM也可能无法生成LangChain期望的、可执行的工具调用指令。在这种情况下，代理可能会直接将LLM返回的原始JSON（描述了它“认为”应该调用的函数）输出给用户，而不是实际执行该函数。

问题现象：代理返回JSON而非执行工具

在使用langchain-experimental中的create_csv_agent或Pandas Dataframe代理时，如果配置了一个不兼容OpenAI函数调用的模型（例如通过OpenRouter使用的某些Mistralai模型），并设置agent_type=AgentType.OPENAI_FUNCTIONS，你会观察到以下行为：

代理在接收到用户查询后，会与LLM交互。LLM会生成一个JSON对象，其中包含一个function名称（如python_repl_ast）和一个parameters字典（如{"query": "len(df)"}），但这个JSON不会被LangChain代理识别并作为工具调用执行。相反，它会被直接打印到控制台，表示代理链已结束，而没有实际执行Python代码并返回自然语言结果。

示例问题代码片段：

import os
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType 
from langchain_experimental.agents.agent_toolkits import create_csv_agent

# 假设这里配置了一个不兼容OpenAI函数调用的模型
api_key = os.environ.get("OPENROUTER_API_KEY")
api_base = "https://openrouter.ai/api/v1"
model = "mistralai/mixtral-8x7b-instruct" # 这是一个不兼容的例子
chat_model = ChatOpenAI(
    api_key=api_key,
    base_url=api_base,
    model=model,
    temperature=0.0,
)

def main():
    filepath = "your_data.csv" # 替换为你的CSV文件路径
    agent = create_csv_agent(
        chat_model,
        filepath,
        verbose=True,
        openai_model=chat_model, # 这里的openai_model参数实际上是传递给内部的LLM
        agent_type=AgentType.OPENAI_FUNCTIONS, # 问题所在：与不兼容模型一起使用
    )
    while True:
        user_message = input("You: ")
        if user_message.lower() in ["goodbye", "goodbye!"]:
            break
        response = agent.run(user_message)
        print(response)

if __name__ == "__main__":
    main()

当执行上述代码并输入“How many rows are there?”时，预期会得到类似以下输出：

> Entering new AgentExecutor chain...
{
  "function": "python_repl_ast",
  "parameters": {
    "query": "len(df)"
  }
}

> Finished chain.

这表明LLM识别了需要执行的操作并以JSON形式返回，但代理未能将这个JSON解释为可执行的工具调用。

解决方案

解决此问题的核心在于确保LLM与所选的代理类型兼容。有两种主要方法可以解决：

解决方案一：切换到兼容OpenAI函数调用的LLM

最直接的方法是使用一个明确支持OpenAI函数调用API的LLM。这些模型经过专门训练，能够以LangChain代理期望的特定JSON格式生成工具调用指令。

操作步骤：

1. 选择兼容模型： 将您的LLM模型更改为OpenAI官方支持函数调用的模型，例如openai/gpt-3.5-turbo或openai/gpt-4。您可以在OpenAI的官方文档中找到支持函数调用的模型列表。
2. 更新模型配置： 在您的代码中更新model变量。

示例代码修改：

import os
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType 
from langchain_experimental.agents.agent_toolkits import create_csv_agent

# 使用OpenAI官方支持函数调用的模型
api_key = os.environ.get("OPENAI_API_KEY") # 注意这里是OpenAI的API Key
# api_base = "https://api.openai.com/v1" # 默认无需设置，除非有特殊代理
model = "gpt-3.5-turbo" # 兼容OpenAI函数调用的模型
chat_model = ChatOpenAI(
    api_key=api_key,
    model=model,
    temperature=0.0,
)

def main():
    filepath = "your_data.csv" # 替换为你的CSV文件路径
    agent = create_csv_agent(
        chat_model,
        filepath,
        verbose=True,
        # openai_model参数通常用于指定内部LLM，如果chat_model就是兼容的，可以省略或保持
        # agent_type=AgentType.OPENAI_FUNCTIONS 保持不变
    )
    while True:
        user_message = input("You: ")
        if user_message.lower() in ["goodbye", "goodbye!"]:
            break
        response = agent.run(user_message)
        print(response)

if __name__ == "__main__":
    main()

通过此更改，当LLM生成工具调用指令时，它将以LangChain代理能够识别并执行的正确格式输出。

解决方案二：切换到其他代理类型

如果您无法使用OpenAI的兼容模型，或者希望使用其他不具备OpenAI函数调用能力的LLM，那么您可以选择切换到其他不依赖于这种特定API的代理类型。LangChain提供了多种代理类型，它们使用不同的提示策略（如ReAct、MRKL等）来指导LLM进行工具调用。

操作步骤：

1. 选择替代代理类型： 将agent_type从AgentType.OPENAI_FUNCTIONS更改为其他类型，例如AgentType.ZERO_SHOT_REACT_DESCRIPTION。这种代理类型通过分析LLM的思维过程（"Thought"）和行动（"Action"）来执行工具。您可以在LangChain文档中查看所有可用的代理类型。
2. 更新代理初始化： 在create_csv_agent函数中修改agent_type参数。

示例代码修改：

import os
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType 
from langchain_experimental.agents.agent_toolkits import create_csv_agent

# 保持原有不兼容OpenAI函数调用的模型
api_key = os.environ.get("OPENROUTER_API_KEY")
api_base = "https://openrouter.ai/api/v1"
model = "mistralai/mixtral-8x7b-instruct" # 假设您仍想使用此模型
chat_model = ChatOpenAI(
    api_key=api_key,
    base_url=api_base,
    model=model,
    temperature=0.0,
)

def main():
    filepath = "your_data.csv" # 替换为你的CSV文件路径
    agent = create_csv_agent(
        chat_model,
        filepath,
        verbose=True,
        # 对于非OpenAI函数调用模型，openai_model参数可能不再适用或需要调整
        # 这里将其移除，因为它可能与agent_type冲突或不必要
        agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION, # 切换到兼容非函数调用模型的代理类型
    )
    while True:
        user_message = input("You: ")
        if user_message.lower() in ["goodbye", "goodbye!"]:
            break
        response = agent.run(user_message)
        print(response)

if __name__ == "__main__":
    main()

通过此更改，即使LLM不具备OpenAI函数调用能力，代理也能通过其通用的推理能力和提示工程来决定何时以及如何调用工具。

总结与最佳实践

LangChain代理在执行工具时，其行为高度依赖于所选的AgentType以及底层LLM的能力。当遇到代理不执行工具而直接返回JSON的问题时，应首先考虑LLM与AgentType.OPENAI_FUNCTIONS之间的兼容性。

关键点：

• 模型兼容性： AgentType.OPENAI_FUNCTIONS专门为OpenAI支持函数调用的模型设计。使用其他模型时，必须确保它们也经过了类似的微调，或者直接切换到OpenAI的官方兼容模型。
• 代理类型选择： 如果您的LLM不支持OpenAI函数调用，或者您希望使用更通用的代理策略，请选择如AgentType.ZERO_SHOT_REACT_DESCRIPTION等其他代理类型。
• verbose=True： 在调试代理行为时，设置verbose=True非常有用，它可以打印出代理链的详细执行过程，帮助您理解LLM的思考和代理的决策。

正确配置LLM和代理类型是构建健壮LangChain应用程序的关键。通过理解这些机制，您可以有效地解决代理工具调用中的常见问题，并为用户提供流畅的数据分析体验。