GPT-4 Vision API 图片处理错误及解决方法

正如摘要所述，本文将深入探讨在使用 GPT-4 Vision API 处理大量图像时遇到的常见问题，即由于 API 的速率限制导致的错误。我们将分析问题代码，解释速率限制的原因，并提供一系列可行的解决方案，帮助开发者有效地利用 GPT-4 Vision API。

问题分析

提供的代码旨在利用 GPT-4 Vision API 为 Google Drive 中的大量图片生成 SEO 优化的元描述。代码的功能主要包括：

1. 挂载 Google Drive: 允许访问存储在 Google Drive 中的图片。
2. 读取图片: 从指定文件夹读取图片文件。
3. 编码图片: 将图片编码为 Base64 字符串，以便通过 API 发送。
4. 调用 GPT-4 Vision API: 向 OpenAI API 发送请求，请求生成元描述。
5. 处理 API 响应: 解析 API 响应，并将结果保存到 Pandas DataFrame 中。
6. 导出结果: 将 DataFrame 导出到 Excel 文件。

问题在于，代码在处理大约 100 张图片后开始返回 "Error"，这很可能与 OpenAI API 的速率限制有关。

速率限制详解

OpenAI 的 GPT-4 Vision API 具有速率限制，旨在防止滥用并确保所有用户都能获得公平的服务。速率限制的具体数值取决于用户的使用层级。这意味着，免费用户可能具有较低的速率限制，而付费用户则可能具有更高的限制。

如何查看速率限制？

可以在 OpenAI 平台的文档中找到关于速率限制的详细信息。访问OpenAI 速率限制文档可以了解不同使用层级的具体限制。

解决方案

以下是一些解决 GPT-4 Vision API 速率限制问题的方案：

1. 了解并监控速率限制:

   • 仔细阅读 OpenAI 的速率限制文档，了解你的使用层级对应的限制。
   • 在代码中添加监控机制，以便在接近速率限制时发出警告。
   • 考虑使用 OpenAI 提供的 API 监控工具，以便更好地了解你的 API 使用情况。

2. 优化代码，减少 API 调用频率:

   • 批量处理: 如果可能，尝试一次性发送多个图片进行处理，而不是逐个发送。但是，需要注意 API 的请求大小限制。
   • 降低图片分辨率: 如果元描述不需要非常高的图片细节，可以降低图片的分辨率，从而减少 API 的处理时间和资源消耗。
   • 缓存结果: 对于已经生成过元描述的图片，可以将结果缓存起来，避免重复调用 API。

3. 处理速率限制错误:

   • 重试机制: 在代码中添加重试机制，当 API 返回速率限制错误时，等待一段时间后自动重试。可以使用 time.sleep() 函数来控制等待时间。
   • 指数退避 (Exponential Backoff): 使用指数退避策略来增加重试之间的等待时间，避免在短时间内发送大量请求。

4. 升级 OpenAI 使用层级:

   • 如果你的应用需要处理大量的图片，并且速率限制成为瓶颈，可以考虑升级到 OpenAI 的付费层级，以获得更高的速率限制。

代码示例：添加重试机制

以下代码示例展示了如何在原始代码中添加重试机制，以处理速率限制错误：

import os
import base64
import requests
import pandas as pd
from google.colab import drive
import time

drive.mount('/content/drive')

image_folder = '/content/drive/MyDrive/Work related/FS/Imagenes/Metadescripciones HC '
api_key = 'my api code goes here XXXXX'

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {api_key}"
}

results_df = pd.DataFrame(columns=['Nombre del Archivo', 'Metadescripcion'])

def get_metadescription(base64_image):
    payload = {
        "model": "gpt-4-vision-preview",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "Write a meta description for the image of this product, optimized for SEO and in less than 150 words"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/jpeg;base64,{base64_image}",
                            "detail": "low"
                        }
                    }
                ]
            }
        ],
        "max_tokens": 400
    }

    max_retries = 5
    for attempt in range(max_retries):
        try:
            response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
            response_json = response.json()
            if response.status_code == 200:
                return response_json['choices'][0]['message']['content']
            else:
                print(f"Attempt {attempt   1} failed with status code: {response.status_code}")
                if response.status_code == 429:  # Rate limit error
                    wait_time = (2 ** attempt)  # Exponential backoff
                    print(f"Rate limit exceeded. Waiting {wait_time} seconds before retrying.")
                    time.sleep(wait_time)
                else:
                    print(f"Unexpected error: {response_json}")
                    return 'Error'  # Return error for other status codes
        except Exception as e:
            print(f"An exception occurred: {e}")
            return 'Error'
    return 'Error'  # Return error after all retries failed


for filename in os.listdir(image_folder):
    if filename.endswith((".png", ".jpg", ".jpeg")):
        image_path = os.path.join(image_folder, filename)
        base64_image = encode_image(image_path)

        metadescription = get_metadescription(base64_image)

        new_row = pd.DataFrame({'Nombre del Archivo': [filename], 'Metadescripcion': [metadescription]})
        results_df = pd.concat([results_df, new_row], ignore_index=True)

results_df.to_excel('/content/drive/MyDrive/Work related/FS/Imagenes/Metadescripciones.xlsx', index=False)

代码解释：

• get_metadescription(base64_image) 函数: 封装了调用 API 的逻辑，并包含了重试机制。
• max_retries 变量: 定义了最大重试次数。
• for attempt in range(max_retries) 循环: 循环尝试调用 API。
• try...except 块: 捕获可能出现的异常。
• response.status_code == 429 条件: 检查是否为速率限制错误。
• `wait_time = (2 attempt)`:** 使用指数退避策略计算等待时间。
• time.sleep(wait_time): 暂停执行，等待一段时间后重试。

总结

在使用 GPT-4 Vision API 处理大量图片时，速率限制是一个常见的问题。通过了解速率限制、优化代码、添加重试机制以及考虑升级使用层级，可以有效地解决这个问题，并更高效地利用 GPT-4 Vision API。 记住，良好的 API 使用习惯不仅可以提高效率，还可以避免不必要的费用。