Golang HTTP并发请求优化技巧

通过优化连接复用、并发控制和超时管理提升Golang HTTP客户端性能。具体包括：配置Transport的MaxIdleConns、MaxIdleConnsPerHost和IdleConnTimeout以复用TCP连接；使用带缓冲channel限制最大并发数，防止资源耗尽；设置Client.Timeout或Context超时避免goroutine泄漏；复用Request对象或使用sync.Pool减少内存分配；及时关闭响应体以释放连接。合理调整参数可显著提升高并发场景下的稳定性和效率。

在使用 Golang 构建 HTTP 客户端进行高并发请求时，如果不合理配置底层资源，很容易遇到性能瓶颈，比如连接数不足、超时堆积、内存暴涨等问题。优化的核心在于复用连接、控制并发度以及合理设置超时。以下是实际项目中验证有效的优化策略。

重用 TCP 连接与连接池管理

默认的 http.DefaultClient 使用 Transport，但未对连接做精细化控制。在高并发场景下，频繁建立和关闭 TCP 连接会带来显著开销。通过自定义 Transport 启用长连接和连接复用，能极大提升性能。

关键配置如下：

• MaxIdleConns：控制整个客户端最大空闲连接数，避免连接过多占用系统资源
• MaxIdleConnsPerHost：每个主机（host）的最大空闲连接数，HTTP/1.1 默认限制为 2，建议调高
• IdleConnTimeout：空闲连接保持时间，避免服务端主动关闭导致无效连接
• DisableKeepAlives：设为 false（默认），启用持久连接

client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 20,
        IdleConnTimeout:     90 * time.Second,
    },
    Timeout: 10 * time.Second,
}

控制并发数量防止资源耗尽

无限制的并发可能导致文件描述符耗尽、goroutine 泛滥或目标服务被压垮。应使用带缓冲的 channel 或 semaphore 控制最大并发请求数。

常见做法是使用 goroutine + channel 模式实现信号量机制：

• 创建容量为 N 的 channel，每发起一个请求写入一个值
• 当 channel 满时，后续请求阻塞等待
• 请求完成（无论成功或失败）后从 channel 读取，释放槽位

sem := make(chan struct{}, 20) // 最大并发20
var wg sync.WaitGroup
for _, url := range urls {
wg.Add(1)
sem <- struct{}{}
go func(u string) {
defer wg.Done()
defer func() { <-sem }()
    resp, err := client.Get(u)
    if err != nil {
        log.Printf("Request failed: %v", err)
        return
    }
    defer resp.Body.Close()
    // 处理响应
}(url)
}
wg.Wait()

合理设置超时避免 goroutine 泄漏

缺少超时设置的客户端在服务端响应缓慢时会堆积大量阻塞的 goroutine，最终导致内存溢出。必须为每个请求设置明确的超时边界。

推荐使用 http.Client.Timeout，它涵盖整个请求周期（连接、写入、响应、读取 body）。若需更细粒度控制，可在 Context 中设置超时：

ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := client.Do(req)

这种方式还能支持请求取消，适用于用户主动中断等场景。

复用 Request 对象与减少内存分配

在高频请求中，频繁创建 http.Request 和 http.Response 会增加 GC 压力。对于相同目标的请求，可复用 Request 对象（注意不是并发写冲突），或使用 sync.Pool 缓存临时对象。

尤其是自定义 Header 较多时，可预先设置好 Request 模板，每次克隆使用：

req := requestTemplate.Clone(ctx)

同时，及时调用 resp.Body.Close() 避免连接无法复用。

基本上就这些。通过连接复用、并发控制、超时管理和对象复用，Golang HTTP 客户端在高并发下能稳定高效运行。关键是根据实际负载调整参数，避免过度配置或资源争抢。