Golang并发请求：协程并行调用HTTP接口

Go并发网络请求需控制并发数，避免资源耗尽；推荐用带缓冲channel（如sem := make(chan struct{}, 10)）作令牌池，发请求前获取令牌，完成后释放。

在 Go 中实现并发网络请求，核心是利用 goroutine + channel 或 sync.WaitGroup 控制并发执行，并合理管理超时、错误和资源。关键不是“开越多协程越好”，而是控制并发数、避免连接耗尽、统一处理失败。

控制并发数量，避免压垮服务或自身

直接为每个请求起一个 goroutine 容易失控（比如 1000 个 URL → 1000 个协程），可能触发 dial tcp: too many open files 或目标服务限流。推荐用带缓冲的 channel 作并发令牌池，或使用 semaphore 模式：

• 创建容量为 N 的 channel（如 sem := make(chan struct{}, 10)），每次发请求前先 sem <- struct{}{}，请求结束再 <-sem
• 或用 golang.org/x/sync/semaphore 包，更语义清晰：sem.Acquire(ctx, 1) / sem.Release(1)
• 典型并发数建议 5–50，具体看目标接口响应时间与稳定性（慢接口宜更低）

用 WaitGroup 等待所有请求完成

如果只需等全部结果（不关心顺序），sync.WaitGroup 是最轻量的选择：

• 初始化 wg := &sync.WaitGroup{}
• 每启动一个 goroutine 前调用 wg.Add(1)
• goroutine 内部 defer wg.Done()
• 主 goroutine 调用 wg.Wait() 阻塞等待全部结束
• 注意：不要在循环里直接传循环变量（如 for _, url := range urls { go func() { http.Get(url) }() } 会闭包捕获错误的 url），应传参：go func(u string) { ... }(url)

统一收集结果与错误，支持超时控制

推荐用 channel 收集结果（含 error），配合 context.WithTimeout 为整个批次设总超时：

• 定义结果结构体：type Result struct { URL string; Data []byte; Err error }
• 启动 goroutine 时传入子 context：ctx, cancel := context.WithTimeout(parentCtx, 5*time.Second)，并在 HTTP client 中设置 client := &http.Client{Timeout: 3 * time.Second}
• 每个 goroutine 执行完向结果 channel 发送 Result{URL: u, Data: body, Err: err}
• 主 goroutine 用 for i := 0; i < len(urls); i++ { res := <-resultCh } 接收（可加 select 处理超时）

复用 HTTP Client，避免连接泄漏

全局复用一个 *http.Client 实例，而非每次 new —— 它自带连接池和重用机制：

• 设置 Transport 参数提升并发能力：&http.Transport{MaxIdleConns: 100, MaxIdleConnsPerHost: 100, IdleConnTimeout: 30 * time.Second}
• 避免手动关闭 response.Body（必须 defer resp.Body.Close()），否则连接无法复用
• 不用 http.DefaultClient 在生产环境（它共享全局 Transport，易被其他模块干扰）