Golang文件搜索实现技巧与实践

根本原因是 filepath.Walk 遇到 permission denied 或损坏符号链接时直接中止遍历；正确做法是自定义 WalkFunc，对 os.IsPermission 等错误返回 nil 以继续。

用 filepath.Walk 遍历目录时，为什么搜不到子目录里的文件？

根本原因是 filepath.Walk 默认不会跳过符号链接、也不会自动处理权限拒绝错误，一旦遇到 permission denied 或损坏的 symlink，遍历会直接中止，后续路径全被跳过。

正确做法是传入自定义的 filepath.WalkFunc，在错误发生时返回 nil（继续）而非原样返回错误：

err := filepath.Walk(root, func(path string, info os.FileInfo, err error) error {
    if err != nil {
        // 忽略权限不足或无法读取的目录，继续遍历
        if os.IsPermission(err) || os.IsNotExist(err) {
            return nil
        }
        return err
    }
    // 实际匹配逻辑放这里
    return nil
})

• 不要用 filepath.WalkDir 替代 —— 它虽支持 DirEntry 提前判断类型，但默认仍会因错误中断，同样要手动 swallow 错误
• 注意 info.IsDir() 判断的是当前项是否为目录，不是“是否应进入”，filepath.Walk 本身已控制递归逻辑
• 若需排除特定目录（如 .git），在 info.IsDir() && info.Name() == ".git" 时返回 filepath.SkipDir

文件名模糊匹配该用 strings.Contains 还是 filepath.Match？

取决于搜索意图：strings.Contains 是纯字符串子串匹配，快但无模式；filepath.Match 支持 * 和 ? 通配符，但只支持单层文件名（不含路径），且不支持正则。

例如搜索 *.go 或 main?.go，必须用 filepath.Match；搜索 “包含 test 且扩展名为 .log” 就得拆解：

base := filepath.Base(path)
if strings.Contains(base, "test") && strings.HasSuffix(base, ".log") {
    // 匹配成功
}

• filepath.Match("*.go", base) 中第一个参数是 pattern，第二个是待匹配的文件名（不含路径）
• filepath.Match 不区分大小写？否 —— 它严格按字节比较，"*.GO" 不会匹配 main.go
• 想支持忽略大小写的后缀检查，用 strings.EqualFold(filepath.Ext(path), ".go")

为什么用 filepath.Join 拼接路径比字符串拼接更安全？

因为不同操作系统路径分隔符不同：Windows 用 \，Unix-like 用 /，硬拼 dir + "/" + file 在 Windows 上可能生成 C:\path/file.txt —— 多数 Go 标准库函数能容忍，但某些底层 syscall 或第三方工具会失败。

filepath.Join 自动适配当前系统，并清理冗余分隔符和 ./..：

// 危险
badPath := dir + "/" + filename

// 安全
goodPath := filepath.Join(dir, filename)

// 它还能处理这种输入：
filepath.Join("a/b", "..", "c") // → "a/c"
filepath.Join("C:\\foo", "bar") // → "C:\\foo\\bar"（Windows 下）

• 即使你确定只跑 Linux，也别省这个调用 —— 后续有人把代码移到 Windows CI 或 WSL 就会出问题
• filepath.Join 对空字符串敏感：filepath.Join("a", "") 返回 "a/"（末尾带分隔符），注意是否影响你的逻辑
• 绝对路径传给 Join 会被截断：filepath.Join("/tmp", "/etc/passwd") 返回 "/etc/passwd"

搜索结果太多时，如何避免内存爆炸？

别把所有匹配路径一次性 append 到切片里返回。尤其当扫描大项目（如 $GOPATH/src）时，几万条路径可能吃光几百 MB 内存。

改用回调函数或 channel 流式输出：

func SearchFiles(root, pattern string, found func(path string)) error {
    return filepath.Walk(root, func(path string, info os.FileInfo, err error) error {
        if err != nil {
            if os.IsPermission(err) { return nil }
            return err
        }
        if !info.IsDir() && filepath.Match(pattern, filepath.Base(path)) == nil {
            found(path) // 立即处理，不缓存
        }
        return nil
    })
}

// 调用
SearchFiles(".", "*.go", func(p string) {
    fmt.Println(p)
})

• channel 方案适合需要并发处理（如并行 grep 文件内容），但要注意关闭 channel 和 goroutine 泄漏
• 如果必须返回切片，加个上限参数（如 maxResults int），达到后主动 return filepath.SkipAll
• 用 os.Stat 检查文件是否存在再加入结果？没必要 —— filepath.Walk 的 info 已是最新状态，重复 Stat 是浪费