当前位置:

首页 > 编程开发 > Shell命令实现文件目录服务器间快速转移

Shell命令实现文件目录服务器间快速转移

一,脚本样例 先看一个实际场景:把本地 GitBook 项目或者某个大文件直接扔到远程服务器上。常规做法是用 scp,但这里提供了一种更灵活的管道玩法——通过 SSH 远程传输,中间还能加进度条和并行压缩。下面这个脚本就是干这事儿的。 1, 初始版本 #安装工具 yum install -y pig

本文目录

    一,脚本样例

    先看一个实际场景:把本地 GitBook 项目或者某个大文件直接扔到远程服务器上。常规做法是用 scp,但这里提供了一种更灵活的管道玩法——通过 SSH 远程传输,中间还能加进度条和并行压缩。下面这个脚本就是干这事儿的。

    Shell命令实现文件目录服务器间快速转移

    1, 初始版本

    #安装工具
    yum install -y pigz pv
    
    #压缩gitbook目录传输
    cd /gitee
    tar -czf - gitbook|ssh root@118.178.93.190 'tar -xzf - -C /work'
    
    #压缩文件传输
    tar -czf - nginx:1.31-alpine-slim.tar.gz|ssh root@118.178.93.190 'tar -xzf - -C /work'
    

    2, 优化版本(pigz|pv)

    #压缩gitbook目录传输
    cd /gitee
    tar -cf - gitbook|pigz|pv|ssh root@118.178.93.190 'tar -xzf - -C /work'
    
    #压缩文件传输
    tar -cf - nginx:1.31-alpine-slim.tar.gz|pigz|pv|ssh root@118.178.93.190 'tar -xzf - -C /work'
    

    先说说两个小工具。 pigz 是 gzip 的并行版本,能充分利用多核 CPU 加速压缩,兼容性跟 gzip 一样好。 pv 则负责显示进度条、传输速度和剩余时间,等大文件传输时能看见进度,心里踏实。

    实际跑一下看看效果(这里只演示了初始版本,加了密码验证):

    [root@00fly gitee]# ls
    docker-demo  docker-run  dos2unix.sh  effict-side  gitbook  git-update.sh  microservice-all-in-one  springcloud-swarm
    [root@00fly gitee]# tar -czf - gitbook|ssh root@118.178.93.190 'tar -xzf - -C /work'
    root@118.178.93.190's password:
    

    接下来把代码拆开,逐个解释每个部件的作用。

    二,代码拆分及含义

    1, 本地操作部分:tar -czf - gitbook

    • tar:Linux 下打包归档的经典命令。
    • -c:创建新归档(打包)。
    • -z:调用 gzip 算法压缩,打包的同时压缩。
    • -f -:指定归档文件名为“-”,表示不写本地文件,直接输出到标准输出。
    • gitbook:要打包压缩的本地目录(或文件)。

    2, 管道部分:|

    • 管道符号把前一个命令的标准输出,直接接到后一个命令的标准输入上。这里就是把 tar 产生的压缩数据流,喂给 SSH 后面要执行的命令。

    3, 远程操作部分:ssh root@118.178.93.190 'tar -xzf - -C /work'

    • ssh:安全登录远程服务器。
    • root@118.178.93.190:用户名和 IP 地址。
    • 'tar -xzf - -C /work':远程服务器上执行的解包命令。其中 -x 解包,-z 解压,-f - 表示从标准输入读取数据(即管道过来的压缩流),-C /work 指定解压到 /work 目录。

    三,辅助脚本

    为了方便日常使用,可以写一个交互式脚本,让用户选择本地文件、输入远程 IP 和目录,自动生成并执行命令。下面就是这样的 files-p2p.sh:

    #!/bin/bash
    
    # 定义默认服务器地址
    DEFAULT_IP="120.55.67.54"
    
    # 显示欢迎信息
    echo "======================================"
    echo "  文件上传配置工具"
    echo "======================================"
    echo ""
    
    # 步骤1:显示本地文件列表并让用户选择
    echo "【步骤1】请选择本地文件(输入序号):"
    echo "--------------------------------------"
    files=()  # 存储文件序号和名称
    for i in $(seq 1 10); do  # 示例:展示前10个文件(可根据需求调整数量)
        file=$(ls 2>/dev/null | sed -n "${i}p")
        if [ -n "$file" ]; then
            files+=("$i: $file")
            echo "$i. $file"
        fi
    done
    echo "--------------------------------------"
    
    while true; do
        read -p "输入文件序号(1-${#files[@]}):" choice
        if [[ $choice =~ ^[0-9]+$ ]] && [ $choice -ge 1 ] && [ $choice -le ${#files[@]} ]; then
            selected_file="${files[$((choice-1))]}"
            selected_filename=$(echo "$selected_file" | cut -d' ' -f2-)
            break
        else
            echo "无效的序号,请重新输入!"
        fi
    done
    echo "已选择文件:$selected_filename"
    echo ""
    
    # 步骤2:带超时的服务器IP输入
    echo "【步骤2】请输入远程服务器IP地址,否则使用默认值 $DEFAULT_IP):"
    read -p "IP地址:" server_ip
    if [ -z "$server_ip" ]; then
        server_ip=$DEFAULT_IP
        echo "未输入远程服务器IP地址,使用默认IP:$server_ip"
    else
        # 简单IP格式校验(可选)
        if ! [[ $server_ip =~ ^[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}$ ]]; then
            echo "IP格式错误,强制使用默认值:$DEFAULT_IP"
            server_ip=$DEFAULT_IP
        fi
    fi
    echo ""
    
    # 步骤3:输入远程服务器文件保存目录
    echo "【步骤3】请输入远程服务器文件保存目录:"
    read -p "保存目录(例如:/work):" remote_dir
    if [ -z "$remote_dir" ]; then
        remote_dir="/work"  # 设置默认目录(可根据需求调整)
        echo "未输入目录,使用默认目录:$remote_dir"
    fi
    echo ""
    
    # 最终输出拼接结果
    echo "======================================"
    echo "  配置结果汇总"
    echo "======================================"
    echo "【本地文件或目录】:$selected_filename"
    echo "【远程服务器IP  】:$server_ip"
    echo "【远程服务器目录】:$remote_dir"
    echo "【 生成执行命令 】:tar -cf - ${selected_filename}|pigz|pv|ssh root@$server_ip 'tar -xzf - -C $remote_dir'"
    echo "======================================"
    echo "开始执行文件转移命令!"
    eval "tar -cf - ${selected_filename}|pigz|pv|ssh root@$server_ip 'tar -xzf - -C $remote_dir'"
    

    运行效果如下:

    [root@00fly work]# sh files-p2p.sh 
    ======================================
      文件上传配置工具
    ======================================
    
    【步骤1】请选择本地文件(输入序号):
    --------------------------------------
    1. docker-run
    2. effict-side
    3. files-p2p.sh
    4. p2p.sh
    5. top-shell
    --------------------------------------
    输入文件序号(1-5):2
    已选择文件:effict-side
    
    【步骤2】请输入远程服务器IP地址(10秒内输入,否则使用默认值 192.168.0.1):
    IP地址:
    未在规定时间内输入,使用默认IP:192.168.0.1
    
    【步骤3】请输入远程服务器文件保存目录:
    保存目录(例如:/data/upload):/work
    
    ======================================
      配置结果汇总
    ======================================
    本地文件:effict-side
    远程服务器IP:192.168.0.1
    远程服务器目录:/work
    文件转移命令:tar -cf - effict-side|pigz|pv|ssh root@192.168.0.1 'tar -xzf - -C /work'
    

    四,总结

    整个方案的核心思路:本地打包压缩 → 管道传输 → SSH 远程解压。这样做的好处是无需中间文件,实时流式传输,配合 pigz 并行压缩和 pv 进度条,大文件传输时效率更高、体验更好。

    与scp命令比较

    有人可能会问:直接用 scp -r 不也能递归复制整个目录吗?确实,比如:

    #从本机递归复制整个目录到远程
    scp -r /work/docker root@116.196.92.147:/work
    

    但两者各有优劣:scp 简单直接,但无法看到进度,且传输过程中没有压缩(除非手动加 -C 选项)。而管道方案可以灵活组合压缩、进度显示,甚至能按需调整并行度。建议大家拿一个大目录实际测试对比一下,看看速度差异。上面脚本中第 69 和 72 行就是执行命令的地方,感兴趣可以自行修改参数跑一跑。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    Perplexity Decider v1.3与Decider Flash v1.3怎样选择,locate适合哪些任务
    Perplexity Decider v1.3与Decider Flash v1.3怎样选择,locate适合哪些任务

    Decider v1.3面向细致判断,Flash v1.3面向高量路由与过滤;locate抽取原文片段及位置,需与分类、多模态和托管入口限制分开理解。

    Transformers 5.23.0对导出、音频和专家并行环境有哪些兼容边界?
    Transformers 5.23.0对导出、音频和专家并行环境有哪些兼容边界?

    5.23.0影响范围取决于旧导出对象、音频依赖与专家并行路径,新增模型也有实验和变体限制。

    GitHub Copilot模型停用后会自动替换吗,哪些事情仍需提前确认?
    GitHub Copilot模型停用后会自动替换吗,哪些事情仍需提前确认?

    Copilot停用旧模型不等于自动迁移;区分移除、组织模型启用、工作流切换与个人年订阅例外。

    GitHub Actions重跑失败作业会使用最新代码吗
    GitHub Actions重跑失败作业会使用最新代码吗

    解释已有运行重跑的提交和权限边界,给出确认、失败作业重跑及结果核对命令,区分漏触发事件。

    chat-demo v0.1.1怎么本地运行并理解DeepSeek历史数据边界
    chat-demo v0.1.1怎么本地运行并理解DeepSeek历史数据边界

    chat-demo v0.1.1可以作为静态聊天客户端在本地运行,但模型、搜索、文件和语音能力仍由DeepSeek API提供。源码运行环境为Node.js 22.12及以上、Git与pnpm。Demo版本号不等于应用API版本;这套应用API未单独标版本,默认聊天模型ID是deepseek-flash。

    GitHub Copilot CLI v1.0.111的用量图与上下文比例应该怎样理解
    GitHub Copilot CLI v1.0.111的用量图与上下文比例应该怎样理解

    理解GitHub Copilot CLI v1.0.111的高级请求百分比、用户提示活动图与实际路由模型窗口,区分显示口径和任务状态。

    n8n 2.47.6、2.47.7、2.48.3 Beta、2.48.4 Beta、3.2.2预发布与1.123.96适用哪些安全修复?
    n8n 2.47.6、2.47.7、2.48.3 Beta、2.48.4 Beta、3.2.2预发布与1.123.96适用哪些安全修复?

    按维护分支、利用权限与节点类型对应四项修复,区分正式补丁、Beta和临时缓解的适用边界。

    GitHub合并故障的已缓解、监控与已解决有什么不同
    GitHub合并故障的已缓解、监控与已解决有什么不同

    GitHub合并故障中的“已缓解并监控”和“已解决”不能互换。前者表示影响已经采取措施缓解,仍在观察稳定性;后者是供应商正式结束这场事故的状态。11月13日的Pull Requests合并超时事件先进入监控,随后于北京时间11月14日02:29标记为已解决。

    llama.cpp v1.0.0的网页聊天分组与Markdown编辑适合哪些场景
    llama.cpp v1.0.0的网页聊天分组与Markdown编辑适合哪些场景

    llama.cpp v1.0.0改善聊天组织、长消息编辑和附件预览;界面变化与底层API迁移、缓存及访问边界需要分别理解。

    Postman 12.36.4 更新后仍报错,怎么判断是哪一层的问题
    Postman 12.36.4 更新后仍报错,怎么判断是哪一层的问题

    Postman 12.36.4 更新后仍有异常时,可按应用、API请求和平台服务区分问题范围,避免把补丁版本当作故障原因。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。