当前位置:

首页 > 编程开发 > Laravel怎样处理大文件分块上传_Laravel处理大文件分块上传方法【存储】

Laravel怎样处理大文件分块上传_Laravel处理大文件分块上传方法【存储】

Laravel大文件分块上传通过前端File.slice()分片并携带SHA-256标识,服务端直接读取HTTPbody流加锁写入临时目录,合并时调用cat命令流式拼接,Redis记录已传分片支持断点续传,上传后自动清理临时文件并配置Nginx客户端最大请求体大小。

Lara vel大文件分块上传需从前端分片、服务端原子写入、流式合并、Redis断点续传及自动化清理五方面实现:前端用File.slice()切片并携带SHA-256标识与序号;服务端直读HTTP body流并加锁写入临时目录;合并时调用cat命令流式拼接;Redis记录已传分片支持续传;上传后自动清理临时文件并配置Nginx client_max_body_size。

Lara vel怎样处理大文件分块上传_Lara vel处理大文件分块上传方法【存储】

在Lara vel中上传大文件(比如视频、备份包),如果直接硬上,很可能遭遇超时、内存溢出或者413错误。核心原因在于PHP和Web服务器对单次请求体积有限制,只要没启用分块机制,文件越大越容易翻车。下面这套方案,从存储层出发,围绕安全、高效、可扩展三个目标,把分块上传的完整实现拆开来讲。

一、前端分片与元数据携带

这一步是地基。只有让服务端准确识别每个分片属于哪个文件、排在第几块,后续才能有序重组,同时为断点续传铺路。关键是把文件哈希当作唯一标识,而不是依赖文件名或时间戳——两个同名文件不会互相覆盖。

具体做法:前端用File.slice()按固定大小(比如5MB)把原始文件切成有序数组。接着计算整个文件的SHA-256哈希值,作为fileIdentifier。每个分片请求要带上四个必须字段:identifier(哈希值)、chunkNumber(从0开始递增)、totalChunks(总片数)、filename(原始文件名,用于最终落盘)。发送时用fetch传二进制流,Content-Type设为application/octet-stream,别用FormData——multipart解析额外消耗性能。

二、服务端接收分片并原子写入临时存储

这是最容易踩坑的一环。千万别用Lara vel默认的$request->file(),它会触发PHP完整解析multipart数据,大文件直接内存溢出。正确的做法是直接读取原始HTTP body流,完全绕过PHP的内存加载。

定义路由POST /api/upload/chunk,在控制器里先校验identifier、chunkNumber、totalChunks是否合法。接着调用$request->getContent()获取原始二进制流——注意,这里不能用$request->file('file')。然后构造临时存储路径:storage_path("app/chunks/{$identifier}/{$chunkNumber}"),用mkdir(..., 0755, true)确保父目录存在。写入时加独占锁:file_put_contents($filePath, $content, LOCK_EX),防止并发写入同一个分片把数据搞乱。

三、基于文件系统命令的流式合并(低内存占用)

文件分片全传完后,合并操作要交给操作系统内核完成,PHP只负责发命令,不参与内存加载。否则遇到GB级文件,Storage::put()分分钟卡死进程。

客户端发起POST /api/upload/merge?identifier=xxx请求后,先检查Redis里uploaded_chunks:{$identifier}的计数值是否等于totalChunks。然后遍历storage/app/chunks/{$identifier}/目录下所有分片文件,按chunkNumber升序排序,确认每个文件大小大于0。接着拼接一条shell命令:

cat storage/app/chunks/{$identifier}/* > storage/app/uploads/{$finalName}

通过exec()或Lara vel的Process组件执行。执行前务必确认web用户(比如www-data)对chunks/和uploads/目录有读写权限,而且磁盘剩余空间要大于目标文件大小。

四、基于Redis状态管理的断点续传支持

大文件上传最怕中途中断得从头再来。用Redis记录每个分片的上传状态,客户端可以随时查询哪些分片已成功,直接跳过重传。

每个分片写入成功后,马上执行Redis::sAdd("uploaded_chunks:{$identifier}", $chunkNumber)。提供一个GET /api/upload/chunks/{identifier}接口,返回已经上传的分片索引数组(比如[0,1,2,4]),直接从Redis里取,不走磁盘,响应迅速。合并完成后,记得执行Redis::del("uploaded_chunks:{$identifier}")清理状态。为了防止Redis里残留脏数据,所有状态键必须设置过期时间,比如SETEX uploaded_chunks:abc 86400 [0,1,2]。

五、分片清理与权限校验自动化

临时分片如果不清除,日积月累会把磁盘塞爆。合并成功后,递归删除storage/app/chunks/{$identifier}/目录,用Filesystem::deleteDirectory()而不要用shell的rm -rf。再注册一个artisan命令php artisan upload:cleanup,让它定时扫描chunks/目录下超过24小时还没被合并的目录,直接清理掉。

部署时别忘了设置目录权限:chmod -R 755 storage/app/chunks storage/app/uploads,然后chown -R www-data:www-data storage/app/chunks storage/app/uploads。最后,Nginx的client_max_body_size必须配置成至少128m,否则分片请求还没到PHP就被拦截,直接返回413错误。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
编程开发 laravel
相关文章 更多
codex安装windows教程桌面版完整安装步骤指南
codex安装windows教程桌面版完整安装步骤指南

详解如何在 Windows 电脑上通过 Microsoft Store 安装 Codex 桌面应用,包括启动登录、切换 Codex 模式、关联本地代码项目及终端环境配置的界面操作指引。

github配置ssh key windows
github配置ssh key windows

本文详解如何在Windows环境中使用PowerShell生成SSH密钥对,配置ssh-agent自动加载私钥,并将公钥安全添加至GitHub账户,最后通过git remote set-url切换为SSH地址,解决每次操作需输入账号密码的问题。

backdrop和background区别
backdrop和background区别

深入解析backdrop与background在网页开发及视觉设计中的区别。通过CSS代码示例,展示如何正确使用background设置元素背景,以及利用backdrop-filter创建弹窗遮罩模糊效果,避免概念混用。

windsurf ide download Windows版安装教程
windsurf ide download Windows版安装教程

详解 Windsurf IDE 在 Windows 系统的下载来源、安装步骤及首次启动界面。指导用户如何导入编辑器设置、打开项目文件夹及使用终端与 AI 功能,适合初次接触该工具的开发者阅读。

ServBay安装配置详细教程与操作指南
ServBay安装配置详细教程与操作指南

新手入门 ServBay 本地开发环境,详解安装包下载、Dashboard 状态监控、Packages 组件安装、Services 服务控制及 Websites 项目配置。掌握 .servbay.config 版本管理与日志排查技巧,快速搭建稳定的 PHP、Node.js 等多语言开发环境。

codekit环境配置指南从安装到环境搭建完整教程
codekit环境配置指南从安装到环境搭建完整教程

详解 CodeKit 在 macOS 下的安装步骤、项目导入方法、Sass与JavaScript编译设置及浏览器自动刷新功能,助您快速搭建高效的前端开发环境。

codex安装windows 命令行完整操作教程
codex安装windows 命令行完整操作教程

详解Windows环境下安装OpenAI Codex CLI的步骤,包括WSL环境检查、Node.js/npm配置、npm全局安装命令及首次启动验证,适合开发者快速上手。

NativeRest环境配置要求与完整操作教程
NativeRest环境配置要求与完整操作教程

学习如何配置 NativeRest REST API 客户端。涵盖 Windows/macOS/Linux 安装后的工作区创建、环境变量管理、请求编辑及响应查看步骤,帮助开发者快速完成基础环境搭建与连通性测试。

CSS设置透明度的注意事项有哪些?opacity属性详解
CSS设置透明度的注意事项有哪些?opacity属性详解

深入解析CSS中设置透明度的核心属性opacity,剖析子元素继承、事件穿透、层叠上下文等关键注意事项,并提供与rgba、hsla的实用选型对比。

flutter页面传值到后台的方法及示例代码
flutter页面传值到后台的方法及示例代码

flutter页面传值到后台的完整实现方法及示例代码,帮助读者快速掌握相关技术要点。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程
PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
WPS Office macOS版
WPS Office macOS版
macOS

WPS Office是一款面向macOS用户的综合办公套件,将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式,支持Intel及Apple芯片Mac,基础功能可免费使用,

Shapr3D macOS版
Shapr3D macOS版
Mac

Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核,支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换,并可通过账户在多台设备之间同步项目。

REAPER macOS版
REAPER macOS版
Mac

REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

WINDOWS 更多
AutoCAD Windows版
AutoCAD Windows版
Windows

AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件,Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化,并包含多套行业专业化工具组合,适用于建筑、机械、电气、工程建设及制造设计人员。

SketchUp Pro Windows版
SketchUp Pro Windows版
Windows

SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具,提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观,适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。

AutoCAD LT Windows版
AutoCAD LT Windows版
Windows

AutoCAD LT 是 Autodesk 推出的专业二维 CAD 软件,适合建筑师、工程师、施工人员和设计师完成精确绘图、标注及文档编制。它支持 DWG 工作流、智能块、图形比较、计数、表格和 AutoLISP 自动化,