当前位置:

首页 > 编程开发 > Delphi 中内存映射对于大文件的使用

Delphi 中内存映射对于大文件的使用

针对超大文件,利用Delphi的内存映射机制分块处理,以10倍页面粒度为单位映射,通过GetSystemInfo获取页面分配粒度。在循环中判断当前映射范围是否足够,不足时保留剩余数据并重新映射,合并后顺序读取指定长度数据。

本文目录

    Delphi 中内存映射对于大文件的使用

    Delphi 中内存映射对于大文件的使用

    平时很少碰大文件的内存映射,这次正好遇上这样的需求,就把过程记录下来,算是给各位一个引子。应用不算复杂,难免有考虑不周的地方,欢迎交流指正。

    对于小文件,普通的文件流就能轻松搞定。可一旦遇到超大文件——比如2G甚至更大——文件流就力不从心了。这时候必须借助API提供的内存映射机制。即便用了内存映射,也不能一次性映射整个文件,得采用分块映射,每次只处理一小部分。

    先来看几个核心函数:

    CreateFile —— 打开文件
    GetFileSize —— 获取文件尺寸
    CreateFileMapping —— 创建映射
    MapViewOfFile —— 映射文件

    细看 MapViewOfFile 的帮助文档会发现,它的最后两个参数都必须是页面粒度的整数倍。一般机器的页面粒度是64KB(65536字节)。而在实际开发中,我们操作的数据往往不会这么“规矩”,任意位置、任意长度都是可能的,所以必须做一些额外处理。

    本例的任务是这样的:从一个长度列表(FInfoList)中依次读取长度值,然后到另一个大文件(FSourceFileName)中顺序读取指定长度的数据。如果文件很小,一次性读到文件流里然后逐个读取就行。但面对大文件,就需要不断改变映射位置,才能拿到想要的数据。

    具体做法是先通过 GetSystemInfo 获取页面粒度,然后以10倍页面粒度作为一个映射数据块。在 for 循环里,会判断已经读取的长度(totallen)加上即将读取的长度,是否还在本次映射范围(10倍页面粒度)之内。如果在,就直接读取;如果超出了,就要记下剩余的数据,重新映射下一块内存,再把之前剩下的数据和新读取的数据合并起来。听起来有点绕——其实主要是实现思路绕了一点。

    下面是代码实现:

    procedure TGetDataThread.DoGetData; 
    var 
     FFile_Handle:THandle; 
     FFile_Map:THandle; 
     list:TStringList; 
     p:PChar; 
     i,interval:Integer; 
    begin 
     try 
     totallen := 0; 
     offset := 0; 
     tstream := TMemoryStream.Create; 
     stream := TMemoryStream.Create; 
     list := TStringList.Create; 
     //获取系统信息 
     GetSystemInfo(sysinfo); 
     //页面分配粒度大小 
     blocksize := sysinfo.dwAllocationGranularity; 
     //打开文件 
     FFile_Handle := CreateFile(PChar(FSourceFileName),GENERIC_READ,FILE_SHARE_READ,nil,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,0); 
     if FFile_Handle = INVALID_HANDLE_VALUE then Exit; 
     //获取文件尺寸 
     filesize := GetFileSize(FFile_Handle,nil); 
     //创建映射 
     FFile_Map := CreateFileMapping(FFile_Handle,nil,PAGE_READONLY,0,0,nil); 
     if FFile_Map = 0 then Exit; 
     //此处我们已10倍blocksize为一个数据块来映射,如果文件尺寸小于10倍blocksize,则直接映射整个文件长度 
     if filesize div blocksize > 10 then 
      readlen := 10*blocksize 
     else 
      readlen := filesize; 
     for i := 0 to FInfoList.Count - 1 do 
     begin 
      list.Delimiter := ':'; 
      list.DelimitedText := FInfoList.Strings[i]; 
      //取得长度,我这里做了解析,因为我存储的信息为 a:b:c 这种类型,所以以:号分隔 
      len := StrToInt(list.Strings[1]); 
      interval := StrToInt(list.Strings[2]); 
      if (i = 0) or (totallen+len >=readlen) then 
      begin 
       //如果已读取的长度加上即将要读取的长度大于 10倍blocksize,那么我们要保留之前映射末尾的内容,以便和新映射的内容合并 
       if i > 0 then 
       begin 
        offset := offset + readlen; 
        //写入临时流 
        tstream.Write(p^,readlen-totallen); 
        tstream.Position := 0; 
       end; 
       //如果未读取的数据长度已经不够一个分配粒度,那么就直接映射剩下的长度 
       if filesize-offset < blocksize then 
        readlen := filesize-offset; 
       //映射,p是指向映射区域的指针 
       //注意这里第三个参数,一直设为0,这个值要根据实际情况设置 
       p := PChar(MapViewOfFile(FFile_Map,FILE_MAP_READ,0,offset,readlen)); 
      end; 
      //如果临时流中有数据,需要合并 
      if tstream.Size > 0 then 
      begin 
       //把临时流数据copy过来 
       stream.CopyFrom(tstream,tstream.Size); 
       //然后在末尾写入新数据,合并完成 
       stream.Write(p^,len-tstream.Size); 
       totallen := len-tstream.Size; 
       //移动指针的位置,指向下一个数据的开始 
       Inc(p,len-tstream.Size); 
       tstream.Clear; 
      end 
      else 
      begin 
       stream.Write(p^,len); 
       totallen := totallen + len; 
       Inc(p,len); 
      end; 
      stream.Position := 0; 
      //将流保存成文件 
      stream.Sa veToFile(IntToStr(i)+'.txt'); 
      stream.Clear; 
     end; 
     finally 
      stream.Free; 
      tstream.Free; 
      CloseHandle(FFile_Handle); 
      CloseHandle(FFile_Map); 
     end; 
    end; 
    
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    delphi 2010 场景实战:从需求到落地步骤
    delphi 2010 场景实战:从需求到落地步骤

    Delphi2010在维护旧代码和开发高性能桌面、数据库及工业控制软件方面仍具价值。项目需明确需求、评估可行性,随后搭建环境并规划结构,采用模块化开发。核心阶段应高效利用数据库与语言特性,借助VCL快速构建界面,最终通过调试、测试与规范部署确保质量并交付。

    以前我没学过编程 请问编程从那里学起
    以前我没学过编程 请问编程从那里学起

    编程语言仅为工具,真正决定高度的是数据结构和算法及计算机底层逻辑理解。建议从C语言入门,打好基本功。根据目标选择深入方向,避免同时学习多门语言。最终目标是学会用程序解决问题,语言只是实践载体。

    Java中CountDownLatch和CyclicBarrier的区别与详解
    Java中CountDownLatch和CyclicBarrier的区别与详解

    CountDownLatch与CyclicBarrier均为Java同步工具,核心区别:前者计数器可大于等于线程数,由其他线程控制放行且不可重用;后者计数器必须等于线程数,所有线程到达屏障后统一继续并可循环使用。常用于多线程协作,前者等待完成,后者同步任务。

    delphi 判断字符串是否为纯数字组合
    delphi 判断字符串是否为纯数字组合

    Delphi中判断字符串是否为纯数字组合,常见需求有两种实现方案:一是先去除首尾空格再逐字符检查是否在'0'..'9'范围内,遇非数字即返回假;二是直接遍历字符串,使用Break提前结束循环。核心思路均为字符级判断,区别在于空格处理与退出方式。

    Delphi 常见文件处理及注册表文件的使用实例
    Delphi 常见文件处理及注册表文件的使用实例

    Delphi中借助TRegIniFile类可将注册表操作简化为类似INI文件读写,提供CreateKey、OpenKey、EraseSection及读写多种类型值、枚举子键键值等方法。通过创建节点、删除值、删除键等实例展示实际应用,有效完成常见注册表读写场景。

    Delphi提取PDF文本实例
    Delphi提取PDF文本实例

    针对当前PDF解析工具稀缺且易出错的现状,本文提出一种利用Delphi语言封装ApachePDFBox开源库的解决方案,通过命令行调用其ExtractText功能,有效实现PDF文档的文本提取。该方法需要Java运行环境以及pdfbox-app-2.0.6.jar包支持,运行稳定可靠,并且能够正确处理中文内容,具有实用性。

    Delphi实现截屏存盘的方法
    Delphi实现截屏存盘的方法

    在Delphi中,通过GetDC获取屏幕设备上下文,创建兼容DC及位图,利用BitBlt复制指定区域,然后赋给TJPEGImage并设置压缩质量70,保存为JPEG文件,需注意释放GDI对象以避免内存泄漏。

    Delphi7中群发Email邮件的方法
    Delphi7中群发Email邮件的方法

    在Delphi7环境下,通过安装WinWebMail邮件服务器、配置Indy控件及SMTP账户,实现了考生信息的批量邮件群发。函数封装了发送及地址合法性判断流程,每50封邮件延迟2秒,并注意了反垃圾邮件限制及验证模式问题。

    Delphi实现检测并枚举系统安装的打印机的方法
    Delphi实现检测并枚举系统安装的打印机的方法

    通过调用Printer.Printers属性,可自动检测并枚举系统中所有已安装打印机,返回名称列表。若列表为空则提示未安装。该方法代码简洁、逻辑清晰,非常便于集成到Delphi项目中。

    Delphi创建开机启动项的方法示例
    Delphi创建开机启动项的方法示例

    通过修改注册表项HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Run,利用Delphi自定义过程zdyx实现程序开机自启。参数含启动项名称、程序路径及是否单次运行。需管理员权限,可改用HKEY_CURRENT_USER避免权限问题。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。