当前位置:

首页 > 系统应用 > 数栈技术分享:Hive优化之配置参数的优化

数栈技术分享:Hive优化之配置参数的优化

Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。

本文目录

    Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。

    1. 创建一个普通表

    table test_user1(id int, name string,code string,code_id string ) ROW FORMAT DELIMITED FIELDS TERMINATED  BY ',';

    2. 查看这张表的信息

    DESCRIBE FORMATTED  test_user1;

    我们从该表的描述信息介绍建表时的一些可优化点。

    2.1 表的文件数

    numFiles表示表中含有的文件数,当文件数过多时可能意味着该表的小文件过多,这时候我们可以针对小文件的问题进行一些优化,HDFS本身提供了解决方案:

    (1)Hadoop Archive/HAR:将小文件打包成大文件。

    (2)SEQUENCEFILE格式:将大量小文件压缩成一个SEQUENCEFILE文件。

    (3)CombineFileInputFormat:在map和reduce处理之前组合小文件。

    (4)HDFS Federation:HDFS联盟,使用多个namenode节点管理文件。

    除此之外,我们还可以通过设置hive的参数来合并小文件。

    (1)输入阶段合并

    要对Hive的输入文件格式进行更改,即调整参数hive.input.format。它的默认值是org.apache.hadoop.hive.ql.io.HiveInputFormat,我们将其修改为org.apache.hadoop.hive.ql.io.CombineHiveInputFormat。相较于上述对mapper数的调整,这种方式会新增两个参数,分别是mapred.min.split.size.per.node和mapred.min.split.size.per.rack,它们的意义在于规定了单节点和单机架上的最小split大小。倘若发现有split大小小于这两个值(默认均为100MB),那么就会进行合并操作。具体的逻辑,大家可以在Hive源码的对应类中查看。

    (2)输出阶段合并

    直接将hive.merge.mapfiles和hive.merge.mapredfiles都设为true即可,前者表示将map-only任务的输出合并,后者表示将map-reduce任务的输出合并,Hive会额外启动一个mr作业将输出的小文件合并成大文件。另外,hive.merge.size.per.task可以指定每个task输出后合并文件大小的期望值,hive.merge.size.smallfiles.a vgsize可以指定所有输出文件大小的均值阈值,默认值都是1GB。如果平均大小不足的话,就会另外启动一个任务来进行合并。

    2.2 表的存储格式

    通过InputFormat和OutputFormat可以看出表的存储格式是TEXT类型,Hive支持TEXTFILE, SEQUENCEFILE, A VRO, RCFILE, ORC,以及PARQUET文件格式,可以通过两种方式指定表的文件格式:

    (1)CREATE TABLE ... STORE AS :在建表时指定文件格式,默认是TEXTFILE

    (2)ALTER TABLE ... [PARTITION partition_spec] SET FILEFORMAT :修改具体表的文件格式

    如果要改变创建表的默认文件格式,可以使用set hive.default.fileformat=进行配置,适用于所有表。同时也可以使用set hive.default.fileformat.managed = 进行配置,仅适用于内部表或外部表。

    扩展:不同存储方式的情况

    TEXT, SEQUENCE和 A VRO文件是面向行的文件存储格式,不是最佳的文件格式,因为即便只查询一列数据,使用这些存储格式的表也需要读取完整的一行数据。另一方面,面向列的存储格式(RCFILE, ORC, PARQUET)可以很好地解决上面的问题。关于每种文件格式的说明,如下:

    (1)TEXTFILE

    创建表时的默认文件格式,数据被存储成文本格式。文本文件可以被分割和并行处理,也可以使用压缩,比如GZip、LZO或者Snappy。然而大部分的压缩文件不支持分割和并行处理,会造成一个作业只有一个mapper去处理数据,使用压缩的文本文件要确保文件不要过大,一般接近两个HDFS块的大小。

    (2)SEQUENCEFILE

    key/value对的二进制存储格式,sequence文件的优势是比文本格式更好压缩,sequence文件可以被压缩成块级别的记录,块级别的压缩是一个很好的压缩比例。如果使用块压缩,需要使用下面的配置:set hive.exec.compress.output=true; set io.seqfile.compression.type=BLOCK

    (3)A VRO

    二进制格式文件,除此之外,a vro也是一个序列化和反序列化的框架。a vro提供了具体的数据schema。

    (4)RCFILE

    全称是Record Columnar File,首先将表分为几个行组,对每个行组内的数据进行按列存储,每一列的数据都是分开存储,即先水平划分,再垂直划分。

    (5)ORC

    全称是Optimized Row Columnar,从hive0.11版本开始支持,ORC格式是RCFILE格式的一种优化的格式,提供了更大的默认块(256M)

    (6)PARQUET

    另外一种列式存储的文件格式,与ORC非常类似,与ORC相比,Parquet格式支持的生态更广,比如低版本的impala不支持ORC格式。

    配置同样数据同样字段的两张表,以常见的TEXT行存储和ORC列存储两种存储方式为例,对比执行速度。

    TEXT存储方式

    总结:从上图中可以看出列存储在对指定列进行查询时,速度更快,建议在建表时设置列存储的存储方式。

    2.3 表的压缩

    对Hive表进行压缩是常见的优化手段,一些存储方式自带压缩选择,比如SEQUENCEFILE支持三种压缩选择:NONE,RECORD,BLOCK。Record压缩率低,一般建议使用BLOCK压缩;

    ORC支持三种压缩选择:NONE,ZLIB,SNAPPY。我们以TEXT存储方式和ORC存储方式为例,查看表的压缩情况。

    配置同样数据同样字段的四张表,一张TEXT存储方式,另外三张分别是默认压缩方式的ORC存储、SNAPPY压缩方式的ORC存储和NONE压缩方式的ORC存储,查看在hdfs上的存储情况:

    TEXT存储方式

    默认压缩ORC存储方式

    SNAPPY压缩的ORC存储方式

    NONE压缩的ORC存储方式

    总结:可以看到ORC存储方式将数据存放为两个block,默认压缩大小加起来134.69M,SNAPPY压缩大小加起来196.67M,NONE压缩大小加起来247.55M,TEXT存储方式的文件大小为366.58M,且默认block两种存储方式分别为256M和128M,ORC默认的压缩方式比SNAPPY压缩得到的文件还小,原因是ORZ默认的ZLIB压缩方式采用的是deflate压缩算法,比Snappy压缩算法得到的压缩比高,压缩的文件更小。ORC不同压缩方式之间的执行速度,经过多次测试发现三种压缩方式的执行速度差不多,所以建议采用ORC默认的存储方式进行存储数据。

    2.4 分桶分区

    Num Buckets表示桶的数量,我们可以通过分桶和分区操作对Hive表进行优化:

    对于一张较大的表,可以将它设计成分区表,如果不设置成分区表,数据是全盘扫描的,设置成分区表后,查询时只在指定的分区中进行数据扫描,提升查询效率。要注意尽量避免多级分区,一般二级分区足够使用。常见的分区字段:

    (1)日期或者时间,比如year、month、day或者hour,当表中存在时间或者日期字段时,可以使用些字段。

    (2)地理位置,比如国家、省份、城市等

    (3)业务逻辑,比如部门、销售区域、客户等等

    分桶表和分区表类似,都是将HDFS上的大表文件分割成多个文件。不过,分桶表是在分区的基础上,进行更细粒度的划分。它是依据分桶字段属性值的hash值来区分整个数据内容的。分桶有什么好处呢?它可以加快数据采样,还能提升join的性能(前提是join的字段是分桶字段)。这是因为分桶能确保某个key对应的数据在一个特定的桶内(也就是文件),所以如果巧妙地选择分桶字段,就能大幅提升join的性能。一般来说,分桶字段可以选择那些经常用于过滤操作或者join操作的字段。

    创建分桶表

    create table test_user_bucket(id int, name string,code string,code_id string ) clustered by(id) into 3 buckets ROW FORMAT DELIMITED FIELDS TERMINATED  BY ',';

    查看描述信息

    DESCRIBE FORMATTED test_user_bucket

    多出了如下信息

    查看该表的hdfs

    同样的数据查看普通表和分桶表查询效率

    普通表

    分桶表

    普通表是全表扫描,分桶表在按照分桶字段的hash值分桶后,根据join字段或者where过滤字段在特定的桶中进行扫描,效率提升。

    本文首发于:数栈研习社

    数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:FlinkX

    FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    Safari浏览器如何查看网页源代码_iOS与Mac端开启开发模式【技术分享】
    Safari浏览器如何查看网页源代码_iOS与Mac端开启开发模式【技术分享】

    在iOS或Mac上使用Safari时,如果找不到直接查看网页HTML源代码的选项,别着急,这通常只是因为一个关键功能没打开。Safari本身提供了强大的开发者工具,只是默认藏得比较深。下面,我们就来分平台梳理几种最实用的方法,帮你轻松调出网页的“原始骨架”。 Mac端启用开发菜单并查看源代码 对于M

    PHP WebSocket开发技术分享:实现实时推送功能的最佳策略
    PHP WebSocket开发技术分享:实现实时推送功能的最佳策略

    PHPWebSocket开发技术分享:实现实时推送功能的最佳策略随着互联网的迅猛发展和用户对实时信息的需求逐渐增长,实时推送成为了现代Web应用中不可或缺的一部分。而WebSocket技术作为一种开放标准,提供了一种双向通信的能力,成为实现实时推送功能的理想选择。本文将分享一些PHPWebSocket开发的最佳策略,帮助开发者们快速高效地实现实时推送功能

    AO3官网镜像链接一键跳转-手机入口快速访问
    AO3官网镜像链接一键跳转-手机入口快速访问

    AO3官网可通过https://www.ao3cn.cc//直接访问,支持手机和桌面端,页面适配移动端,操作流畅,支持书签、收藏、订阅及作品导出等功能,内容涵盖全球同人创作,分类细致,互动性强。

    AO3中文版官网与使用指南
    AO3中文版官网与使用指南

    AO3中文版官网入口为https://www.ao3cn.cc//,进入后点击右上角“Preferences”选择“中文(简体)”并更新即可切换语言,支持免登录浏览海量原创作品,利用标签系统精准筛选内容,平台无广告干扰且开源透明;注册账号后可发布、收藏、点赞和评论作品,并通过高级搜索功能按字数、时间等条件查找资源,实现高效互动与创作共享。

    AO3主页入口及最新镜像链接合集
    AO3主页入口及最新镜像链接合集

    AO3官方主站入口为https://www.ao3cn.cc//,提供作品发布、隐私设置、个人书架、评论管理等功能;支持多语言与移动端浏览,具备高级搜索和标签评级系统;镜像站点如https://ao3.cubeart.club/和https://xiaozhan.icu/仅作临时备用,不可输入账号密码。

    AO3官网中文入口最新地址公布
    AO3官网中文入口最新地址公布

    AO3官网中文访问入口为https://www.ao3cn.cc/,用户可直接通过主流浏览器访问,支持多语言切换至中文界面,新用户需通过邀请注册,老用户可直接登录,平台汇聚全球同人小说、画作与视频,支持自主上传与标签分类,便于检索与收藏,建议使用官方链接避免镜像站,结合筛选功能与书签快捷访问提升体验。

    AO3中文入口及官方镜像链接
    AO3中文入口及官方镜像链接

    AO3网页版中文入口为https://www.ao3cn.cc/,用户可直接访问官网注册登录,切换中文界面后使用多维度标签筛选、下载作品、互动评论等功能,享受无广告、隐私安全的非盈利创作平台。

    LibreOffice怎么卸载干净?残留配置怎么清理
    LibreOffice怎么卸载干净?残留配置怎么清理

    卸载LibreOffice应先使用系统的应用管理或原安装渠道移除程序,再按需要处理用户配置。模板、个人词典、宏和恢复备份可能保存在配置目录中,清理前先备份;普通文档不属于程序残留,不要为了“卸载干净”一起删除。以下主流程适用于Windows和Debian、Ubuntu仓库版。

    WorkBuddy怎么下载?电脑端和手机端在哪里安装
    WorkBuddy怎么下载?电脑端和手机端在哪里安装

    WorkBuddy 下载方法:电脑端从官网 workbuddy.cn 点「立即下载」获取安装包(Windows 装 exe、Mac 按 M 系列/Intel 芯片选 ARM64/X64 的 dmg),Linux 与麒麟/UOS 在系统应用商店搜索安装;手机端 iOS 在 App Store、Android 在应用市场搜「WorkBuddy」。本文含官网下载页与安装向导真实截图。

    WorkBuddy怎么用版本历史?误删了怎么恢复
    WorkBuddy怎么用版本历史?误删了怎么恢复

    WorkBuddy 的版本历史通过对话回退实现:把鼠标悬停在你发送的消息上,点「回退」并确认,对话和受影响的产物会一起回到这条消息之前;产物还有独立的历史版本,误改可在「变更」视图核对、用「恢复」还原。误删文件优先去系统回收站/废纸篓找,误删任务可在「系统设置 → 数据管理」查看已归档任务。本文含5张真实界面截图与恢复顺序表。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。