当前位置:

首页 > 编程开发 > Pandas如何解析JSON数据为表_利用json_normalize函数扁平化数据

Pandas如何解析JSON数据为表_利用json_normalize函数扁平化数据

pandas.json_normalize 这个函数,说起来挺有意思的——很多人以为它能一键把嵌套 JSON 拍扁成表格,结果往往发现列名变成了一串带点的“火车”(比如 profile.address.city),真正棘手的问题却一个都没解决。字段缺失怎么办?列表嵌套怎么炸开?多层结构怎么拆?答案其

本文目录

    pandas.json_normalize 这个函数,说起来挺有意思的——很多人以为它能一键把嵌套 JSON 拍扁成表格,结果往往发现列名变成了一串带点的“火车”(比如 profile.address.city),真正棘手的问题却一个都没解决。字段缺失怎么办?列表嵌套怎么炸开?多层结构怎么拆?答案其实都藏在参数组合里。

    Pandas如何解析JSON数据为表_利用json_normalize函数扁平化数据

    record_path:列表嵌套的“开关”

    想象一下,JSON 里有个 "orders": [{"id": 1, "item": "book"}, {"id": 2, "item": "pen"}],你期望它变成两行数据对吧?但默认情况下,json_normalize 直接把它整个塞进一列里,根本不会自动展开。这时候就得靠 record_path 来告诉它:“把这个列表里的每个元素拆成单独一行”。

    • 如果源数据是一个字典,订单藏在 data['user']['orders'],那就传 record_path=['user', 'orders']
    • 如果源数据是字典列表,每个元素都有 'items' 字段,就传 record_path='items' 或者 record_path=['items']
    • 不提供 record_path 时,函数默认把整个 data 当作记录列表——这只能处理最外层就是 [{}, {}] 的简单情况

    meta:别让父级字段“走丢了

    一旦用了 record_path 去提取子记录(比如订单),父级数据里的用户 ID、时间戳这些信息默认不会自动跟着过来。怎么办?用 meta 参数把它们“提上来”。

    • 要保留 user_id 和 created_at,直接传 meta=['user_id', 'created_at']
    • 如果字段藏在嵌套路径里,比如 profile.name,可以用字符串形式 meta='profile.name' 或者列表形式 meta=[['profile', 'name']]
    • 某些记录里 profile.name 可能缺失,这时候必须加 errors='ignore',否则你会看到一个 KeyError
    • meta_prefix 也是个好帮手:设为 'user_',那提上来的 user_id 就变成 user_user_id 列,避免和子记录里的字段重名

    sep 和 max_level:控制“拍”的深度

    默认分隔符 sep='.' 会把 {"a": {"b": {"c": 1}}} 变成列名 a.b.c,看着挺直观?但麻烦在于,万一 API 返回里真的有一个叫 "a.b" 的 key,那就乱套了。更稳妥的做法是换分隔符,比如 sep='_' 得到 a_b_c,导出到数据库或 BI 工具时兼容性更好。

    max_level 则用来控制展开的深度。只想拿到 profile 这一级,不想管 profile.address.city?设 max_level=1 就够了。超出层级的嵌套会被保留为字典或字符串类型——既不会报错也不会丢数据,这个细节很容易被忽略。

    errors='ignore' 不是万能药,预处理才是王道

    很多人以为加上 errors='ignore' 就能处理所有缺失情况,其实它只对 meta 里声明的路径生效,对 record_path 本身毫无作用。

    • 如果 record_path=['results', 'data'],但某条记录里根本没有 'results' 这个 key,照样会抛 KeyError
    • 如果 record_path 指向一个 None 值(比如 "orders": null),函数直接罢工,不会跳过那条记录
    • 安全做法是预处理:用类似 pd.json_normalize([x for x in data if x.get('results') and x['results'].get('data')]) 的过滤逻辑,把脏数据提前筛掉,比硬扛错误可控得多

    嵌套 JSON 的“扁平化”从来不是一次调用就能搞定的。最常被偷懒跳过的一步是:先 print(json.dumps(data[0], indent=2)) 看清第一项的结构,再动手配 record_path 和 meta——而不是对着报错信息反复试参数。这个习惯养成了,后面能省下不少时间。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 JSON
    相关文章 更多
    漫蛙漫画最新网址链接进入
    漫蛙漫画最新网址链接进入

    漫蛙漫画官网全解析:资源、体验与稳定性深度评测 “漫蛙漫画最新网址是什么?”“官方的在线观看入口在哪里?”——最近,这类问题在漫画爱好者圈子里可谓不绝于耳。别急,2025年最新、最稳的官方访问途径,这就为你一一道来。 官网入口直通车:https://www.manwamh.top 平台资源覆盖广度

    Java发送post请求发送json数据的实现方法与代码示例
    Java发送post请求发送json数据的实现方法与代码示例

    深入解析Java发送JSON格式POST请求的实现机制,对比原生API与第三方库的代码差异,提供可复制的代码示例,并探讨超时设置、编码处理及微服务场景下的例外情况。

    个人学信档案在线入口
    个人学信档案在线入口

    学信网个人档案:您的官方教育信息枢纽 “学信网个人档案的入口究竟在哪儿?”这几乎是每位求职、升学或办理落户的朋友都会询问的问题。其实,官方查询路径非常明确,其核心在线入口为:https://my.chsi.com.cn/archive/index.jsp。通过这个门户,注册登录后,你便能一站式查询到

    抖音官网入口网页
    抖音官网入口网页

    抖音官网入口的正确打开方式 如果你在寻找抖音网页版的入口,那么直接访问 https://www.douyin.com 就是了。这不仅是通往海量短视频世界的门户,更是一个功能越来越专业的媒体素材库和创作工具箱。为什么这么说?看看它最近在功能上的深度拓展就知道了。 简单一个网址背后,其实是一个日益精密的

    在小说搜搜找不到想看的小说怎么办?小说搜搜换源功能使用详解【必学】
    在小说搜搜找不到想看的小说怎么办?小说搜搜换源功能使用详解【必学】

    小说搜搜搜索不到结果?五种实用解决方法帮你搞定 在小说搜搜里搜不到想看的书?这事儿其实挺常见。问题多半出在书源上——要么是默认的书源还没来得及收录,要么是原先的源数据失效了,更新没跟上。别急,下面这五条解决路径,基本能覆盖绝大多数情况,操作起来也不复杂。 一、通过阅读页调出换源入口手动切换 这个方法

    QQ安全中心解冻账号官网地址
    QQ安全中心解冻账号官网地址

    QQ账号被冻结?这份官方解冻指南请收好 遇到QQ账号突然被冻结,确实让人着急。不过别慌,腾讯官方的解冻通道其实相当清晰。核心入口就是QQ安全中心官网: 直接访问 https://aq.qq.com/cn2/index,就能找到全套解决方案。这个页面不仅提供多种验证方式,还集成了进度查询、原因说明等实

    米侠浏览器打不开网页
    米侠浏览器打不开网页

    米侠浏览器页面打不开,或者干脆显示一片空白?问题根源大概率出在内核上。比如内核和当前网页的兼容性出了岔子、页面渲染模块意外损坏,再或者,内核版本实在太旧了。别急,沿着切换内核、清理缓存、关闭硬件加速、替换核心文件这四步走,通常都能解决。 用米侠浏览器上网,碰到页面死活刷不出来,或者只显示一个空白屏幕

    Chrome浏览器JS脚本不运行怎么办
    Chrome浏览器JS脚本不运行怎么办

    Chrome中JavaScript未执行需依次检查:一、移除站点级禁用并添加允许域名;二、开启全局JavaScript开关;三、禁用干扰扩展;四、在开发者工具中启用JavaScript;五、重置内容设置为默认。 有时在Chrome里打开网页,会发现交互按钮点了没反应,数据加载不出来,页面仿佛“静止”

    IE浏览器怀旧版在线网址
    IE浏览器怀旧版在线网址

    IE浏览器怀旧版在线网址:一次精准的技术时光回溯 最近,不少老用户和怀旧爱好者在反复搜索一个问题:那个经典的Internet Explorer,如今还能在哪里原汁原味地体验到?答案指向一个特定的地址:https://ie.microsoft.com/legacy/。 这个网站远不止是一个简单的“皮肤

    蓝海搜书搜书攻略及入口指南免费分享
    蓝海搜书搜书攻略及入口指南免费分享

    蓝海搜书提供超三百万部小说资源,覆盖十余类题材;具备毫秒级搜索响应、四套主题引擎、跨端加密同步及全文索引等核心功能,入口为lanhaizw.com。 关于蓝海搜书的免费资源入口和核心功能,一直是许多读者关注的焦点。今天,我们就来深入拆解一下这个平台,看看它在资源、体验和功能上究竟有哪些门道。 官方入

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。