当前位置:

首页 > 编程开发 > 如何在 TensorFlow 中基于 top_k 索引原位更新高维张量

如何在 TensorFlow 中基于 top_k 索引原位更新高维张量

在TensorFlow中,通过构造多维散列索引实现top-k原位更新:先广播索引至所有空间维度,再转为三维坐标,最后用tf.tensor_scatter_nd_update定点更新,避免拼接重排序,节省内存,支持图模式与反向传播,适用于高效稀疏梯度更新。

本文目录

    在TensorFlow里处理张量,经常会遇到这么一种需求:先选出top-k,然后对选中的部分做点局部变换,最后再把这些改动“塞回”原来的位置。比如注意力掩码的调整、稀疏特征增强,或者梯度门控,都属于这类操作。

    但这里有个坑:很多人习惯用tf.gather先把子集拎出来,处理好之后,再想着怎么拼回去。这种做法很容易让坐标乱掉,尤其是当你想让修改后的结果严格按原来的坐标位置还原时,拼接和重排序基本行不通。正确的做法是构造一个多维散列索引,直接在原张量上进行“定点更新”。

    咱们先看一个具体的场景:

    • 有一个分数张量 X,形状是 (B, N),B是batch size,N=128。
    • 待更新的主数据张量 data,形状是 (B, D, N),比如D=3969,代表某个空间维度。
    • 现在要每一批(每个batch)里选出分数最高的k=95个索引,然后对这些索引对应的位置做更新。

    核心挑战在于:tf.math.top_k(X, k).indices返回的是二维索引 (B, k),只覆盖了(batch, feature)这两个维度。但data是三维的,你要把每个 (b, i) 映射成完整的三维坐标 (b, d, i),其中d要从0跑到D-1,这样才能用tf.tensor_scatter_nd_update来更新。

    这个问题的标准解法分三步,思路很清晰:

    第一步:把top-k索引广播到所有空间维度。

    原来 (B, k) 的索引,需要扩展成 (B, D, k)。说白了,就是让每个batch的top-k特征索引,沿着空间维度D复制一遍,覆盖所有空间位置。

    B, D, N = tf.unstack(tf.shape(data))  # 动态获取形状,支持None batch
    topk = tf.math.top_k(X, k=k)          # topk.indices: (B, k)
    topk_idx_tiled = tf.tile(topk.indices[:, None, :], [1, D, 1])  # (B, D, k)
    

    第二步:把扁平索引转成多维坐标。

    这一步稍微有点绕,但原理很简单。先利用tf.range(B*D)生成每个(b,d)对应的基偏移量(单位是N),然后加上特征索引,就得到了扁平化后的地址。最后用tf.unra vel_index把这些扁平地址还原成三维坐标。

    # 计算每个 (b,d) 在扁平化 data 中的起始 offset: b*D + d → offset * N
    batch_d_offsets = tf.reshape(tf.range(B * D), [B, D]) * N  # (B, D)
    flattened_indices = tf.reshape(batch_d_offsets[..., None] + topk_idx_tiled, [-1])
    sc_idx = tf.transpose(tf.unra vel_index(flattened_indices, tf.shape(data)))  # (num_updates, 3)
    

    第三步:执行原子化散列更新。

    构造更新值,比如把top-k的值乘以0.7,然后确保它的形状和sc_idx的长度一致。最后调用tf.tensor_scatter_nd_update,一步到位完成原位融合。

    updates = tf.reshape(tf.tile(topk.values[:, None, :] * 0.7, [1, D, 1]), [-1])  # (B*D*k,)
    F = tf.tensor_scatter_nd_update(data, sc_idx, updates)  # 输出形状仍然是 (B, D, N)
    

    当然,这里有几个细节值得留意:

    • tf.unra vel_index要求输入是int32或int64,所以flattened_indices的类型要确认一下,必要时加个tf.cast(..., tf.int32)。
    • sc_idx必须是二维张量,形状是 (num_updates, rank),这里的rank=3。
    • 所有操作都是图模式友好的,并且可导,可以直接用在训练流程里。
    • 如果你只想更新指定位置,其他位置保留原值,那完全不需要额外处理——tensor_scatter_nd_update默认就是这个行为。

    这个方法避免了循环、条件判断或者动态shape拼接,在GPU上跑起来效率很高。可以说,这是TensorFlow里实现“结构感知的top-k更新”的一个标准手段。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 tensor
    相关文章 更多
    海外用户 5 年后辣评(G-G) Pixel 6 手机:第一代 Tensor 芯片实在太糟、各种小 Bug 不断 以后再也不买
    海外用户 5 年后辣评(G-G) Pixel 6 手机:第一代 Tensor 芯片实在太糟、各种小 Bug 不断 以后再也不买

    Reddit 用户“PresentSpecific5666”昨天发了一篇长文,对着5年前那台Pixel 6一顿猛批,最后撂下一句话:以后再也不会买谷歌的手机了。免费机子?不存在的,免费也不值得用。 先说个背景。这位老哥和妻子当年是在Sprint并入T-Mobile时,一人免费领了一台Pixel 6。

    半导体行业闹乌龙!谷歌Tensor G6依旧是3nm方案:苹果拿到台积电2nm首发权
    半导体行业闹乌龙!谷歌Tensor G6依旧是3nm方案:苹果拿到台积电2nm首发权

    8月14日消息,谷歌已于本周正式推出年度旗舰 Pixel 11 系列,阵容一共包括 Pixel 11 标准版、Pixel 11 Pro、Pixel 11 Pro XL 以及 Pixel 11 Pro Fold 四款机型。这一代产品率先搭载谷歌自研的 Tensor G6 芯片,不过这颗芯片具体采用了怎

    谷歌硬件副总裁彭昱钧:Tensor G6 芯片采用台积电最新改良 3nm 制程
    谷歌硬件副总裁彭昱钧:Tensor G6 芯片采用台积电最新改良 3nm 制程

    8 月 14 日消息,Google(谷歌)硬件副总裁彭昱钧昨日确认,本周早些时候发布的 Pixel 11 系列智能手机所搭载的 Tensor G6 芯片采用台积电最新改良 3nm 制程。这意味着此前“Tensor G6 移动端首发台积电 2nm”的传闻不实。谷歌给 Tensor G6 的定位很明确:

    (G-G) Pixel 11 Pro Fold 折叠屏手机通过 FCC 认证 进一步证明 Tensor G6 芯片有望改用联发科基带
    (G-G) Pixel 11 Pro Fold 折叠屏手机通过 FCC 认证 进一步证明 Tensor G6 芯片有望改用联发科基带

    谷歌Pixel11ProFold通过FCC认证,文件出现联发科关键词,暗示TensorG6芯片或放弃三星Exynos基带,改用联发科M90基带以降低功耗,此前传闻得到证实。

    (G-G)或将率先使用台积电2nm工艺的Tensor G6芯片抢先苹果发布
    (G-G)或将率先使用台积电2nm工艺的Tensor G6芯片抢先苹果发布

    台积电2nm制程量产,谷歌为首发客户,Pixel11系列8月12日发布,搭载TensorG6芯片,早于苹果约一个月。苹果A20芯片9月登场,高通、联发科也将推出2nm芯片,2nm工艺竞争全面升温。

    表现太差!超七成受访者认为谷歌应放弃Tensor心片
    表现太差!超七成受访者认为谷歌应放弃Tensor心片

    谷歌自研Tensor芯片问世近五年,在AI任务上实现目标,但续航、温控和性能短板明显。超七成受访者认为应放弃,主要因其未兑现技术承诺,且性能不及骁龙与苹果A系列。不过,短期谷歌并未放弃,下一代TensorG6将继续搭载。

    谷歌Pixel 11a核心参数曝光 搭载Tensor G6配8GB内存
    谷歌Pixel 11a核心参数曝光 搭载Tensor G6配8GB内存

    谷歌Pixel 11系列旗舰机型将于8月12日发布,这已经是板上钉钉的事。而主打中端市场的Pixel 11a,则要等到明年春季才姗姗来迟。不过,最近有知情人士提前曝光了Pixel 11a的核心配置,这应该是目前关于该机最全面的一次参数泄露了。 谷歌Pixel 11系列CAD渲染图 具体来看,Pixe

    表现太差!七成受访者认为谷歌应放弃自研Tensor芯片
    表现太差!七成受访者认为谷歌应放弃自研Tensor芯片

    一项针对一千七百多位用户的调查结果显示,大约百分之六十九点二的受访用户认为谷歌应终止自研Tensor处理器研发项目,主要原因在于其性能、续航和发热表现均不佳,而支持继续开发的仅占百分之三十一。

    TensorFlow模型推理如何提速_使用tf.function装饰器编译图运算
    TensorFlow模型推理如何提速_使用tf.function装饰器编译图运算

    tf.function将函数编译为静态计算图,跳过Python解释器并融合算子以加速推理,但首次调用迹化较慢,需多次调用同一签名才有效。适合输入结构固定、shape稳定的前向推理,应使用input_signature约束shape并避免频繁变化。预热后实测吞吐和延迟,CPU提速更明显,但内存占用增加。

    谷歌 Pixel 11 Pro Fold 折叠屏手机通过 FCC 认证,进一步证明 Tensor G6 芯片有望改用联发科基带
    谷歌 Pixel 11 Pro Fold 折叠屏手机通过 FCC 认证,进一步证明 Tensor G6 芯片有望改用联发科基带

    谷歌Pixel11ProFold折叠屏手机通过FCC认证,文件中出现“MediaTek”关键词,暗示TensorG6芯片可能改用联发科M90基带以降低功耗,与先前传闻吻合。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。