PyTorch Tensor维度操作详解：创建、聚合与变换

PyTorch中的Tensor是处理数据的基础结构，其维度的正确理解和操作是高效开发的关键。本文将从Tensor的创建、聚合到变换三个核心方面，详细解析PyTorch如何处理维度。

1. Tensor的创建与size参数

在PyTorch中创建Tensor时，size参数是定义其形状的关键。这个参数通常接受一个整数元组，每个整数代表对应维度的大小。理解size参数的解读方式至关重要：PyTorch将size元组中的维度从最后一个元素到第一个元素进行解释。具体来说，元组的最后一个元素代表Tensor的列数，倒数第二个元素代表行数，以此类推。

示例代码:

import torch

# 常见的Tensor创建方式
# 可以省略括号，直接作为位置参数传入：
t1 = torch.ones(2, 3) # 创建一个2行3列的矩阵
print(f"torch.ones(2, 3) shape: {t1.shape}") # 输出: torch.Size([2, 3])

# 当size参数需要作为元组传递时（例如，某些函数只接受一个size元组参数）：
t2 = torch.randint(10, (2, 3)) # 创建一个2行3列的随机整数矩阵
print(f"torch.randint(10, (2, 3)) shape: {t2.shape}") # 输出: torch.Size([2, 3])

维度解读规则:

• size=(..., m, n)
• n 代表最内层（通常是列）的数量。
• m 代表次内层（通常是行）的数量。
• ... 依此类推，表示更高维度的数量。

不同size参数的Tensor形状示例:

注意事项:

• size=(2,) 创建的是一个一维Tensor，它只有一个维度。
• size=(2,1) 和 size=(1,2) 都是二维Tensor（矩阵），尽管它们在视觉上可能看起来像向量，但其内部结构和操作行为与一维Tensor不同。理解这一点对于避免维度错误至关重要。

2. Tensor的聚合与axis参数

许多PyTorch Tensor的方法，如torch.sum()、torch.mean()等，都需要一个axis（或dim）参数来指定操作沿着哪个维度进行。当指定axis时，操作将沿该维度进行，并通常会减少Tensor的维度。

torch.sum() 的行为解析:

以torch.sum(axis=axis)为例，其行为可以总结为两点：

1. 沿指定维度求和： 操作会沿着axis参数所指定的维度对所有元素进行求和。
2. 维度缩减与重排： 被求和的维度将从Tensor的形状中移除，导致Tensor的维度减少。其余维度会相应地“移动”以填充被移除维度留下的空位。

axis=-1 的特殊意义:axis=-1 总是指代Tensor的最后一个维度（即最内层的维度，在二维矩阵中通常是列维度）。

• 对于一维Tensor (N,)，sum(axis=-1) 将所有N个元素相加，结果是一个标量。
• 对于二维Tensor (M, N)，sum(axis=-1) 将对每一行中的所有N个列元素求和，生成一个长度为 M 的一维Tensor。
• 对于更高维度的Tensor，sum(axis=-1) 会在最内层进行求和，并消除该维度。

示例：torch.sum() 操作

假设我们有一个由1组成的Tensor t = torch.ones(size)：

关键点:

• axis 参数可以是正数（从0开始索引）或负数（从-1开始索引，-1代表最后一个维度，-2代表倒数第二个维度，以此类推）。
• 聚合操作通常会减少Tensor的维度。如果需要保留维度（例如，为了后续的广播操作），可以使用keepdim=True参数。

3. Tensor的变换与dim参数

Tensor变换操作，如torch.softmax()、torch.log_softmax()等，通常会改变Tensor的值，但保留其原始形状。在这些操作中，dim参数用于指定变换应该沿哪个维度进行