AWS DynamoDB 全局索引高效查询技巧

本文旨在指导开发者如何利用 AWS DynamoDB 的全局二级索引 (GSI) 功能，高效地扫描表中存在特定列值的记录。通过创建 GSI 并查询索引，可以避免全表扫描，显著提升查询性能，尤其是在处理大数据集时。

了解全局二级索引 (GSI)

在 DynamoDB 中，如果你需要根据非主键属性进行查询，通常会使用 Scan 操作。然而，Scan 操作会扫描整个表，效率较低，并且会消耗大量的读取容量单位 (RCU)。当表的数据量很大时，Scan 操作的性能问题会更加突出。

全局二级索引 (GSI) 是解决这个问题的有效方法。GSI 允许你定义一个或多个索引，这些索引基于表中的一个或多个属性，并且可以独立于表的主键进行查询。重要的是，GSI 只包含定义了索引属性的记录。

创建 GSI

假设你有一个名为 tableName 的 DynamoDB 表，其中包含一个名为 items 的属性，但并非所有记录都包含此属性。你的目标是检索所有包含 items 属性的记录。

要实现这个目标，你需要创建一个 GSI，并将 items 属性作为索引键。以下是创建 GSI 的步骤：

1. 选择索引键: 选择 items 属性作为 GSI 的索引键。

2. 定义投影属性: 你可以选择将哪些属性投影到 GSI 中。可以选择只投影索引键，也可以投影所有属性。如果只需要 items 属性，可以选择只投影该属性，以减少存储成本。

3. 创建 GSI: 使用 AWS 管理控制台、AWS CLI 或 AWS SDK 创建 GSI。以下是使用 AWS CLI 创建 GSI 的示例：

   aws dynamodb update-table \
       --table-name tableName \
       --attribute-definitions AttributeName=items,AttributeType=S \
       --global-secondary-index-updates "[
           {
               \"Create\": {
                   \"IndexName\": \"items-index\",
                   \"KeySchema\": [
                       {
                           \"AttributeName\": \"items\",
                           \"KeyType\": \"HASH\"
                       }
                   ],
                   \"Projection\": {
                       \"ProjectionType\": \"ALL\"
                   },
                   \"ProvisionedThroughput\": {
                       \"ReadCapacityUnits\": 5,
                       \"WriteCapacityUnits\": 5
                   }
               }
           }
       ]"

   注意: AttributeType 需要根据 items 属性的实际数据类型进行调整。ProvisionedThroughput 需要根据你的需求进行调整。

查询 GSI

创建 GSI 后，你可以使用 Query 操作来查询 GSI，以检索包含 items 属性的记录。以下是使用 AWS SDK for PHP 查询 GSI 的示例：

 'your-region',
    'version' => 'latest'
]);

$params = [
    'TableName' => 'tableName',
    'IndexName' => 'items-index', // GSI 的名称
    'KeyConditionExpression' => 'items = :items',
    'ExpressionAttributeValues' => [
        ':items' => ['S' => 'someValue'] // 替换为 items 的实际值，如果需要根据 items 的值进行过滤
    ]
];

try {
    $result = $client->query($params);

    foreach ($result['Items'] as $item) {
        print_r($item);
    }

} catch (Aws\Exception\AwsException $e) {
    // 输出错误信息
    echo $e->getMessage();
    echo "\n";
}

?>

说明:

• IndexName: 指定要查询的 GSI 的名称。
• KeyConditionExpression: 指定查询条件。在这个例子中，我们查询 items 属性等于 :items 的记录。如果只需要判断 items 属性是否存在，可以省略此参数，并使用 Scan 操作。
• ExpressionAttributeValues: 定义表达式中使用的占位符的值。

使用 Scan 操作和 FilterExpression (不推荐)

虽然使用 GSI 是最佳实践，但如果由于某些原因无法创建 GSI，你仍然可以使用 Scan 操作和 FilterExpression 来过滤结果。但是，请注意，这种方法效率较低，并且会消耗大量的 RCU。

以下是使用 Scan 操作和 FilterExpression 的示例：

 'your-region',
    'version' => 'latest'
]);

$params = [
    'TableName' => 'tableName',
    'FilterExpression' => 'attribute_exists(items)'
];

try {
    $result = $client->scan($params);

    foreach ($result['Items'] as $item) {
        print_r($item);
    }

} catch (Aws\Exception\AwsException $e) {
    // 输出错误信息
    echo $e->getMessage();
    echo "\n";
}

?>

或者

 'your-region',
    'version' => 'latest'
]);

$params = [
    'TableName' => 'tableName',
    'FilterExpression' => 'items <> :null',
    'ExpressionAttributeValues' => [
        ':null' => ['NULL' => true]
    ]
];

try {
    $result = $client->scan($params);

    foreach ($result['Items'] as $item) {
        print_r($item);
    }

} catch (Aws\Exception\AwsException $e) {
    // 输出错误信息
    echo $e->getMessage();
    echo "\n";
}

?>

注意:

• attribute_exists(items) 函数用于检查 items 属性是否存在。
• 第二种方法使用 items <> :null，需要将 :null 定义为 ['NULL' => true]。
• 强烈建议使用 GSI，而不是 Scan 操作和 FilterExpression，尤其是在处理大数据集时。

总结

通过使用全局二级索引 (GSI)，你可以显著提高 DynamoDB 中查询特定属性存在的记录的效率。GSI 允许你根据非主键属性进行查询，避免全表扫描，从而节省 RCU 并提高性能。 如果无法创建 GSI，可以使用 Scan 操作和 FilterExpression，但请注意其性能限制。在选择方法时，请权衡性能和成本，并根据你的具体需求做出最佳选择。