Databend开源周报第108期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

多源数据目录

在 Databend 中，Catalog 是数据组织的最高一级抽象，可以帮助用户高效管理和访问数据源。

Databend 具备多源数据目录（Multiple Catalog）能力，目前已经支持 Apache Iceberg 和 Apache Hive 两类外部 Catalog 。

通过挂载外部 Catalog ，无需将数据加载到 Databend 中，就可以进行高效查询。

-- Create a Hive catalog
CREATE CATALOG hive_ctl
TYPE = HIVE
CONNECTION =(
    METASTORE_ADDRESS = '127.0.0.1:9083'
    URL = 's3://databend-toronto/'
    AWS_KEY_ID = ''
    AWS_SECRET_KEY = ''
);

如果您想了解更多信息，请查看下面列出的资源。

• Docs | Catalog
• RFCs | Multiple Catalog

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

利用 cargo-pgo 实现 PGO

你知道吗？Profile-guided optimization（PGO）这种编译优化技术相当厉害呢！它能够借助程序运行时收集到的profiling信息，引导编译器进行有针对性的优化操作，从而生成质量更高的代码，进而显著提升程序的性能。

根据测试，利用 PGO ，Databend 在某些场景下可以取得大约 10% 的性能提高。PGO 的具体表现取决于实际的工作负载，你可以尝试应用 PGO 技术来优化 Databend 集群的性能。

如果您想了解更多信息，请查看下面列出的资源。

• Docs | Profile Guided Optimization (PGO)

Highlights

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

• 实现 json_pretty 函数。
• 改进内连接（inner join）性能。
• 为 HTTP 查询接口增加更多统计指标。
• 为 Hive Catalog 实现 SHOW DATABASES 和 SHOW TABLES 支持。
• 阅读 Blog | Revolutionizing Data Archival and Query Performance for Pharmaceutical Group 了解 Databend 在药品零售领域的客户成功故事。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

利用 SQLsmith 实施模糊测试

SQLsmith 专注于生成随机的、类型感知和列感知的 SQL 查询，通常能够通过语义检查，从而进一步测试数据库的执行逻辑。

过去，Databend 已经支持 SQLancer 以及随机生成输入的传统模糊测试。Databend 团队计划引入 SQLsmith 来实现域感知模糊测试，提供更全面、更具针对性的测试结果，提高发现漏洞的可能。

Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing

若你对这个主题颇感兴趣，不妨尝试去解决其中的部分问题，或者参与到讨论以及PR review当中。又或者，你可点击https://link.databend.rs/i-m-feeling-lucky，去挑选一个随机问题，祝你好运！

Changelog

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。

地址：https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

• Databend Website
• GitHub Discussions
• Twitter
• Slack Channel