GenAI时代的数据治理蓝图

随着我们深入ML和GenAI领域，对数据质量的重视变得至关重要。KMS Technology高级技术创新小组的首席技术官John Jeske深入研究了数据治理方法，如数据沿袭跟踪和联合学习，以确保顶级模型的性能。

数据质量是模型可持续性和利益相关者信任的关键。在建模过程中，数据质量使长期维护变得更容易，并使你能够在利益相关者社区中建立用户信心和信心。在包括大规模语言和生成性算法在内的复杂模型中，‘垃圾输入，垃圾输出’的影响会加剧。“Jeske说。

基因AI偏向与数据代表性问题

无论你为用例选择哪种模型，糟糕的数据质量都不可避免地会导致GenAI模型的扭曲。陷阱通常来自培训数据，这些数据错误地表示了公司的范围、客户基础或应用程序范围。

真正的财富在于数据本身，而不是短暂的模型或建模结构。在过去几个月里，随着大量建模框架的涌现，数据作为可货币化资产的价值变得更加突显

KMS Technology软件服务高级副总裁Jeff Scott进一步解释道：“当AI生成的内容与预期输出有偏差时，并非算法错误，而是培训数据不足或扭曲的反映

严格的数据完整性治理

数据治理的最佳实践包括元数据管理、数据管理和自动化质量检查等活动。例如，确保数据来源的可靠性，在获取用于培训和建模的数据时使用经过认证的数据集，以及考虑使用自动化数据质量工具。尽管这可能增加复杂性，但这些工具对于确保数据完整性非常有帮助

为了提高数据质量，我们使用了提供数据有效性、完整性检查和时间一致性等属性的工具，这促进了可靠、一致的数据，而这对于健壮的AI模型来说是不可或缺的。

AI发展中的责任追究和持续改进

在每个人看来，数据都是一个问题。在公司内，分配数据治理的责任是一项重要任务

最重要的是确保功能按设计工作，并且从潜在客户的角度来看，正在训练的数据是合理的。反馈加强了学习，然后在下一次训练模型时考虑到反馈，从而调用持续改进，直到信任点。

我们的工作流程中，AI和ML模型在公开推出之前都要经过严格的内部测试。数据工程团队不断收到反馈，允许对模型进行迭代改进，以最大限度地减少偏差和其他异常情况

风险管理与客户信任

数据治理需要在相关的业务领域进行数据管理，并且需要有主题专家持续参与，以确保团队和系统中的数据得到适当的整理和一致的负责任

必须了解与接收来自技术的不准确结果相关的风险，公司必须评估其透明度，从数据来源和处理知识产权到整体数据质量和完整性。

透明度对客户的信任是不可或缺的，数据治理不仅仅是一项技术工作，由于风险从不准确的AI预测转移到最终用户，它还会影响公司的声誉。

随着GenAI的不断发展，数据治理的掌握变得愈发重要。这不仅仅是为了保证数据质量，也是为了理解数据与AI模型之间的复杂关系。这种洞察力对于技术进步、业务健康以及维护利益相关者和更广泛公众的信任至关重要