DLT 是一个框架,用于在 SQL 和 Python 中创建批处理和流式处理数据管道。 DLT 的常见用例包括从云存储(如 Amazon S3、Azure ADLS Gen2 和 Google Cloud Storage)和消息总线(如 Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub 和 Apache Pulsar)以及增量批处理和流转换等源引入数据。
注释
DLT 需要 高级计划。 有关详细信息,请联系 Databricks 帐户团队。
本部分提供有关使用 DLT 的详细信息。 以下主题将帮助你入门。
主题 | DESCRIPTION |
---|---|
DLT 概念 | 了解 DLT 的高级概念,包括管道、流、流式处理表和具体化视图。 |
教程 | 你可以遵循教程获得有关使用 DLT 的实践经验。 |
开发管道 | 了解如何开发和测试用于创建用于引入和转换数据的流的管道。 |
配置管道 | 了解如何计划和配置管道。 |
监视管道 | 了解如何监视管道和排查管道查询问题。 |
开发人员 | 了解如何在开发 DLT 管道时使用 Python 和 SQL。 |
Databricks SQL 中的 DLT | 了解如何在 Databricks SQL 中使用 DLT 流式处理表和具体化视图。 |