Elementary Data ist eine Open-Source-Plattform zur Überwachung und Verbesserung der Datenqualität in dbt-Projekten. Sie liefert Metriken, Alerts und Lineage-Grafiken, ohne auf Rohdaten zuzugreifen.
Es prüft automatisch Datenfreshness, Vollständigkeit, Schema-Drift sowie statistische Ausreißer und sendet Benachrichtigungen über Slack, MS Teams oder E-Mail.
Per dbt-package in packages.yml; Metadaten werden in Ihrem Data Warehouse gespeichert. Optional steht eine Cloud-Version (Elementary Cloud) mit verwalteter Infrastruktur bereit.
Die Core-Funktionen sind unter Apache-2.0-Lizenz kostenlos selbst zu hosten. Für erweiterte Team-Funktionen, SSO oder Support ist ein kostenpflichtiger Cloud-Plan erhältlich.
Snowflake, BigQuery, Redshift, Databricks, PostgreSQL, dbt Core/Cloud, Airflow, Dagster, Slack, MS Teams sowie BI-Lösungen wie Looker, Tableau oder Power BI.
Data-Engineering-Teams, Analytics-Engineer und Data-Governance-Verantwortliche, die dbt einsetzen und eine skalierbare Lösung für Datenqualität und -dokumentation suchen.
Databricks AI ist eine cloud-native KI- und Datenplattform, die Data Lake und Data Warehouse in einer einheitlichen Lakehouse-Architektur vereint. Das KI Tool ermöglicht es Unternehmen, Datenmanagement, Analytik und Machine-Learning-Workflows auf einer gemeinsamen Plattform zu orchestrieren – von der Datenaufbereitung bis zur Produktion von KI-Anwendungen. Unterstützt AWS, Azure und GCP.
Metaplane ist eine End-to-End-Daten-Observability-Plattform, die moderne Datenteams bei der Überwachung von Datenqualität und Pipeline-Leistung in Echtzeit unterstützt. Die Lösung identifiziert Probleme frühzeitig, liefert Kontext zu Abweichungen und erleichtert die Zusammenarbeit von Dateningenieuren, Analysten und Data Scientists. Zu den Kernfunktionen zählen automatisierte Überwachung von Metriken wie Tabellenvolumen und Datenfrische, End-to-End-Daten-Herkunft (Lineage) einschließlich Spaltenebenen-Trace und visuelle Einflussanalysen. Die Plattform lässt sich in gängige Tools wie dbt und Snowflake integrieren und ermöglicht eine schnelle Bereitstellung. Durch konfigurierbare Warnungen und präzise Ursachenanalysen hilft Metaplane, Qualitätsprobleme vor dem Produktionsstart zu erkennen und die Zuverlässigkeit datenbasierter Entscheidungen zu erhöhen.
