Data Lake Management automatisiert und vereinfacht
Fivetran präsentiert Managed Data Lake Service für große Datenmengen und KI-Workloads
Neues Angebot verbessert Qualität, Vollständigkeit und Aktualität von Unternehmensdaten und reduziert Komplexität bei Datenintegration bei Generativer-KI- und LLM-Projekten
Fivetran, Anbieterin für Data Movement, bietet ab sofort einen Managed Data Lake Service an, der das Data Lake Management für Unternehmen jeder Größe automatisiert und vereinfacht. Hierfür unterstützt Fivetran über 500 vorgefertigte sowie kundenspezifische Datenquellen und integriert diese nahtlos in alle wichtigen Data-Lake-Ziele. Hinzu kommen leistungsstarke Prozesse für Change Data Capture, Normalisierung, Verdichtung und Deduplizierung. Der Managed Data Lake Service von Fivetran ist aktuell auf Amazon S3, Azure Data Lake Storage (ADLS) und Microsoft OneLake verfügbar.
Der Fivetran Managed Data Lake Service vereinfacht das Management von Data Lakes, indem er Kundendaten automatisch in gängige offene Formate (z. B. Apache Iceberg oder Delta Lake) konvertiert, bevor sie in einen Data Lake geladen werden. Zusammen mit der laufenden Tabellenverwaltung und -pflege von Fivetran können Kunden die einfache Abfragbarkeit und Benutzerfreundlichkeit eines Cloud Data Warehouse mit der Flexibilität und dem Umfang eines Data Lakes kombinieren. Da kein anderer Datenanbieter Data Lakes auf diese Art und Weise verwaltet, profitieren nur Fivetran-Kunden sowohl von den niedrigen Kosten von Data Lakes als auch der Struktur und den Berichtsfunktionen von Data Warehouses. Sie können ihren Data Lake einfach mit abfragebereiten Daten aufbauen. Diese können von der externen Tabellenfunktion von Data Warehouses gelesen werden, ohne dass Datensätze an mehrere Orte verschoben oder dupliziert werden müssen. Dies unterstützt eine ganze Reihe von Anwendungsfällen, inklusive analytischer, operativer und GenAI-Workloads.
Der neue Fivetran Managed Data Lake Service konvertiert nicht nur Daten und zentralisiert sie im Data Lake, sondern bietet auch einen End-to-End Data Lake Management Service, der Low-Level-Datenmanagementaufgaben vollständig automatisiert. "Fivetran übernimmt das schwierige Change-Data-Management, die PII-Erkennung, Deduplizierung und andere Low-Level Tabellenpflege. Damit müssen Entwickler keine Zeit mehr mit Arbeiten verschwenden, die sich automatisieren lassen", so George Fraser, CEO von Fivetran. "Indem wir saubere, zentralisierte und optimierte Daten aus jeder Quelle bereitstellen, wollen wir sowohl Anwender als auch Data Scientists produktiver machen."
Dieses Level an Automatisierung und Wartung ist für viele Unternehmen entscheidend. Nick Chmura, Head of Data bei Luma Financial Technologies, erklärt: "Die automatisierte Tabellenpflege ist für uns das Killer-Feature von Fivetran, weil wir so viele verschiedene Konnektoren haben. Wenn wir versuchen würden, ein Change Data Capture zu erstellen und zu verwalten, würde uns das untragbar viel Zeit kosten."
Der Fivetran Managed Data Lake Service hilft bei der Umwandlung von klassischerweise nicht verwalteten Data Lakes in organisierte, verwaltete und kontinuierlich optimierte Datenspeicher. Dank nativer Integrationen von Data Catalogs wie AWS Glue, Databricks Unity Catalog und Microsoft Purview können Nutzer wichtige Datensätze aus dem Data Lake schnell finden, darauf zugreifen und diese verwalten. Von dort aus können Nutzer mittels kompatibler Compute Engines wie Databricks, Snowflake, Starburst oder Redshift die Daten mit Python, SQL oder anderen unterstützten Sprachen abfragen und ändern. Zudem können sie die Daten mit Tools wie dbt transformieren, mit Power BI visualisieren oder mit AWS Sagemaker, Azure Machine Learning oder Databricks Mosaic AI KI-/ML-Modelle erstellen und einsetzen.
Der Fivetran Managed Data Lake Service unterstützt über 500 Datenquellen, darunter On-Premises- und Cloud-Datenbanken wie Postgres, MySQL, Oracle und SAP sowie SaaS-Anwendungen, Data Warehouses, Events und Dateien. Darüber hinaus erstellt Fivetran auch kundenspezifische Konnektoren, sodass garantiert jede Datenquelle unterstützt wird, ohne dass wertvolle technische Ressourcen für das Pipeline-Management oder die Entwicklung von Konnektoren gebraucht werden. So können Kunden ihre Daten im Data Lake vereinheitlichen – unabhängig davon, wo diese sich aktuell befinden.
"Wir freuen uns sehr, dass Fivetran Delta Lake als direktes Ziel unterstützt", so Himanshu Raja, Director of Product bei Databricks. "Dadurch können Kunden Fivetran jetzt nutzen, um ein offenes Lakehouse mit Delta Lake powered by Databricks Data Intelligence Platform aufzubauen. Wir freuen uns auch über die anstehende Integration von Fivetran mit Unity Catalog, die Out-of-the-Box Governance und Sicherheit für alle von Fivetran generierten Tabellen bieten wird."
Zu den Vorteilen des Fivetran Managed Data Lake Service gehören:
● Mehr Kontext und Erkenntnisse sowie bessere Datenerfassung für Anwender und Data Scientists dank zentralisierter, demokratisierter und abfragebereiter Daten.
● Höhere betriebliche Effizienz durch automatische Daten-Konvertierung in offene Tabellenformate (Delta Lake / Apache Iceberg) mit robusten Data-Catalog- und Governance-Funktionen.
● Reduzierter Workload für Entwickler, da Fivetran Tabellenaktualisierungen, PII-Erkennung, Deduplizierung und andere automatisierbare Low-Level-Aufgaben zur Tabellenpflege übernimmt.
● Geringere Kosten durch die Automatisierung der Datenmigration aus veralteten Data Warehouses, die Nutzer an proprietäre Datenformate binden.
● Unkomplizierte Datenreplikation mit der Garantie von sauberen Datensätzen, bei denen jede Änderung vollständig erfasst ist.
Aufgrund steigender Nachfrage nach fortschrittlicher KI verzeichnet Fivetran ein deutliches Wachstum und zunehmendes Kundeninteresse an Data-Lake-Destinationen, vor allem bei großen Unternehmen. Dies unterstreicht die dringende Notwendigkeit an kosteneffizienten und flexiblen Datenarchitekturen, mit denen Kunden KI- und Machine-Learning-Projekt erfolgreich umzusetzen können.
"Auch Starburst sieht weiterhin ein starkes Momentum für offene Architekturen. Die Icehouse Architektur wird durch die Adaption von Iceberg in den Fivetran Managed Data Lakes Service bestätigt", erklärt Anders Holden, Director of Product Management bei Starburst Data. "Der neue Fivetran-Service vereinfacht den Ingestion-Prozess und beseitigt die Komplexität rund um das Data Lake Management. Unternehmen, die Starburst für schnelle SQL-Analysen in ihrem Data Lake nutzen, werden schneller Erkenntnisse gewinnen und einen optimierten Datenpipeline-Prozess haben, während sie gleichzeitig Zeit sparen und Kosten reduzieren."
Der Fivetran Managed Data Lake Service ist ab sofort verfügbar. Fivetran-Nutzer können den Managed Data Lake Service von Juni bis August kostenlos testen. Weitere Informationen zu der Sommeraktion "Summer at the Lakehouse" finden Sie im Blog zur Ankündigung des Fivetran Managed Data Lake Service. (Fivetran: ra)
eingetragen: 22.06.24
Newsletterlauf: 19.07.24
Fivetran: Kontakt und Steckbrief
Fivetran automatisiert alle Arten von Data Movement im Zusammenhang mit Cloud-Datenplattformen. Das gilt vor allem für die zeitaufwendigsten Teile des ELT-Prozesses (Extract, Load, Transform) - von der Extraktion von Daten über das Handling von Schema-Drifts bis hin zu Daten-Transformationen. Damit können sich Data Engineers auf wichtigere Projekte konzentrieren, ohne sich um die Data Pipelines kümmern zu müssen. Mit einer Up-Time von 99,9 Prozent und sich selbst reparierenden Pipelines ermöglicht Fivetran Hunderten von führenden Marken weltweit, darunter Autodesk, Lionsgate und Morgan Stanley, datengestützte Entscheidungen zu treffen und so ihr Unternehmenswachstum voranzutreiben. Fivetran hat seinen Hauptsitz in Oakland, Kalifornien, und verfügt über Niederlassungen auf der ganzen Welt.
Der deutschsprachige Markt wird aus dem Büro in München betreut. Zu den Kunden in Deutschland zählen DOUGLAS, Hermes, Lufthansa, Siemens, VW Financial Services und Westwing. Weitere Informationen unter www.fivetran.com.
Kontaktdaten
Fivetran
Luise-Ullrich-Straße 20
80636 München, Deutschland
E-Mail: hallo[at]fivetran.com
Webseite: https://fivetran.com/de
Dieses Boilerplate ist eine Anzeige der Firma Fivetran.
Sie zeichnet auch für den Inhalt verantwortlich.
Lesen Sie mehr:
Fivetran erweitert Partnerschaft mit Snowflake
Datenautobahn ohne Stau für die Logistik
Nutzung von KI- und Generative-KI-Technologien
Data Lake Management automatisiert und vereinfacht
Daten sind Basis für alle Formen der KI
Schlechte Datenpraktiken noch weit verbreitet
Datenbasierte Entscheidungen treffen
Datenaustausch im Unternehmen automatisieren
Reduzierte Latenzzeiten und Kosten
25 Jahre Erfahrung im SaaS-Umfeld
Fivetran sorgt für Business Insights
Kontrollierte, benutzerfreundliche Repositories
Aufbau einer soliden Data-Lake-Grundlage
Cloud Data Lake, Lakehouse oder Warehouse
Skalierbare Konnektoren und Destinationen
Fivetran als Launch-Partnerin
Prozess zur Datenintegration in BigQuery
Weniger Kosten für Neukundengewinnung
Inspirierende Führungspersönlichkeit
Anbindung an praktisch jede SaaS-Anwendung
Unterstützung von Amazon S3
Fivetran setzt Wachstum fort
Daten in Cloud- & On-Premise-Umgebungen
Fivetran: Führungsteam ausgebaut
Data Act könnte schon 2024 in Kraft treten
Mit Cloud-Architektur zum "Master of Data"
Vorteile automatisierter Datenintegration
Schwierigkeiten bei der Bereitstellung der Daten