Unterstützung von Amazon S3

Fivetran unterstützt die Automatisierung des Modern Data Lake auf Amazon S3
"Fivetran für Amazon S3" mit Apache Iceberg kombiniert großvolumige, kostengünstige Datenspeicherung mit einfachem Zugriff und umfassender Compliance

Fivetran, Anbieterin für automatisiertes Data Movement, kündigt den Support für Amazon Simple Storage Service (Amazon S3) mit Apache Iceberg für Data Lake Formate an. Amazon S3 ist ein Objektspeicherdienst von Amazon Web Services (AWS), der für seine Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Performance bekannt ist. Apache Iceberg ist ein weithin unterstütztes Open-Source-Datenformat, das AKID-Transaktionen (AKID-Eigenschaften bei Transaktionen in Datenbankmanagement-Systemen: Atomarität, Konsistenz, Isolation und Dauerhaftigkeit) für Data Lakes bietet. Fivetran ist die Plattform für automatisiertes Data Movement, die persönlich identifizierbare Informationen (PII) anonymisiert, während sie Daten bereinigt, normalisiert und automatisiert in den Data Lake lädt.

Ein Data Lake ist eine beliebte Destination für alle, die sehr große Datensätze analysieren oder umfangreiche Data-Science-Projekte durchführen müssen, um ihr Business voranzubringen. So werden auf Amazon S3 Hunderttausende von Data Lakes betrieben. Von den vielen Teams in Unternehmen, die mit einem Data Lake arbeiten, nennt die Mehrheit folgende Vorteile: erhöhte Agilität, optimierte Entwicklung von Produkten und Dienstleistungen sowie einen verbesserten Kundenservice und eine höhere Kundenbindung.

"Die Unterstützung von Amazon S3 als Destination durch Fivetran ist für unsere Plattform Distilled und für alle, die externe Daten- und Analyseprodukte entwickeln, von enormer Bedeutung", so Aaron Peabody, Mitbegründer und CEO von Untitled Firm. "Durch die Unterstützung von Fivetran für S3 als Destination, können unsere Kunden das volle Potenzial des AWS-Datenökosystems nutzen. Wir sind begeistert, dass Fivetran in dieses Vorhaben investiert hat. Denn es ist ein wichtiger Katalysator für die Produkt-Roadmap bei Untitled."

"Jetzt extrahieren, bereinigen, deduplizieren und präparieren wir automatisiert große Mengen semi-strukturierter Daten für die Analyse. Wir betreiben Data Lakes genau so zuverlässig und sicher, wie heute unsere Kunden ihre Daten in ihre Cloud-Warehouses bringen", erklärt Fraser Harris, Vice President of Product bei Fivetran. "Fivetran und AWS sind beide der Überzeugung, dass Data Lakes mit Daten, die keine Struktur, Governance und Präzision haben, die Komplexität unnötig erhöhen. Daher können Unternehmen nicht den vollen Wert ihrer Daten, die sie dort speichern, ausschöpfen. Die Mission von Fivetran ist es, den Zugang zu Daten so einfach und zuverlässig wie Strom zu machen. Und der Support für S3 als Destination bringt unser Versprechen in die Welt der Data Lakes."

"Wir freuen uns über die zusätzlichen Zugangsmöglichkeiten für Amazon S3 mit Iceberg ", so Greg Khairallah, Director of Analytics bei AWS. "Auf diese Weise vereinfachen wir unseren Kunden die Dateneingabe und bieten ihnen gleichzeitig die Skalierbarkeit eines Data Lake und die zuverlässige Datentransformation eines Data Warehouse."

Organisationen setzen immer mehr auf Data Lakes, um Analysen und Erkenntnisse aus ihren Daten zu ziehen. Und daher steigen die Ansprüche fortschrittlicher Marketing-Intelligence-Teams entsprechend. Lösungen wie Amazon S3 und automatisierte Pipelines werden diesen gerecht. Tinuiti, eines der größten unabhängigen Performance-Marketing-Unternehmen, verarbeitet täglich große Datenmengen und setzt auf einen Data Lake (insbesondere Amazon S3), um das Markenpotenzial seiner Kunden zu erfassen.

"Der Data Lake ist eine einfache, kostengünstige, sichere und robuste Möglichkeit, alle Daten unserer Kunden zu speichern", so Lakshmi Ramesh, Vice President, Data Services bei Tinuiti. "Die größte Herausforderung besteht in der Optimierung der Leistung und Zugänglichkeit. Aber mit der Unterstützung von Fivetran für Amazon S3 mit Iceberg wird unsere Fivetran-Pipeline weiter optimiert. Da der Data Lake unsere Single Source of Truth ist, ist es ganz entscheidend, dass alle Daten, die aus verschiedenen Quellen eingespeist werden, im Data Lake zugänglich sind."

Für moderne Unternehmen ist es unerlässlich, den Aufwand für das Management von Data Lakes durch Pipeline-Automatisierung und Governance zu reduzieren. Dadurch entfallen alle manuellen Schritte, die vor einer Abfrage erforderlich sind, wie etwa die Datenaufnahme und -bereinigung sowie die Vorbereitung für die Verwendung oder das Hashing und Sperren von sensiblen Daten.

"Die Unterstützung von Fivetran für Amazon S3 und die Standardisierung des Iceberg-Formats macht es für Unternehmen einfacher denn je, ihre Daten in ein Lakehouse zu bringen", sagt Tomer Shiran, Mitbegründer und CPO von Dremio. "Mit Fivetran, AWS und Dremio können Unternehmen eine offene Daten-Lakehouse-Architektur aufbauen, mit der Nutzer schnell auf Daten zugreifen und diese abfragen können, um wichtige datengestützte Erkenntnisse über ihr Business zu erhalten." (Fivetran: ra)

eingetragen: 19.04.23
Newsletterlauf: 14.06.23

Meldungen: Unternehmen