Sie sind hier: Startseite » Markt » Hintergrund

Daten-Streaming-Pipelines gehört die Zukunft


Weshalb Daten-Streaming-Pipelines anders sind
Warum ältere Daten-Pipelines nicht mehr geeignet sind


Von Roger Illing, Vice President Sales CEMEA bei Confluent

Daten sind das Kapital eines Unternehmens. Dennoch werden sie trotz ihrer immensen Relevanz immer noch fragmentiert und in unterschiedlichen Formaten in zahlreichen Legacy- und Cloud-basierten Systemen gespeichert. Um den Zugriff auf diese Daten zu erleichtern, zentralisieren die meisten IT-Abteilungen so viele Informationen wie möglich.

Sie verwenden in der Regel Punkt-zu-Punkt-Daten-Pipelines, um Daten zwischen operativen Datenbanken und einem zentralisierten Data Warehouse oder Data Lake zu verschieben. ETL-Pipelines (Extrahieren, Transformieren und Laden) zum Beispiel nehmen Daten auf, transformieren sie in regelmäßigen Batches und leiten sie später an ein nachgelagertes analytisches Data Warehouse weiter. ETL-Pipelines und Reverse-ETL-Pipelines senden zudem Ergebnisse von Datenanalysen, die im Warehouse stattfinden, zurück an operative Datenbanken und Anwendungen

Auch wenn Unternehmen heutzutage oft Dutzende bis Hunderte Punkt-zu-Punkt-Daten-Pipelines betreiben, kommen immer mehr IT-Verantwortliche zu dem Schluss, dass Punkt-zu-Punkt- und Batch-basierte Daten-Pipelines nicht mehr zeitgemäß sind.

Ältere Pipelines sind in der Regel nicht sehr flexibel und werden von Entwicklern als "Black Boxes" wahrgenommen, da sie nicht angepasst werden können und sich nur schwer in andere Umgebungen übertragen lassen. Wenn betriebliche Prozesse oder Daten angepasst werden müssen, vermeiden es Datenentwickler deshalb, bestehende Pipelines zu ändern. Stattdessen fügen sie noch mehr Pipelines und die damit verbundenen technischen Schulden hinzu. Im Endeffekt benötigen herkömmliche ETL-Pipelines zu viel Rechenleistung und Speicherplatz, was mit zunehmendem Datenvolumen und Anforderungen zu Skalierungs- und Leistungsproblemen sowie hohen Betriebskosten führen kann.

Weshalb Daten-Streaming-Pipelines anders sind
Daten-Streaming-Pipelines sind ein moderner Ansatz zur Bereitstellung von Daten als Self-Service-Produkt. Anstatt Daten an ein zentrales Warehouse oder ein Analyse-Tool zu senden, können Daten-Streaming-Pipelines Änderungen in Echtzeit erfassen, sie im Fluss anreichern und an nachgelagerte Systeme senden. Teams können mit einem eigenen Self-Service-Zugriff Daten verarbeiten, freigeben und wiederverwenden, wo und wann immer sie benötigt werden.

Im Gegensatz zu gewöhnlichen Pipelines können Daten-Streaming-Pipelines mit deklarativen Sprachen wie SQL erstellt werden. Dabei werden unnötige operative Aufgaben mit einer vordefinierten Logik der erforderlichen Vorgänge gemieden. Dieser Ansatz trägt dazu bei, das Gleichgewicht zwischen zentralisierter kontinuierlicher Observability, Sicherheit, Policy-Management, Compliance-Standards und der Notwendigkeit für leicht durchsuchbare und auffindbare Daten zu wahren.

Darüber hinaus können IT-Abteilungen mit Daten-Streaming-Pipelines agile Entwicklungsverfahren anwenden und modulare, wiederverwendbare Datenflüsse erstellen, die mit Version-Control- und CI/CD-Systemen getestet und debuggt werden. Daten-Streaming-Pipelines lassen sich auf diese Weise einfacher ausbauen und pflegen, was im Vergleich zu konventionellen Ansätzen die Gesamtbetriebskosten (TCO) reduziert. So können Unternehmen ihre Daten in Echtzeit auf eine skalierbare, elastische und effiziente Weise auf dem neuesten Stand halten

Heute müssen Unternehmen in der Lage sein, Daten in Echtzeit zu nutzen. Sie erhalten dadurch Echtzeiteinblicke in Geschäftszahlen und ermöglichen es Daten-Teams, zeitnah auf Veränderungen im Markt zu reagieren. Schnellere und intelligentere Abläufe, basierend auf Daten-Streaming-Pipelines, ermöglichen die Erfüllung von heutigen und künftigen Daten- und Geschäftsanforderungen und können die operativen Kosten nachhaltig senken. (Confluent: ra)

eingetragen: 14.05.24
Newsletterlauf: 16.07.24

Confluent: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>



Meldungen: Hintergrund

  • Gründe für den Schritt zur Cloud Repatriation

    Noch 2016 lehnte fast ein Fünftel der deutschen Unternehmen Cloud Computing ab, wie der jährlich erscheinende "Cloud Monitor" von Bitkom Research und KPMG zeigt. Das hat sich mittlerweile aber geändert und laut Bitkom nutzen bereits 9 von 10 Unternehmen Cloud-Services.

  • Am Anfang steht die KI-Idee

    Der KI-Boom fegt wie ein Tornado über Unternehmen und Organisationen hinweg. Dabei sind gerade jetzt ein kühler Kopf, sorgfältige Planung und methodisches Vorgehen wichtig, um KI ebenso wertschöpfend wie verantwortungsbewusst zu nutzen. CGI verweist auf vier Phasen im Lebenszyklus von KI und erklärt die wichtigsten Schritte für eine robuste Integration ins Unternehmen.

  • Künstliche Intelligenz das Maß aller Dinge

    Ob in der Fertigung oder im Bau- und Ingenieurwesen - 2024 wird für beide Branchen eine richtungsweisende Zeit mit zahlreichen Herausforderungen und Hürden. Doch das neue Jahr birgt auch vielversprechende Trends, neue Lösungsansätze und innovative Technologien.

  • Nachhaltigkeit kommt in der Cloud an

    "IT doesn't matter" - so lautete die Überschrift eines Artikels des US-amerikanischen Wirtschaftsjournalisten Nicholas Carr im Jahr 2003. Gemeint war: IT sei ein Standardprodukt, das zwar Kosteneinsparungen bringe, aber keine Investition in die strategische Differenzierung sowie die Wettbewerbs- und Innovationsfähigkeit von Unternehmen ist.

  • Zero Day und Zero Trust sind Themen

    Cloud-Security war das wichtigste Thema der IT-Sicherheit im Jahr 2023, und sie wird auch 2024 zu Recht erhebliche Aufmerksamkeit bekommen. "Doch Cloud-Security ist nur eine Seite der Medaille", gibt Gregor Erismann, CCO der Schweizer Security-Spezialistin Exeon Analytics. zu bedenken.

  • Hohe Nachfrage nach IDP

    Retarus hat drei Trends identifiziert, welche die digitale Geschäftskommunikation 2024 nachhaltig beeinflussen werden. Insbesondere künstliche Intelligenz wird in den kommenden Monaten eine immer wichtigere Rolle spielen und es Unternehmen ermöglichen, effizienter zu arbeiten und ihre Wettbewerbsposition zu stärken.

  • Cloud-Daten-Verschlüsselung 2024

    Wie zu jedem Jahreswechsel orakeln Unternehmen, Wirtschaftsweise und weitere Fachkundige darüber, was sich im neuen Jahr ändern wird. Was sie dabei in der Vergangenheit kaum auf dem Schirm hatten: die sogenannten Black-Swan-Ereignisse, große, überraschende und einschneidende Ereignisse. Mit querliegenden Frachtern und Lieferkettenzusammenbrüchen, der Pandemie oder den Kriegen mit weitreichenden wirtschaftlichen Folgen hatte keiner wirklich gerechnet.

  • Potenzial der Daten nutzen

    Exasol hat ihre Prognosen für den Bereich Data Analytics im Jahr 2024 veröffentlicht. Disruptive Technologien wie künstliche Intelligenz (KI) setzen sich in der Tech-Branche immer weiter durch.

  • Keine Wechselflut der Cloud-Anbieter

    2024 werden viele Unternehmen realisieren, dass sie als Teil ihrer Datenstrategie ihre Hybrid-Cloud-Strategie überarbeiten müssen, um die Vorteile der künstlichen Intelligenz (KI) voll auszuschöpfen. Dies bedeutet, dass die Qualität und Zugänglichkeit von Daten auf dem Prüfstand stehen.

  • Energienutzung in Rechenzentren optimieren

    Die Europäische Kommission hat am 5. Dezember 2023 das strategische Förderprojekt IPCEI-CIS (Important Projects of Common European Interest - Next Generation Cloud Infrastructure and Services) genehmigt. Zielsetzung des Projektes ist die Entwicklung von gemeinsamen Konzepten und ein erster industrieller Einsatz für moderne Cloud- und Edge-Computing-Technologien.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen