Sie sind hier: Startseite » Markt » Hintergrund

Daten-Streaming-Pipelines gehört die Zukunft

Weshalb Daten-Streaming-Pipelines anders sind
Warum ältere Daten-Pipelines nicht mehr geeignet sind

Von Roger Illing, Vice President Sales CEMEA bei Confluent

Daten sind das Kapital eines Unternehmens. Dennoch werden sie trotz ihrer immensen Relevanz immer noch fragmentiert und in unterschiedlichen Formaten in zahlreichen Legacy- und Cloud-basierten Systemen gespeichert. Um den Zugriff auf diese Daten zu erleichtern, zentralisieren die meisten IT-Abteilungen so viele Informationen wie möglich.

Sie verwenden in der Regel Punkt-zu-Punkt-Daten-Pipelines, um Daten zwischen operativen Datenbanken und einem zentralisierten Data Warehouse oder Data Lake zu verschieben. ETL-Pipelines (Extrahieren, Transformieren und Laden) zum Beispiel nehmen Daten auf, transformieren sie in regelmäßigen Batches und leiten sie später an ein nachgelagertes analytisches Data Warehouse weiter. ETL-Pipelines und Reverse-ETL-Pipelines senden zudem Ergebnisse von Datenanalysen, die im Warehouse stattfinden, zurück an operative Datenbanken und Anwendungen

Auch wenn Unternehmen heutzutage oft Dutzende bis Hunderte Punkt-zu-Punkt-Daten-Pipelines betreiben, kommen immer mehr IT-Verantwortliche zu dem Schluss, dass Punkt-zu-Punkt- und Batch-basierte Daten-Pipelines nicht mehr zeitgemäß sind.

Ältere Pipelines sind in der Regel nicht sehr flexibel und werden von Entwicklern als "Black Boxes" wahrgenommen, da sie nicht angepasst werden können und sich nur schwer in andere Umgebungen übertragen lassen. Wenn betriebliche Prozesse oder Daten angepasst werden müssen, vermeiden es Datenentwickler deshalb, bestehende Pipelines zu ändern. Stattdessen fügen sie noch mehr Pipelines und die damit verbundenen technischen Schulden hinzu. Im Endeffekt benötigen herkömmliche ETL-Pipelines zu viel Rechenleistung und Speicherplatz, was mit zunehmendem Datenvolumen und Anforderungen zu Skalierungs- und Leistungsproblemen sowie hohen Betriebskosten führen kann.

Weshalb Daten-Streaming-Pipelines anders sind
Daten-Streaming-Pipelines sind ein moderner Ansatz zur Bereitstellung von Daten als Self-Service-Produkt. Anstatt Daten an ein zentrales Warehouse oder ein Analyse-Tool zu senden, können Daten-Streaming-Pipelines Änderungen in Echtzeit erfassen, sie im Fluss anreichern und an nachgelagerte Systeme senden. Teams können mit einem eigenen Self-Service-Zugriff Daten verarbeiten, freigeben und wiederverwenden, wo und wann immer sie benötigt werden.

Im Gegensatz zu gewöhnlichen Pipelines können Daten-Streaming-Pipelines mit deklarativen Sprachen wie SQL erstellt werden. Dabei werden unnötige operative Aufgaben mit einer vordefinierten Logik der erforderlichen Vorgänge gemieden. Dieser Ansatz trägt dazu bei, das Gleichgewicht zwischen zentralisierter kontinuierlicher Observability, Sicherheit, Policy-Management, Compliance-Standards und der Notwendigkeit für leicht durchsuchbare und auffindbare Daten zu wahren.

Darüber hinaus können IT-Abteilungen mit Daten-Streaming-Pipelines agile Entwicklungsverfahren anwenden und modulare, wiederverwendbare Datenflüsse erstellen, die mit Version-Control- und CI/CD-Systemen getestet und debuggt werden. Daten-Streaming-Pipelines lassen sich auf diese Weise einfacher ausbauen und pflegen, was im Vergleich zu konventionellen Ansätzen die Gesamtbetriebskosten (TCO) reduziert. So können Unternehmen ihre Daten in Echtzeit auf eine skalierbare, elastische und effiziente Weise auf dem neuesten Stand halten

Heute müssen Unternehmen in der Lage sein, Daten in Echtzeit zu nutzen. Sie erhalten dadurch Echtzeiteinblicke in Geschäftszahlen und ermöglichen es Daten-Teams, zeitnah auf Veränderungen im Markt zu reagieren. Schnellere und intelligentere Abläufe, basierend auf Daten-Streaming-Pipelines, ermöglichen die Erfüllung von heutigen und künftigen Daten- und Geschäftsanforderungen und können die operativen Kosten nachhaltig senken. (Confluent: ra)

eingetragen: 14.05.24
Newsletterlauf: 16.07.24

Confluent: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.

Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>

Meldungen: Hintergrund

Anwendungsfälle für KI
Unternehmen erleben heute mit der Künstlichen Intelligenz (KI) einen Déjà-vu-Moment. Ähnlich wie bei früheren Technologiesprüngen - dem Aufkommen des PCs, des Internets oder der Cloud-Technologie - stehen sie an einem Wendepunkt, an dem die breite Einführung von KI die Unternehmenslandschaft transformiert.
Vom Kreditinstitut zur Technologie-Oase
Wir schreiben das Jahr 2035: Sie wachen auf und überprüfen Ihre Finanzen über einen sprachaktivierten digitalen Assistenten, der als Hologramm von Elvis erscheint. Nach der Authentifizierung durch Stimm- und Fingerabdruck-Biometrie liefert Ihnen der verstorbene King of Rock'n'Roll einen Überblick über Ihre Ausgaben, Ersparnisse und Investitionen in einem personalisierten Dashboard, das alle Ihre Konten und Finanzdaten an einem Ort zusammenfasst.
Cloud-Drucklösungen spielen eine große Rolle
Heutzutage lässt sich technischer Fortschritt kaum mehr mit dem bloßen Auge erkennen. Selten vergeht ein Tag ohne eine weitere Innovation, die für mehr Effizienz sorgt. Diese Entwicklung macht auch vor Druckern nicht Halt. Cloud-Lösungen ermöglichen zentrale Administration und Kosteneinsparungen bei lokalen Servern. Doch in diesem Zusammenhang geht die Tendenz eher in Richtung langsamer Wechsel in die Wolke. Warum ist das so? "In vielen Unternehmen - insbesondere aus Branchen, in denen sensible Daten auf der Tagesordnung stehen - herrschen Sicherheits- und Datenschutzbedenken.
Finanzbranche steht vor einem Wendepunkt
Immer mehr traditionelle Banken erkennen endlich die Vorteile des Outsourcings, um ihren Weg zur Digitalisierung zu beschleunigen und so ihre Effizienz und Kundenzufriedenheit zu optimieren. In Deutschland bremsen jedoch regulatorische Anforderungen das Tempo der Transformation. Karl im Brahm, CEO von Objectway DACH, betont, dass Banken diese Hürden nur durch Kooperationen mit Fintechs überwinden können.
CPUs und DSAs für Cloud- und KI-Erfolg
Die Chimäre ist in der griechischen Mythologie eine Kreuzung aus Löwe, Ziege und Schlange. Sie hat den Kopf des Löwen, den Körper der Ziege mit einem weiteren Ziegenkopf auf dem Rücken und den Schwanz der Schlange
Vertrauen gegenüber Generative AI schwindet
Im letzten Jahr zeigten sich deutsche Unternehmen wenig beeindruckt von den Sicherheitsrisiken von ChatGPT und Co. Sie vertrauten den vielversprechenden Generative-AI-Anwendungen und ihren Vorteilen bedingungslos. Nun legen die Ergebnisse einer aktuellen Gigamon-Studie* jedoch nahe, dass die Skepsis gegenüber diesen Tools in den vergangenen zwölf Monaten zugenommen hat.
Bedeutung der Cyber-Sicherheit
Wie in jedem Jahr, so hat auch in diesem die Firma IBM zusammen mit dem Ponemon Institute die Studie Cost of a Data Breach 2024 veröffentlicht. Die Ergebnisse sprechen Bände: Mit 4,88 Millionen US-Dollar (rund 4,50 Millionen Euro) je Sicherheitsverletzung im weltweiten Durchschnitt liegen diese Kosten 10 Prozent über dem Jahr 2023 mit 4,5 Millionen US-Dollar (rund 4,16 Millionen Euro) und erreichen ein Rekord-Hoch.
Sicherheit in der Cloud
Der Cloud Computing-Markt wächst beständig weiter und ein Ende dieses Aufwärtstrends scheint nicht in Sicht zu sein. Laut Prognosen könnte er bis 2032 die Marke von gut 2,29 Milliarden US-Dollar knacken. Das würde einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von 16,5 Prozent entsprechen.
Demokratisierung der Künstlichen Intelligenz
Open Source basiert auf Zusammenarbeit und Transparenz. Dank dieser beiden unbestreitbaren Vorteile haben Open-Source-Lösungen das Potenzial, die Art und Weise zu revolutionieren, wie KI-Systeme entwickelt und eingesetzt werden. Ein offener Ansatz für Künstliche Intelligenz ist unerlässlich.
Wie KI den Customer Service revolutioniert
Die IT-Branche ist ein Umfeld des ständigen Wettbewerbs. CIOs treiben heute die digitale Transformation voran und investieren in digitale Technologien, um die Effizienz und Rendite ihres Unternehmens zu maximieren. Da sie dafür nur wenig Zeit und Ressourcen für IT-Services aufwenden möchten, wenden sie sich immer mehr der generativen KI zu.

Wie KI den Customer Service revolutioniert Gründe für den Schritt zur Cloud Repatriation