Sie sind hier: Startseite » Markt » Hintergrund

Daten-Streaming-Pipelines gehört die Zukunft

Weshalb Daten-Streaming-Pipelines anders sind
Warum ältere Daten-Pipelines nicht mehr geeignet sind

Von Roger Illing, Vice President Sales CEMEA bei Confluent

Daten sind das Kapital eines Unternehmens. Dennoch werden sie trotz ihrer immensen Relevanz immer noch fragmentiert und in unterschiedlichen Formaten in zahlreichen Legacy- und Cloud-basierten Systemen gespeichert. Um den Zugriff auf diese Daten zu erleichtern, zentralisieren die meisten IT-Abteilungen so viele Informationen wie möglich.

Sie verwenden in der Regel Punkt-zu-Punkt-Daten-Pipelines, um Daten zwischen operativen Datenbanken und einem zentralisierten Data Warehouse oder Data Lake zu verschieben. ETL-Pipelines (Extrahieren, Transformieren und Laden) zum Beispiel nehmen Daten auf, transformieren sie in regelmäßigen Batches und leiten sie später an ein nachgelagertes analytisches Data Warehouse weiter. ETL-Pipelines und Reverse-ETL-Pipelines senden zudem Ergebnisse von Datenanalysen, die im Warehouse stattfinden, zurück an operative Datenbanken und Anwendungen

Auch wenn Unternehmen heutzutage oft Dutzende bis Hunderte Punkt-zu-Punkt-Daten-Pipelines betreiben, kommen immer mehr IT-Verantwortliche zu dem Schluss, dass Punkt-zu-Punkt- und Batch-basierte Daten-Pipelines nicht mehr zeitgemäß sind.

Ältere Pipelines sind in der Regel nicht sehr flexibel und werden von Entwicklern als "Black Boxes" wahrgenommen, da sie nicht angepasst werden können und sich nur schwer in andere Umgebungen übertragen lassen. Wenn betriebliche Prozesse oder Daten angepasst werden müssen, vermeiden es Datenentwickler deshalb, bestehende Pipelines zu ändern. Stattdessen fügen sie noch mehr Pipelines und die damit verbundenen technischen Schulden hinzu. Im Endeffekt benötigen herkömmliche ETL-Pipelines zu viel Rechenleistung und Speicherplatz, was mit zunehmendem Datenvolumen und Anforderungen zu Skalierungs- und Leistungsproblemen sowie hohen Betriebskosten führen kann.

Weshalb Daten-Streaming-Pipelines anders sind
Daten-Streaming-Pipelines sind ein moderner Ansatz zur Bereitstellung von Daten als Self-Service-Produkt. Anstatt Daten an ein zentrales Warehouse oder ein Analyse-Tool zu senden, können Daten-Streaming-Pipelines Änderungen in Echtzeit erfassen, sie im Fluss anreichern und an nachgelagerte Systeme senden. Teams können mit einem eigenen Self-Service-Zugriff Daten verarbeiten, freigeben und wiederverwenden, wo und wann immer sie benötigt werden.

Im Gegensatz zu gewöhnlichen Pipelines können Daten-Streaming-Pipelines mit deklarativen Sprachen wie SQL erstellt werden. Dabei werden unnötige operative Aufgaben mit einer vordefinierten Logik der erforderlichen Vorgänge gemieden. Dieser Ansatz trägt dazu bei, das Gleichgewicht zwischen zentralisierter kontinuierlicher Observability, Sicherheit, Policy-Management, Compliance-Standards und der Notwendigkeit für leicht durchsuchbare und auffindbare Daten zu wahren.

Darüber hinaus können IT-Abteilungen mit Daten-Streaming-Pipelines agile Entwicklungsverfahren anwenden und modulare, wiederverwendbare Datenflüsse erstellen, die mit Version-Control- und CI/CD-Systemen getestet und debuggt werden. Daten-Streaming-Pipelines lassen sich auf diese Weise einfacher ausbauen und pflegen, was im Vergleich zu konventionellen Ansätzen die Gesamtbetriebskosten (TCO) reduziert. So können Unternehmen ihre Daten in Echtzeit auf eine skalierbare, elastische und effiziente Weise auf dem neuesten Stand halten

Heute müssen Unternehmen in der Lage sein, Daten in Echtzeit zu nutzen. Sie erhalten dadurch Echtzeiteinblicke in Geschäftszahlen und ermöglichen es Daten-Teams, zeitnah auf Veränderungen im Markt zu reagieren. Schnellere und intelligentere Abläufe, basierend auf Daten-Streaming-Pipelines, ermöglichen die Erfüllung von heutigen und künftigen Daten- und Geschäftsanforderungen und können die operativen Kosten nachhaltig senken. (Confluent: ra)

eingetragen: 14.05.24
Newsletterlauf: 16.07.24

Confluent: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.

Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>

Meldungen: Hintergrund

KI in der Abonnementwirtschaft
Künstliche Intelligenz (KI) ermöglicht es Unternehmen heute mehr denn je, personalisierte Angebote für Produkte und Services zu erstellen. Im Business-to-Business (B2B) -Umfeld, birgt KI beispielsweise neue Möglichkeiten zur Abonnementverwaltung von Geschäftskunden oder verbessert die Kundenerfahrung.
Sicherheitsrisiken minimieren
Retarus hat fünf zentrale Trends identifiziert, die die digitale Geschäftskommunikation im kommenden Jahr nachhaltig prägen werden. Diese Entwicklungen spiegeln nicht nur technologische Fortschritte wider, sondern auch die Verantwortung von Unternehmen.
Multi Cloud-Strategien werden immer wichtiger
Die SEP wirft einen Blick in die Zukunft der Backup-Branche. Basierend auf umfangreichem Feedback von Partnern und Kunden benennt der führende deutsche Hersteller von Backup- und Disaster-Recovery-Software "Made in Germany", die fünf wichtigsten Trends für 2025. Dazu zählen Multi-Cloud, Schutz gegen Cyber Security und eine hohe Dynamik durch die Suche nach alternativen Virtualisierungslösungen wie Proxmox.
Cloud-Sicherheit bleibt entscheidend
Tata Consultancy Services (TCS), eine der weltweit führenden IT-Beratungs- und Servicegesellschaften, hat seinen Cybersecurity Outlook 2025 veröffentlicht - eine Übersicht der relevanten Technologietrends und Schwerpunktthemen für das kommende Jahr. Danach werden Generative Künstliche Intelligenz (GenAI), Cloud-Sicherheit und widerstandsfähige Lieferketten für Unternehmen entscheidend sein, um künftige Cyber-Bedrohungen - auch durch die zunehmende Verbreitung von Next-Gen-Technologien - erfolgreich abzuwehren.
Erfolg generativer KI-Strategien in der Cloud
2024 hat künstliche Intelligenz die Cloud-Landschaft geprägt und sowohl die Effizienz als auch die Entscheidungsfindung verbessert. Die Fortschritte in der KI haben die Nachfrage nach der Cloud angekurbelt, indem sie die Kosten der Cloud durch Optimierungsstrategien gesenkt, Sicherheitspraktiken verbessert und IT-Systeme automatisiert haben. Auch wenn die Richtung klar ist, werden 2025 zahlreiche neue Technologien die Grenzen von Cloud Computing erweitern.
Cloud-Strategien für mehr Sicherheit
Künstliche Intelligenz (KI) und Quantentechnologien entwickeln sich rasant weiter. Dies treibt die Risiken von Cyberangriffen in neue Höhen. Unternehmen sind gefordert, sich intensiver denn je mit der veränderten Bedrohungslage auseinanderzusetzen und ihre IT-Sicherheit anzupassen.
Industrielle KI wird erwachsen
Industrie 5.0, mehr Nachhaltigkeit, Kampf gegen den Arbeitskräftemangel: IFS prognostiziert, welche Herausforderungen die Fertigungsbranche im Jahr 2025 mit Hilfe von Künstlicher Intelligenz angehen wird.
Wohin zieht die Cloud?
Jerome Evans, Gründer und Geschäftsführer der firstcolo GmbH, blickt voraus und betrachtet die anstehenden Entwicklungen rund um die Cloud in 2025: Die Einführung der Cloud hat nicht nur unsere Arbeitsweise, sondern auch unseren Alltag verändert.
Generative KI-Inferenz im Fokus
Die fortschreitende Entwicklung der IT-Landschaft bringt neue Trends mit sich, die 2025 die Technologienutzung in Unternehmen grundlegend verändern werden. Themen wie generative KI und Datensouveränität werden Branchen dazu zwingen, ihre Strategien anzupassen und sich auf neue Realitäten einzustellen. Jeff Wittich, Chief Product Officer bei Ampere Computing, hat vier Prognosen für diese Zukunft formuliert.
Bewältigung der KI-Arbeitslasten
Der Paradigmenwandel der stark digitalisierten Welt von heute stellt Unternehmen hinsichtlich ihrer IT-Infrastrukturen vor große Herausforderungen, bietet aber auch neue Chancen. Zunehmende Cyberbedrohungen, stärkere Virtualisierung oder Transformation durch künstliche Intelligenz (KI) - Unternehmen sind gezwungen, ihre Datenspeicherstrategien zu überdenken, um widerstandsfähig, flexibel und zukunftssicher zu bleiben.

Wie KI den Customer Service revolutioniert Gründe für den Schritt zur Cloud Repatriation