Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Meldungen: Unternehmen

  • Cyberangriffe auf Clouds mit Allzeithoch

    CrowdStrike gibt bekannt, dass es den Google Cloud Security Partner of the Year Award 2025 in der Kategorie "Workload Security" erhalten hat. Mit dieser Auszeichnung wird die Rolle von CrowdStrike bei der Implementierung von Sicherheitslösungen gewürdigt. CrowdStrike kündigte außerdem eine Erweiterung ihrer Partnerschaft mit Google Cloud an. Mit "CrowdStrike Falcon Cloud Security" soll eine durchgängige Sicherheit für KI-Innovationen - vom Code bis zur Cloud - ermöglicht werden.

  • Device as a Service mit Sicherheitsfokus

    Die Sicherheit am digitalen Arbeitsplatz steht weiter im Fokus von IT-Verantwortlichen. Als führender Anbieter von Device as a Service (DaaS) baut das IT-Beratungsunternehmen Adlon die Sicherheitsaspekte seines Abo-Modells in allen Phasen des Geräte-Lebenszyklus weiter aus.

  • Wert der KI-Technologien von IFS erkannt

    IFS, Anbieterin von Cloud-Enterprise-Software und industriellen KI-Anwendungen, gibt bekannt, dass das Unternehmen mit seiner konsequenten Ausrichtung auf KI-gestütztes Wachstum eine Bewertung von über 15 Milliarden Euro durch Investoren erreicht hat. Die neue Bewertung erfolgt im Zuge einer Erhöhung des Anteils der Investmentgesellschaft Hg, die nun gemeinsam mit EQT als Co-Kontrollgesellschafter auftritt, während TA Associates (TA) weiterhin Minderheitsgesellschafter bleibt.

  • Devoteam und Google Cloud

    Devoteam wurde bei den diesjährigen Google Cloud Partner of the Year Awards in gleich fünf Kategorien ausgezeichnet. Damit würdigt Google Cloud Devoteams starke Performance in den Bereichen Künstliche Intelligenz, Infrastrukturmodernisierung, Talententwicklung sowie herausragende Leistungen in den einzelnen Ländern. Diese mehrfachen Auszeichnungen unterstreichen Devoteams kontinuierliches Wachstum, die fachliche Exzellenz sowie das Engagement für innovative Lösungen in einer Vielzahl von Google Cloud-Kompetenzbereichen - von KI-gestützten Anwendungen über Daten- und Infrastrukturmodernisierung bis hin zu Sicherheit, nachhaltiger Transformation und New Work.

  • Zertifizierung durch das BSI

    Startschuss für die neue "Swissbit Cloud-TSE 2" für online- und Cloud-basierte Kassensysteme: Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat die Lösung nach der aktuellen technischen Richtlinie BSI TR-03153-1, Version 1.1.1, zertifiziert. Als Cloud-TSE-Lösung auf dem Markt erfüllt sie damit die höchsten Sicherheitsanforderungen für die elektronische Aufzeichnung von Geschäftsvorfällen.

  • stp.one beschleunigt europäische Expansionspläne

    stp.one, Anbieterin von Legal-Tech-Komplettlösungen für Rechtsanwälte, Insolvenzverwalter, Notare und Rechtsabteilungen, gab die Übernahme des internationalen SaaS-Kanzleisoftwareanbieters Amberlo bekannt. Mit dem Zukauf setzt stp.one einen weiteren Meilenstein auf dem Weg, zur führenden Legal Tech Plattform in Europa und unterstreicht erneut ihre Rolle als M&A-Powerhouse, das die Konsolidierung des Marktes maßgeblich vorantreibt.

  • Wertvolles Stimmungsbild der Cloud-Branche

    enclaive, deutsche Anbieterin im Bereich Confidential Computing, hat bei der Leserwahl des Fachportals CloudComputing-Insider die Endrunde in der Kategorie "Cloud Application Security" erreicht. Die Abstimmung läuft noch bis zum 31. August 2025.

  • Cloud- und Managed-Service-Projekte

    Controlware erreichte auch 2025 einen der Top-Plätze im Ranking der "Besten Managed Service Provider (MSPs)" in der Umsatzklasse von 250 Millionen bis 1 Milliarde Euro. Die Auszeichnung, die von den renommierten Fachpublikationen ChannelPartner und Computerwoche seit 2017 verliehen wird, basiert auf der Studie "Die Rolle der Managed Service Provider aus Sicht ihrer Kunden", für die mehr als 1.500 IT-Entscheider befragt wurden.

  • Software Asset Management & SaaS-Governance

    HCLSoftware, Anbieterin von Unternehmenssoftwarelösungen, gab eine Partnerschaft mit CloudEagle.ai, einer führenden Software-as-a-Service (SaaS)-Management-Plattform, bekannt, um eine umfassende Lösung für Software-Governance sowohl auf Geräten als auch in der Cloud bereitzustellen. Die Kombination von On-Prem Software Asset Management und Endpoint Management Lösungen von HCL BigFix mit CloudEagles-SaaS-Management Plattform wird es Unternehmen weltweit ermöglichen, einen höheren Return on Investment für ihren gesamten Software-Anwendungsbestand zu erzielen.

  • Fivetran: Vereinbarung zur Übernahme von Census

    Fivetran, Anbieterin für Data Movement, gab die Unterzeichnung einer Vereinbarung zur Übernahme von Census bekannt. Census gilt als führendes Unternehmen für Reverse ETL, Datenaktivierung und operative Analysen. Mit dieser Übernahme wird Fivetran nach eigenen Angaben zur einzigen vollständig "Managed Platform", mit der Unternehmen regulierte Daten automatisiert auch in Echtzeit über ihren gesamten Stack bewegen können: Von den verschiedenen Quellsystemen hin zu Datenplattformen und jetzt auch wieder zurück in die Business-Anwendungen, die für die Entscheidungsfindung im Unternehmen nötig sind.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen