Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Meldungen: Unternehmen

  • Cloud-Edge-Konzepte und Datenräume

    Der eco - Verband der Internetwirtschaft e. V. und die IndustryFusion Foundation haben eine weitreichende Kooperation vereinbart, um den Ausbau digitaler Infrastrukturen und souveräner Datenräume für industrielle Anwendungen in Europa voranzutreiben. Im Mittelpunkt steht die gemeinsame Weiterentwicklung von Open-Source-Datenräumen, Edge-/Cloud-Infrastrukturen sowie interoperablen Standards für Industrie 4.0.

  • Zusammenarbeit zwischen Qlik und AWS

    Qlik, Anbieterin für Datenintegration, Datenqualität, Analysen und KI, hat die AWS Generative AI Competency erhalten. Damit unterstreicht Qlik seine Vorreiterrolle bei der Bereitstellung praxisnaher KI-Lösungen für Unternehmen. Die Anerkennung würdigt die strategische Zusammenarbeit mit Amazon Web Services (AWS) und belegt den nachweislichen Erfolg bei der Implementierung sicherer, skalierbarer und effektiver generativer KI-Lösungen.

  • Engagement für zukunftsweisende Branchenlösungen

    Devoteam, Premiumpartner für digitale Transformation, setzt auf Wachstum und Innovation. Das Unternehmen hat eine Vereinbarung zur Übernahme unterzeichnet und integriert zwei hoch spezialisierte Einheiten der affinis Group in ihr Portfolio: Enerhym GmbH, spezialisiert auf Cloud-Lösungen für SAP, KI-getriebenes Consulting, sowie IT-Transformation Services im Energiesektor und Collogia IT Services, mit innovativer Expertise in Managed Services für das SAP- und Microsoft-Ökosystem.

  • Maßgeschneiderte Digital Banking-Lösungen

    GFT Technologies steht an der Spitze der "Spark Matrix 2025 für Digital Banking Services" und erreicht die Bestnote für Servicequalität. Diese Auszeichnung im neuen Bericht des Analystenhauses QKS Group unterstreicht die Führungsrolle von GFT bei der Umsetzung maßgeschneiderter, KI-gestützter Banktransformation.

  • Rechenzentrumsstrategie des Bundes

    Die Rolle von Rechenzentren für den Wirtschaftsstandort Deutschland wird nicht zuletzt durch die wachsende Nachfrage nach Rechenleistung für KI immer wichtiger. Bereits im Jahr 2023 ergab sich durch Rechenzentrumsnutzung eine zusätzliche Bruttowertschöpfung von rund 250 Milliarden Euro für die deutsche Volkswirtschaft. Für Forschungs- und Anwendungsszenarien im Bereich Künstlicher Intelligenz ist ein funktionierendes Ökosystem digitaler Infrastrukturen, bestehend aus Rechenzentren, Colocation- und Cloud-Anbietern sowie Internetaustauschknoten, unerlässlich. Deutschlands Anteil an den weltweiten IT-Kapazita?ten hat in den letzten zehn Jahren deutlich abgenommen. Zwischen 2015 und 2024 ist der Anteil der in den Rechenzentren in Deutschland installierten Server am Weltmarkt von 3,5 Prozent auf knapp 2,5 Prozent gesunken.

  • Sicherheit und europäische Exzellenz

    Ionos und die Nobix Group geben eine Partnerschaft bekannt. Ziel dieser Zusammenarbeit ist, skalierbare IT-Umgebungen mit Fokus auf Sicherheit, Datenschutz und -souveränität auf- und auszubauen. Ionos liefert im Rahmen der Kooperation souveräne, sichere und leistungsfähige Cloud-Umgebungen für kleine und mittlere Unternehmen. Nobix ergänzt mit umfangreichen Beratungs-, Migrations- und Betriebsservices.

  • Deutschland ist größter SaaS-Markt in Europa

    Silke Kanes ist neues Mitglied im Vorstand des eco Verbands der Internetwirtschaft e.V. Sie wurde am 29. August 2025 von der Mitgliederversammlung gewählt. Die bestehenden Vorstände Oliver Süme, Klaus Landefeld, Norbert Pohlmann und Felix Höger wurden in ihrem Amt bestätigt. Oliver Süme bleibt Vorstandsvorsitzender.

  • Aufbau eines starken Fundaments

    NorthC, regionale Anbieterin von Datacenter in Nordwesteuropa, hat den Abschluss ihrer Akquisition von sechs Rechenzentren der Colt Technology Services bekanntgegeben. Zum 1. September 2025 übernahm NorthC den Betrieb der Standorte in Frankfurt, Berlin, Hamburg, München und Düsseldorf sowie Amsterdam in den Niederlanden.

  • Steigende Nachfrage nach Managed Services

    GTT Communications ist von der Information Services Group (ISG), einem globalen Marktforschungs- und Beratungsunternehmen, zum "Managed SD-WAN Leader" in Deutschland ernannt worden. Bereits das dritte Jahr in Folge erhält GTT die Auszeichnung von ISG. Das unterstreicht die Innovationskraft, die Marktpräsenz und das umfassende Produkt- und Serviceangebot von GTT.

  • Cyberabwehr nachhaltig stärken

    Controlware wurde im Rahmen der aktuellen Studie "ISG Provider Lens: Cybersecurity - Services and Solutions 2025" als "Leader" ausgezeichnet. Das international renommierte Marktforschungsinstitut würdigte Controlware bereits zum fünften Mal in Folge in den Kategorien "Technical Security Services", "Next-Gen SOC/MDR Services" sowie "Next-Gen SOC/MDR Services (Midmarket)". Darüber hinaus erreichte Controlware erstmals die Spitzenplatzierung als "Leader" im Bereich "Strategic Security Services".

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen