Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Meldungen: Unternehmen

  • Betrieben in einer deutschen Cloud

    Ionos und Nextcloud gehen den nächsten konsequenten Schritt ihrer langjährigen strategischen Partnerschaft. Auf dem Nextcloud Summit in München kündigten der führende europäische Hosting-Provider und Cloud-Enabler und die weltweit beliebteste datenschutzkonforme Kollaborations-Plattform gemeinsam die Entwicklung des neuen souveränen Online-Arbeitsplatzes "Nextcloud Workspace" an.

  • Daten aus der Sicherheits-Cloud

    Zscaler, Anbieterin von Cloud-Sicherheit, kündigt die Unterzeichnung einer endgültigen Vereinbarung zur Übernahme von Red Canary an, einem Unternehmen im Bereich Managed Detection and Response (MDR). Red Canary verfügt über zehnjährige Erfahrung im Bereich Security Operations (SecOps) und ermöglicht es seinen Kunden, Bedrohungen mit einer Genauigkeit von 99,6 Prozent bis zu zehnmal schneller zu analysieren und gleichzeitig Workflows durch automatisierte Bereinigung zu optimieren. Durch die riesigen Mengen hochwertiger Daten aus der Sicherheits-Cloud von Zscaler und dem weltweiten Einblick des ThreatLabz Security Research-Teams wird ein hochintegriertes, agentenbasiertes Security Operations Center (SOC) entstehen, das KI-gesteuerte Workflows mit menschlicher Expertise kombiniert.

  • SaaS-Anwendungs-Backups vereinheitlichen

    NinjaOne gab den Abschluss der Übernahme von Dropsuite für ca. 270 Millionen US-Dollar bekannt. Mit diesem Erwerb verfolgt NinjaOne das Ziel, Unternehmen beim Zurückgewinnen der verlorenen Produktivität und bei der Minimierung des Ransomware-Risikos zu unterstützen. Mithilfe von Dropsuite können NinjaOne-Kunden Endpunkt-, Server- sowie SaaS-Anwendungs-Backups vereinheitlichen, und dadurch IT-Teams eine zentralisierte Benutzeroberfläche bieten, beziehungsweise verbesserte Produktivität für Mitarbeiter ermöglichen.

  • Grundlage von generativer AWS-KI-Technologie

    Yash Technologies, Anbieterin von Technologie- und Geschäftsumwandlungsdiensten, gab bekannt, dass das Unternehmen die Amazon Web Services (AWS) Generative AI Competency erreicht hat. Diese Spezialisierung zeichnet Yash als AWS-Partnerin aus, der Kundschaft und das AWS Partner Network (APN) dabei unterstützt, die Entwicklung von Services, Tools und Infrastrukturen voranzutreiben, die für die Einbindung generativer KI-Technologien entscheidend sind.

  • Vorteile der Cloud sind vielfältig

    enclaive, Spezialistin im Bereich Confidential Cloud Computing, stellt zusammen mit Prianto, einem der europaweit führenden Value-Added-Distributoren für Enterprise-Software, im Rahmen einer vierteiligen Webinar-Serie seine Lösungen vor. Die Veranstaltungsreihe richtet sich sowohl an interessierte Partner als auch an Unternehmen, die mit Confidential Computing den sicheren Weg in die Cloud gehen wollen.

  • Von On-Premise-Lösungen in die Cloud

    Tata Consultancy Services (TCS) erweitert ihre Partnerschaft mit SAP. Ziel ist es, SAP-Kunden unternehmensweite Transformationen auf Basis von GenAI (Generative Artificial Intelligence) zu ermöglichen. Aufbauend auf ihrer zwanzigjährigen Geschäftsbeziehung stärken die beiden Partner damit die Skalierbarkeit, Agilität und Innovationskraft ihrer Lösungen.

  • Hochsichere Single-Sign-On-Funktionalitäten

    enclaive und Bare.ID arbeiten ab sofort bei der Bereitstellung innovativer, sicherer und flexibler Authentisierungsservices zusammen. Die Kombination der Confidential Cloud Computing-Plattform von enclaive mit der Authentifizierungstechnologie von Bare.ID ermöglicht es Unternehmen, eine sichere End-to-End-Kommunikation, lückenlose Compliance und digitale Souveränität zu gewährleisten.

  • DSGVO-konformes Service-Portfolio

    Scrive, Anbieterin von Lösungen für elektronische Signaturen und eIDs, erweitert sowohl ihre Präsenz als auch ihr Angebot für Kunden im deutschen Markt. Das Unternehmen hat Anfang 2025 ein Büro in Berlin in der Nähe des Ostbahnhofs eröffnet, um die Expansion in einen der für Scrive wichtigsten Wachstumsmärkte voranzutreiben.

  • Neue Potenziale aus Azure-Lösungen schöpfen

    Cloud-Migration strategisch denken, IT-Arbeitsplätze effizient gestalten und neue Potenziale aus Azure-Lösungen schöpfen - genau das steht im Mittelpunkt des exklusiven Business Roundtables "Cloud-Migration mit Weitblick: Azure Virtual Desktop & Nerdio auf Azure Local".

  • Die Zukunft der Cloud in Europa

    Die geopolitischen Entwicklungen der letzten Monate haben die Geschäftswelt in Deutschland und Europa vor neue Herausforderungen gestellt. Handelskonflikte, Zölle und eine veränderte sicherheitspolitische Landschaft haben viele Unternehmen dazu veranlasst, ihre digitalen Strategien zu überdenken. Berechtigte Fragen zu Datensouveränität, Compliance und Ausfallsicherheit stehen plötzlich ganz oben auf der Agenda von Entscheidungsträgern.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen