Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>


Meldungen: Unternehmen

  • O-Cloud robuste Basis für Open-RAN-Lösung

    Auf ihrem Weg zur führenden Anbieterin digitaler Dienste hat die Deutsche Telekom seit der Mitbegründung des xRAN-Forums im Jahr 2016 Pionierarbeit im Bereich Open RAN geleistet, die 2018 in die Gründung der O-RAN Alliance mündete. Ziel ist es, im Rahmen der europäischen Aktivitäten rund um die Netzmodernisierung ein herstellerübergreifendes O-RAN als Lösung für den Aufbau leistungsfähiger, großflächiger Makronetze zu positionieren.

  • Code-to-Cloud-Transparenz

    Checkmarx, Unternehmen im Bereich Cloud-native Application Security, wurde von Frost & Sullivan als "Competitive Strategy Leader in the Global Application Security Posture Management (ASPM) Industry" ausgezeichnet. Checkmarx erhält den Best Practices Award für das Jahr 2024 aufgrund ihrer Innovationskraft und ihres Commitments, Führungskräften lückenlose Transparenz über Anwendungsrisiken und einen proaktiven AppSec-Ansatz zu bieten.

  • 2024 erfolgreiches Jahr für Haufe X360

    Haufe X360 konnte auch im Jahr 2024 ihre Position als der Anbieterin einer Cloud-basierten Business Management Plattform für KMU wieder deutlich ausbauen. Das Unternehmen wächst weiter nachhaltig in den verschiedensten Bereichen. An die Entwicklung im kommenden Jahr hat man hohe Erwartungen - trotz der angespannten Weltwirtschaft. So konnte Haufe X360 2024 ganze 43 Prozent Mitarbeiterwachstum verzeichnen, Neueinstellungen gab es vor allem bei der Produktentwicklung und im Support. Damit will man sicherstellen, dass die Business-Management-Plattform stetig weiter optimiert und ausgebaut werden kann - sowohl bei den Funktionalitäten als auch bei branchenspezifischen Anpassungen und der Integration von anderen Softwareanbietern. "Durch seine offene Software-Architektur und das Hosting in der Cloud ist unser System extrem flexibel und anpassbar. Das waren auch Gründe dafür, dass wir uns über die Auszeichnung als ERP des Jahres freuen durften", erklärt Christian Zöhrlaut, Chief Product Officer bei Haufe X360. "Dadurch, dass wir jetzt personell noch besser aufgestellt sind, können wir den bereits hohen gewohnten Standard nicht nur halten, sondern uns kontinuierlich steigern und noch genauer auf die Bedürfnisse unserer Kunden eingehen."

  • Nutzung der SAP-Business-AI-Technologie

    HCLTech hat ihr Innovation Lab für SAP Business AI in München eröffnet. In diesem können Kunden Branchenanwendungen testen sowie KI-Programme starten und optimieren. Die Eröffnung des Innovation Labs bekräftigt die strategische Partnerschaft zwischen HCLTech und SAP.

  • Mit SaaS steuerliche Compliance ermöglichen

    Vertex, Anbieterin von Steuertechnologielösungen, wurde in drei IDC MarketScape-Reports als "Leader" eingestuft. "Wir fühlen uns geehrt, in mehreren Segmenten von IDC MarketScape für SaaS and Cloud-Enabled Tax Automation Software als Leader bezeichnet zu werden. Es bestätigt die Richtigkeit unserer Mission, Unternehmen mit unserer innovativer Steuertechnologie zu unterstützen", so David DeStefano, CEO von Vertex.

  • Datenintegration für Unternehmen jeder Größe

    Fivetran, Anbieterin für Data Movement, wird im "Gartner Magic Quadrant for Data Integration Tools 2024" als Challenger eingestuft. Damit ist Fivetran zum fünften Mal in Folge im Gartner Magic Quadrant vertreten und das zweite Jahr als Challenger. Diese Bewertung ist für Fivetran Beleg für das Engagement um kontinuierliche Innovation und für die Vereinfachung von Prozessen zur Datenintegration für Unternehmen jeder Größe.

  • Anerkennung der Cloud- und KI-Angebote

    Alibaba Cloud wird im Bericht "The Forrester Wave: Public Cloud Platforms Q4 2024" erstmals als "Leader" eingestuft. Für Alibaba Cloud bedeutet diese Auszeichnung eine Anerkennung der Tiefe ihrer Cloud- und KI-Angebote und -Strategie, ihrer bedeutenden globalen Präsenz sowie der Fähigkeit, ihren globalen Kunden eine breite Palette von Produkten und Dienstleistungen anzubieten.

  • Virtualisierte Workloads betreiben

    Red Hat hat ein Strategic Collaboration Agreement (SCA) mit Amazon Web Services (AWS) unterzeichnet. Dieses baut auf der langjährigen Partnerschaft der beiden Unternehmen auf und erweitert die Verfügbarkeit der Open-Source-Lösungen von Red Hat im AWS Marketplace.

  • Fivetran vereinfacht Datenintegration

    Fivetran, Unternehmen im Bereich modernes Data Movement, erzielte ein Wachstum von 40 Prozent gegenüber dem Vorjahr auf dem Amazon Web Services (AWS) Marketplace. Dies ist auf die steigende Nachfrage von Unternehmen nach künstlicher Intelligenz (KI) und Analysen zurückzuführen.

  • "Red Hat OpenShift Service on AWS"

    Red Hat hat ein Strategic Collaboration Agreement (SCA) mit Amazon Web Services (AWS) unterzeichnet. Dieses baut auf der langjährigen Partnerschaft der beiden Unternehmen auf und erweitert die Verfügbarkeit der Open-Source-Lösungen von Red Hat im AWS Marketplace.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen