Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden

Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen

Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.

Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>

Meldungen: Unternehmen

Cloud-basierte digitale Geschäftslösungen
CGI wurde im IDC MarketScape Report "Worldwide Cloud Professional Services 2024 Vendor Assessment" als Major Player eingestuft (1). Die Hauptstärken von CGI im Bereich Cloud liegen in der Fähigkeit, mit Kunden zusammenzuarbeiten, um innovative Cloud-basierte digitale Geschäftslösungen schnell und in großem Umfang zu entwickeln, bereitzustellen und zu verwalten.
Kooperationen rund um Cloud-Infrastruktur
Die Materna-Gruppe, ein familiengeführter und seit Jahrzehnten erfolgreicher deutscher IT-Dienstleister sowie Systemhaus mit spezialisierten Töchterunternehmen (u. a. Materna Virtual Solution, agineo und cbs) und Stackit, datensouveräne Cloud-Anbieterin von Schwarz Digits, beschließen eine umfangreiche strategische Partnerschaft.
Kriterien für datenschutzkonforme Messenger
Der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI) hat sein Konsultationsverfahren zum Prüfkatalog von Messengerdiensten gestartet. Fachanwendende sowie die Zivilgesellschaft sind eingeladen, den Katalog zu kommentieren.
Cloud-Strategie der Bundesdruckerei
secunet stellt für die Bundesdruckerei-Gruppe, das Technologieunternehmen des Bundes, souveräne Cloud-Services zur Verfügung. Diese werden insbesondere Behörden und Verwaltungen mit hohen Verfügbarkeitsanforderungen angeboten.
Sichere Cloud-Infrastruktur von AWS
Claroty, Spezialistin für die Sicherheit von cyber-physischen Systemen (CPS), und Amazon Web Services (AWS) haben eine mehrjährige strategische Zusammenarbeit vereinbart. Das Strategic Collaboration Agreement (SCA) unterstreicht das gemeinsame Ziel, Unternehmen bei der digitalen Transformation zu unterstützen, indem sie das volle Potenzial der Cloud ausschöpfen.
Die neuen Möglichkeiten durch KI
Im Automobilsektor fallen durch die immer weiter zunehmenden Fähigkeiten von Fahrzeugen und digitalen Dienstleistungen immer mehr Daten an. Um diese gewinnbringend und heute auch KI-basiert verarbeiten zu können, sind die Hersteller auf sichere und effiziente Cloud-Lösungen angewiesen.
Cloud Computing ist allgegenwärtig
Der C5-Kriterienkatalog, abgekürzt für Cloud Computing Compliance Controls Catalogue, setzt Maßstäbe für exzellente IT-Sicherheit in der Cloud-Branche. Die erfolgreiche Testierung bescheinigt den vier Unternehmen der Schiffl group die lückenlose und stringente Implementierung dieser anspruchsvollen Standards.
AWS zum Schutz cyber-physischer Geräte
Claroty, Spezialistin für die Sicherheit von cyber-physischen Systemen (CPS), und Amazon Web Services (AWS) haben eine mehrjährige strategische Zusammenarbeit vereinbart. Das Strategic Collaboration Agreement (SCA) unterstreicht das gemeinsame Ziel, Unternehmen bei der digitalen Transformation zu unterstützen, indem sie das volle Potenzial der Cloud ausschöpfen.
Breitere Unterstützung für SaaS-Integration
Hycu, Anbieterin von moderner Data Protection für On-Premises-, Cloud- und SaaS-Dienste, ist im 2024 Gartner Magic Quadrant for Enterprise Backup and Recovery Software Solutions als Visionär eingestuft worden. Das Unternehmen wurde in diesem Bericht zum dritten Mal in Folge als Visionär eingestuft.
MSPs als wertvolle Partner
KMU sehen großes Potenzial in KI-Tools und MSPs können davon profitieren. So lautet die Kernaussage der aktuellen "KI-Trends 2024 bei KMU"-Studie von Pax8. Im Auftrag des Cloud-Marketplace untersuchte Channelnomics die Investitionsstrategie kleiner und mittelständischer Unternehmen in Bezug auf Künstliche Intelligenz. KMU investieren demnach bereits in passende Software, beispielsweise Machine-Learning-Anwendungen oder virtuelle Assistenten, und wollen es auch zukünftig in großem Stil tun.

SD-WAN und moderne Sicherheitsfunktionen Vereinheitlichung von Multi-Cloud-Umgebungen