Kubernetes

Kubernetes
Maintainer	Cloud Native Computing Foundation
Entwickler	Google
Erscheinungsjahr	2014
Aktuelle Version	1.29 (13. Dezember 2023)
Programmiersprache	Go
Kategorie	Container-Orchestrierung
Lizenz	Apache License 2.0
Deutsch	nein
Website	kubernetes.io

Kubernetes (kurz K8s) ist ein Open-Source-System um Container wie Docker (bis Kubernetes Version 1.20) oder CoreOS (rkt) automatisch zu verteilen, zu skalieren und zu verwalten. Das System wurde ursprünglich von Google entwickelt und wird von der Cloud Native Computing Foundation (CNCF) der Linux Foundation verwaltet. Weitere Partner sind unter anderem AT&T, Box, Cisco, Cloud Foundry Foundation, CoreOS, Cycle Computing, Docker, eBay, Goldman Sachs, Huawei, IBM, Intel, Joyent, Kismatic, Mesosphere, Red Hat, Switch SUPERNAP, Twitter, Univa, VMware und Weaveworks.

Architekturdiagramm von Kubernetes

Der Quellcode von Kubernetes steht auf GitHub zur Verfügung. Kubernetes ist größtenteils in Googles Programmiersprache Go implementiert und steht unter der Apache License 2.0. Der Name Kubernetes stammt aus dem Griechischen und bedeutet etwa Steuermann oder Pilot. Mit Plattformen wie den Open-Source-Plattformen OpenFaaS, Fission, OpenWhisk und Kubeless lassen sich FaaS-Anwendung (Function as a Service) mit Kubernetes kombinieren. In die Linux-Distribution Ubuntu integriert das britische Unternehmen Canonical die Container-Lösungen MicroK8s und Charmed Kubernetes. MicroK8s ist für Edge-Umgebungen und IoT-Anwendungen gedacht, Charmed Kubernetes hingegen für Multi-Cloud- und Hybrid-Cloud-Produktionsumgebungen.

Geschichte

Kubernetes wurde von Google im Jahr 2014 als Project Seven gestartet und basiert auf Googles 15-jähriger Erfahrung mit ihrer Lösung namens Borg. Eric Brewer von Google stellte Kubernetes im Juni 2014 auf einer Konferenz in San Francisco vor. Am 6. April 2015 kündigte CoreOS Inc. Tectonic an. CoreOS Inc. stellte mit Tectonic ein Werkzeug zur Verwaltung von Container-Flotten vor. Kubernetes übernimmt dabei die Orchestrierung. Google stellte über seine eigene Risikokapital-Gesellschaft Google Ventures für Tectonic 12 Millionen US-Dollar bereit, weitere acht Millionen steuerten andere Investoren bei. Am 21. Juli 2015 wurde Kubernetes 1.0 veröffentlicht.

Der britische Linux-Distributor Canonical stellte am 27. September 2016 eine kommerziell unterstützte Distribution mit Kubernetes vor. Am 14. Dezember 2016 wurde Kubernetes in der Version 1.5 veröffentlicht. StatefulSet (früher PetSet) und PodDisruptionBudget erreichten mit Version 1.5 den Betastatus. Funktionalitäten wie die Unterstützung von Windows Server 2016-Nodes mit Windows Server Containers wurden als Alpha veröffentlicht. Am 28. März 2017 wurde Kubernetes in der Version 1.6 veröffentlicht. Ab Version 1.6 unterstützt Kubernetes dank etcd v3 von CoreOS Cluster mit bis zu 5.000 Knoten und etwa 150.000 Pods. Mit Federeration können mehrere Cluster über einen API-Endpunkt angesprochen werden. Die Cluster können sich auf mehrere Rechenzentren verteilen. Die rollenbasierte Zugriffskontrolle (RBAC) und das Kommandozeilenwerkzeug kubefed wurden als Beta veröffentlicht. StorageClass und die dynamische Volume-Provisionierung sind mit Version 1.6 als stabil gekennzeichnet. Die Version 1.6 installiert standardmäßig StorageClass-Objekte für AWS, Azure, GCP, OpenStack und VMware vSphere. Weiterhin werden ScaleIO (Plugin), Portworx (Plugin) und NFSv3, NFSv4 sowie GlusterFS (mit den COS Node Image) unterstützt. In Kubernetes Version 1.7 vom 29. Juni 2017 sind unter anderem erweiterte Security-Features und Stateful Workloads hinzugekommen. Gespeicherte Daten können nun verschlüsselt werden (Data at Rest), die Implementierung hat allerdings noch Alpha-Status. Im Oktober 2017 wurde auf der DockerCon EU 2017 in Kopenhagen bekannt gegeben, dass die Containerplattform Docker in Zukunft die Orchestrierungsplattform Kubernetes unterstützen wird. Die eigene Orchestrierungsvariante Docker Swarm wird damit nicht von Docker aufgegeben. Beide Orchestrierungswerkzeuge sollen zusammenarbeiten können. Ebenfalls im Oktober 2017 veröffentlichte Red Hat mit CRI-O (CRI = Container Runtime Interface) eine "schlanke" Laufzeitumgebung für Kubernetes.

Anfang 2018 veröffentlichte die 2005 gegründete Puppet Labs, Inc. für deren Administrationsprogramm Puppet zwei neue Module, die es ermöglichen, Kubernetes-Cluster einfacher und schneller aufzusetzen. Die Module laufen ab Puppet 4.2.1 und ab Puppet Enterprise 2015.2. Bereits Ende 2015 veröffentlichte Puppet ein Modul zur Verwaltung von Kubernetes. Anfang 2018 übernahm Red Hat den Container-Spezialisten CoreOS für einen Preis von 250 Millionen US-Dollar. Am 24. Mai 2018 wurde Containerd 1.1 veröffentlicht. Anwender und Entwickler dürfen Containerd 1.1 damit offiziell als Container Runtime in Kubernetes Clustern einsetzen. Damit vereinfacht sich der zugrundeliegende Architektur-Stack gegenüber der ursprünglichen Dockershim-Implementierung nochmals. Das nächste Release der Docker CE wird Containerd 1.1 samt standardmäßig aktiviertem CRI-Plugin enthalten. Containerd 1.1 benötigt mindestens Kubernetes 1.10 und unterstützt sämtliche Kubernetes-Funktionen. Google bietete mit Kubernetes Engine eine gemanagte Kubernetes-Variante in der Google Cloud an. Am 21. Mai 2018 wurde Version 1.10 der Google Kubernetes Engine veröffentlicht. Am 19. Juni 2018 kam die Verfügbarkeit von GPUs in Googles Kubernetes-Engine-Plattform hinzu. Mit Kubernetes 1.11 vom 27. Juni 2018 sind das auf IP Virtual Server (IPVS) basierende In-Cluster Load Balancing und das CoreDNS-Plug-in als stabil freigegeben worden. Die dynamische Kubelet-Konfiguration liegt mit 11.1 in einer Betavariante vor und das Container Storage Interface (CSI) wurde verbessert. Am 29. August 2018 wurde von CNCF auf der Open Source Summit für Nordamerika bekannt gegeben, dass Google Cloud den Besitz und das Management der Kubernetes Cloudressourcen an die CNCF übergibt. Google unterstützt die Übergabe mit Google Cloud Platform Credits im Wert von 9 Millionen US-Dollar über drei Jahre. Nach einer Umfrage wurde Kubernetes zum damaligen Zeitpunkt von mehr als der Hälfte der Fortune 100-Unternehmen eingesetzt. Am 28. September 2018 wurde Kubernetes 1.12 veröffentlicht. Diese Version unterstützt Azure Virtual Machine Scale Sets (VMSS) zum Erstellen und Verwalten homogener VM-Pools. Kubelet TLS Bootstrap ist nun generell verfügbar. Damit sind Kubelets in der Lage, sich selbst in einen TLS-gesicherten Cluster zu laden.

Am 22. Januar 2019 gab das openSUSE Kubic Team bekannt, dass am Tag zuvor Kubic von der CNCF als Kubernetes-Distribution zertifiziert wurde. Kubic beruht auf einem Kernsystem namens MicroOS und ist die erste Kubernetes-Distribution, die Podman mit der Container-Laufzeitumgebung CRI-O anstelle von Docker verwendet. Mit Kubernetes 1.14 vom 25. März 2019 ist die Unterstützung für Windows Nodes für den Produktionsbetrieb freigegeben. Damit unterstützt Kubernetes nun Linux-Container als auch Windows-Container, sodass Unternehmen die Applikationen beider Systeme nutzen nicht mehr unterschiedliche Container-Orchestrierungen einsetzen müssen. Kubernetes 1.14 unterstützt Windows Server 2019 für Worker Nodes sowie Container und bietet außerdem ein Out-of-Tree Networking mit Azure-CNI, OVN-Kubernetes und Flannel. Die Unterstützung für Persistent Local Volumes ist mit Version 1.14 ebenfalls stabil. Damit lassen sich lokal verankerte Speicher als persistente Volume-Source verwenden. Am 24. April 2019 kündige das 2014 gegründete Unternehmen Rancher Labs mit k3OS eine Mischung aus Kubernetes- und Linux-Distribution an. Dazu wird die kurz zuvor veröffentlichte Kubernetes-Distribution k3s mit den Werkzeugen und dem Packaging von Alpine sowie einem Ubuntu-Kernel kombiniert. Am 6. Mai 2019 kündigte Microsoft das von Red Hat unterstützte Open-Source-Projekt KEDA (Kubernetes-based event-driven autoscaling) an. Mit KEDA automatisiert Microsoft die Container-Skalierung in Kubernetes-Clustern. Anstelle der reaktiven Skalierung von Kubernetes eröffnet KEDA eine an den eingehenden Events ausgerichtete frühzeitigere Anpassung der Containerinstanzen im Kubernetes-Cluster. Neue Deployments erkennt KEDA automatisch und startet das Monitoring der verschiedenen Ereignisquellen. KEDA unterstützt Kafka, Azure Queues, Azure Service Bus, RabbitMQ, HTTP und Azure Event Grid/Cloud Events. Die Unterstützung weiterer Lösungen ist geplant. In Version 1.15 vom 19. Juni 2019 sind neue Kubectl-Kommandos als eine von mehreren vorbereitenden Maßnahmen rund um die geplante generelle Verfügbarkeit von Custom Resource Definitions (CRDs) und Admission Webhooks hinzugekommenen. Das auf OpenAPI basierende Validierungsschema in CRDs soll auf das Konzept des Structural Schema überführt werden. In kubeadm steht nun unter anderem High Availability (HA) als Beta-Funktion zur Verfügung.

Im August 2019 stellt VMware auf der VMworld in San Francisco einen Umbau von vSphere auf Kubernetes mittels Project Pacific vor. Die Integration von Kubernetes als Kern von vSphere soll auf der API- und UI-Ebene sowie der zentralen Virtualisierungsebene ESXi erfolgen. Mit Tanzo Mission Control sollen sich alle Kubernetes-Cluster einheitlich über vSphere, VMware PKS (Pivotal Kubernetes Service), Public-Clouds, Managed-Services und Packaged Distributions hinweg transparent managen lassen. In Kubernetes Version 1.16 vom 18. September 2019 stehen CRDs nun generell zur Verfügung und bilden die neue Basis für Extensions im Kubernetes-Ökosystem. Der Umbauprozess für Third Party Resources gilt mit 1.16 als abgeschlossen. Der Active Directory Group Managed Service Account (GMSA) ist nun in der Beta-Phase. Dieser ermöglicht GMSA Windows-Containern authentifizierten Zugriff auf externe Ressourcen, bietet eine automatische Passwortverwaltung, eine vereinfachte Verwaltung von Service Principal Name (SPN) und erlaubt die Delegation der Verwaltung an andere Administratoren. Im Alpha-Status sind unter anderem Endpoint Slices als Alternative zu den Endpoint-Ressourcen hinzu gekommen. Am 2. März 2020 wurde das Toolkit Kubeflow 1.0 veröffentlicht. Das Open-Source-Projekt ermöglicht es, Machine-Learning-Workflows auf Kubernetes auszurollen. Kubeflow wird u. a. von Mitarbeitern von Google, Microsoft, IBM und Cisco entwickelt. Im März 2020 veröffentlichte der Plattformanbieter Cloud Foundry die Distribution KubeCF. Die Distribution der Cloud Foundry Application Runtime läuft auf Kubernetes und verknüpft Cloud Foundry mit Kubernetes. In Kubernetes 1.18 vom 25. März 2020 sind 38 Verbesserungen eingeflossen, 15 davon sind in einem stabilen Status übergegangen. Kubernetes unterstützt nun das CSI-Proxy für Windows in einer Alpha-Version. Das CSI-Proxy unterstützt Container dabei, Storage-Aufgaben auf Windows durchzuführen, auch wenn sie dafür eigentlich nicht privilegiert sind. Mit dem ebenfalls neuen Topology-Manager können Kubernetes-Anwender eine NUMA-Anordnung (Non-uniform memory access) ihrer CPUs und Geräte gewährleisten. So lassen sich auch Workloads durchführen, die für Entwicklungsumgebungen mit geringer Latenz ausgelegt sind. Am 31. März 2020 stellte Google das Management-Framework kpt als Open Source unter die Apache Software License 2.0. Das seit 2014 entwickelte Tool dient zum Paketieren von Kubernetes-Manifestdateien.

Mit Kubernetes 1.19 vom 26. August 2020 ist der Kubernetes Ingress Controller dem Beta-Stadium entwachsen. Ebenfalls als stabil gilt nun die Funktion, Übergänge von einer Beta- zu einer stabilen Version automatisch verfolgen und darauf reagieren zu können, die automatische Rotierung von Zertifikat/Schlüsselpaar bei Ablauf des Zertifikats und der NodeRestriction-Admission-Controller. Die Sicherheitseinrichtung im Linux-Kernel seccomp (Security Computing Mode) hat mit dieser Version auch GA-Status (General Availability). Das Zeitfenster für den Long-Term Support wurde von neun Monaten auf ein Jahr verlängert. Mit dem von Red Hat entwickelten OpenShift 4.6 vom 27. Oktober 2020 und dem Windows Machine Config Operator (WMCO) lassen sich Linux- und Windows-Anwendungen containerisieren. Windows-Anwendungen müssen nicht mehr in VMs laufen. Mit Kubernetes 1.20 vom 8. Dezember 2020 wurde die Unterstützung von Docker offiziell beendet. Für Kubernetes ist die bereits seit 2018 existierende alternative High-Level-Runtime Containerd wichtiger. Somit funktioniert Docker nicht mehr als Laufzeitumgebung in Kubernetes. Größere Projekte wie Red Hat und Suse verzichten bereits seit geraumer Zeit auf Docker und setzen auf Alternativen wie CRI-O. In Kubernetes 1.21 vom 8. April gab es 51 Neuerungen, davon sind 13 nun als stabil eingestuft, wie z. B. die CronJobs-API, Immutable Secrets und ConfigMaps. Einzelne Secrets und ConfigMaps lassen sich abweichend vom Standard nun als unveränderlich (immutable) markieren. Da solche markierten Secrets nicht weiter überwacht werden, verbessert das die Performance von Clustern. Das Kubernetes-Team wechselte mit dieser Version auf einen neuen Modus, bei dem die Community neue Features und Bugs zur Veröffentlichung freigibt.

Im April 2021 wechselte Kubernetes auf einen neuen Veröffentlichungszyklus. Statt einer neuen Version pro Quartal sind nun drei Versionen pro Jahr geplant. Die erste Version im neuen Zyklus ist Kubernetes 1.22 vom 4. August 2021. Darin gab es 53 Neuerungen, dabei sind 13 Features wie Server-side Apply in den stabilen Status übergegangen. In Kubernetes 1.23 vom 7. Dezember 2021 sind elf Funktionen wie der Dual-Stack-Betrieb im Cluster, der horizontalen Pod-Autoscaler und generische Ephemeral Volumes stabilisiert worden. 19 neuen Funktionen wie die serverseitige Validierung von Feldern, die Anbindung an OpenAPI v3 und das Validieren von CRDs mit der Common Expression Language (CEL) kamen hinzu. 17 Funktionen wechselten aus der Alpha- in die Betaphase. Der FlexVolume-Treiber wurde auf den Status veraltet gesetzt uns sollte durch CSI ersetzt werden. In Kubernetes 1.24 (Stargazer) vom 3. Mai 2022 wurde wie geplant die Docker Engine und der zur Kompatibilität mit dem CRI notwendigen Dockershim entfernt. Wer auf die Docker Engine angewiesen ist, kann die von Mirantis und Docker entwickelten cri-dockerd ein Ersatz für die Dockershim einsetzen. Die Anbindung an OpenAPI v3, gRPC Probes und der Kubelet Credential Provider sind in Kubernetes 1.24 in den Betastatus gegangen. Neue APIs im Betastatus werden seit dieser Version nicht mehr automatisch aktiviert. Am 5. Juni 2022 gab die Apache Software Foundation (ASF) die Version 1.0.0 des Apache Flink Kubernetes Operator frei. Damit können Entwickler Flink-Cluster auf Kubernetes verwalten. Am 23. August 2022 erschien Kubernetes 1.25 (Combiner). Darin wurden 40 Erweiterungen eingearbeitet, dreizehn davon wie der Pod Security Admission Controller und Ephemeral Container gelten nun offiziell als stabil. cgroups v2 wird nun vollständig unterstützt. In Kubernetes 1.26 (Codename Electrifying) vom 9. Dezember 2022 hat das CRI die stabile Version 1.0 erreicht. Da Kubelet keine Nodes mehr registriert, wenn die Container-Runtime nicht vollständig kompatibel zu CRI v1 ist, wird containerd bis Version 1.5 nicht mehr unterstützt. Die Container Image Registry registry.k8s.io ist nun Standard, sie ermöglicht schnellere Downloads und die Verteilung von Lasten über mehrere Cloud-Anbieter und Regionen hinweg. Mit Kubernetes 1.26 wird der cosign-Signierprozess auf alle Client-, Server- und Quellcode-Tarballs, Binary-Artefakte, Software Bills of Material (SBOMs) sowie den Build-Ursprung ausgeweitet. Das erhöht die Sicherheit. Offizielle Container Images werden bereits seit Kubernetes 1.24 signiert.

Am 11. April 2023 erschien Kubernetes 1.27 (Chill Vibes). Mit dieser Version gilt die alte Container Image Registry k8s.gcr.io nun als eingefroren. 60 Funktionen wurden in dieser Version mit Neuerungen versehen, davon wurden 13 stabilisiert, 29 in den Beta-Status erhoben und 18 Alpha-Features eingeführt. Zu den Alpha-Features zählt Node-Log-Zugriff mithilfe der Kubernetes-API. In Kubernetes 1.28 Planternetes vom 15. August 2023 wurden zwölf bestehende Features stabilisiert und 14 Features in den Beta- sowie 19 Features in den Alpha-Status überführt. Als stabil gilt nun das Aufräumen nach dem unerwarteten Beenden eines Node und das Neustarten von Stateful Workloads auf einem anderen Node. Auch dann, wenn sich ein Node in einem nicht-wiederherstellbaren Zustand befindet. Ebenfalls stabil ist in dieser Version die automatische, rückwirkende Zuweisung einer standardmäßigen StorageClass. Mit einer StorageClass kann man die "Klassen" von Speicher beschreiben, die sie anbieten. Das ist etwa im Hinblick auf Quality-of-Service-Levels oder Backup-Richtlinien sinnvoll. In Kubernetes 1.29 Mandala (The Universe) vom 13. Dezember 2023 wurden elf neue stabile, 19 Beta- und 19 Alpha-Features veröffentlicht. KMS v1 ist nun standardmäßig deaktiviert, alle Kubernetes-Ressourcen sollten nur noch mit KMS v2 verschlüsselt werden. Mit ReadWriteOncePod steht nun ein vierter Speicherzugriffsmodus zur Verfügung.

Versionen (Auswahl)

Version	Datum
1.8	29. September 2017
1.9	16. Dezember 2017
1.10	27. März 2018
1.11	27. Juni 2018
1.12	28. September 2018
1.13	3. Dezember 2018
1.14	25. März 2019
1.15	19. Juni 2019
1.16	18. September 2019
1.17	9. Dezember 2019
1.18	25. März 2020
1.19	26. August 2020
1.20	8. Dezember 2020
1.21	8. April 2021
1.22	4. August 2021
1.23	7. Dezember 2021
1.24	3. Mai 2022
1.25	23. August 2022
1.26	9. Dezember 2022
1.27	11. April 2023
1.28	15. August 2023
1.29	13. Dezember 2023

Weblinks

• https://kubernetes.io/
• Kubernetes bei X/Twitter

• Die Grundbegriffe von Kubernetes | heise Developer
• Kubernetes: News, Ratgeber und Tipps | heise online
• YouTube - The Illustrated Children's Guide to Kubernetes