OpenStack社區(qū)的許多成員正在為與容器相關(guān)的各種OpenStack項(xiàng)目貢獻(xiàn)新代碼，評(píng)估容器的含義和優(yōu)勢(shì)，以及在生產(chǎn)中使用容器來(lái)解決挑戰(zhàn)和解鎖新功能。本節(jié)重點(diǎn)介紹一些有意思的案例研究。
AT＆T
AT＆T是全球最大的電信公司之一，利用容器技術(shù)部署和管理OpenStack，依靠基礎(chǔ)設(shè)施容器提高簡(jiǎn)單性和效率，目的是在容器化的OpenStack上構(gòu)建5G基礎(chǔ)設(shè)施。
為了實(shí)現(xiàn)目標(biāo)，AT＆T正在使用OpenStack-Helm項(xiàng)目在Kubernetes集群中編排基于LOCI的OpenStack鏡像，同時(shí)也利用Kubernetes、Docker和核心OpenStack服務(wù)。他們還在使用Bandit、Tempest、Patrole和其他許多OpenStack項(xiàng)目。 AT＆T還與社區(qū)合作推出一系列名為Airship的undercloud項(xiàng)目，該項(xiàng)目將提供從裸機(jī)到運(yùn)行OpenStack工作負(fù)載的生產(chǎn)級(jí)Kubernetes的云。
AT＆T發(fā)現(xiàn)容器化使自己能夠?qū)鹘y(tǒng)的部署類型活動(dòng)轉(zhuǎn)移到左側(cè)，并使用CI / CD對(duì)其進(jìn)行驗(yàn)證。Kubernetes還提供了大規(guī)模的可擴(kuò)展性和彈性，以及允許OpenStack-Helm聲明性地配置運(yùn)維行為、注入配置并完成滾動(dòng)升級(jí)和更新（而不影響租戶工作負(fù)載）的鉤子。
利用容器技術(shù)來(lái)部署和管理OpenStack不應(yīng)該對(duì)租戶產(chǎn)生太多明顯的影響 ——除了它們將擁有更高彈性的平臺(tái)，并且能夠更頻繁地獲得云功能并且以最小的中斷時(shí)間獲得。AT＆T運(yùn)維團(tuán)隊(duì)將把他們的更多努力轉(zhuǎn)向定義網(wǎng)站聲明性配置，并讓面向Kubernetes的自動(dòng)化自行進(jìn)行部署。
AT＆T的目標(biāo)是利用這種架構(gòu)來(lái)支持虛擬網(wǎng)絡(luò)功能。AT＆T容器化網(wǎng)絡(luò)云的初始用例將是新興5G網(wǎng)絡(luò)的VNF初始部署。OpenStack一直以來(lái)都非常適合AT＆T聚焦于VNF的云用例。容器化只是一次演進(jìn)，它允許AT＆T以更可靠、快速、零接觸的方式部署、管理和擴(kuò)展其OpenStack基礎(chǔ)設(shè)施。
在運(yùn)維上，AT＆T仍在測(cè)試這種方法，但已承諾在年底之前將5G服務(wù)投入生產(chǎn)。OpenStack和容器技術(shù)將成為這項(xiàng)服務(wù)的支柱，對(duì)于AT＆T數(shù)百萬(wàn)用戶而言，這一戰(zhàn)略非常重要。部署5G服務(wù)將展示OpenStack和容器在大規(guī)模分布式生產(chǎn)環(huán)境中的相關(guān)性。
CERN
CERN讓物理學(xué)家和工程師利用世界上最大、最復(fù)雜的科學(xué)儀器研究物質(zhì)的基本成分——基本粒子而探索宇宙的基本結(jié)構(gòu)。CERN云為物理學(xué)家提供科學(xué)計(jì)算的計(jì)算資源，分析來(lái)自大型強(qiáng)子對(duì)撞機(jī)和其他實(shí)驗(yàn)的數(shù)據(jù)。
CERN自2013年起開(kāi)始在生產(chǎn)中運(yùn)行OpenStack，現(xiàn)在正在為單個(gè)云中的虛擬機(jī)、裸機(jī)和容器提供服務(wù)。容器可以在虛擬機(jī)上運(yùn)行，也可以裸機(jī)運(yùn)行，具體取決于使用情況，它們?nèi)客ㄟ^(guò)OpenStack Magnum提供�？梢赃x擇不同的容器技術(shù)，包括Kubernetes、Docker Swarm和DC / OS。
CERN目前運(yùn)行著在OpenStack之上的、通過(guò)Magnum提供的250個(gè)容器集群。
CERN的OpenStack云為用戶提供自助服務(wù)訪問(wèn)，可以通過(guò)一些命令或通過(guò)Web GUI請(qǐng)求配置好的容器引擎。這允許用戶快速利用這些技術(shù)，并且如果需要可以擴(kuò)展到1000個(gè)節(jié)點(diǎn)。最佳實(shí)踐配置包含在內(nèi)置監(jiān)控中，并集成在CERN存儲(chǔ)和認(rèn)證服務(wù)中。
要高效運(yùn)行此資源池和無(wú)需額外運(yùn)維人力即可對(duì)其進(jìn)行伸縮，就需要采用一致的管理流程和工具。通過(guò)Magnum在OpenStack之上添加容器可以使服務(wù)能夠使用之前開(kāi)發(fā)的自動(dòng)化，例如硬件修復(fù)過(guò)程和一致的授權(quán)模型，同時(shí)支持根據(jù)用戶需求快速地重新分配資源。
CERN是一個(gè)公共資助的實(shí)驗(yàn)室，Kubernetes和OpenStack等開(kāi)源解決方案提供了一個(gè)框架，讓它可與其他組織合作并回饋社區(qū)。 CERN與許多供應(yīng)商（如Rackspace和華為）通過(guò)CERN openlab框架合作，提供具有Magnum和聯(lián)合等功能的大規(guī)模云。這些經(jīng)驗(yàn)也通過(guò)OpenStack特別興趣小組、Kubecon Europe等公開(kāi)演講和OpenStack in Production等博客共享。
在CERN，一些工作負(fù)載在Magnum提供的容器中運(yùn)行，包括：
- Reana /Recast。這些工具提供了執(zhí)行高能物理中可重用工作流程的框架。容器能夠?qū)⒎治鲕浖蛿?shù)據(jù)打包在一個(gè)易于共享的單元中，并且易于擴(kuò)展內(nèi)部部署和使用外部資源。工作計(jì)劃為基于Yadage Workflows（支持分析和數(shù)據(jù)保存活動(dòng)）的Kubernetes作業(yè)。
- Spark即服務(wù)。最近，Kubernetes被添加為Spark的資源管理器。Spark可以將驅(qū)動(dòng)程序和執(zhí)行程序作為pod生成，而Kubernetes負(fù)責(zé)調(diào)度和生命周期。 CERN IT部門的一個(gè)團(tuán)隊(duì)正在開(kāi)發(fā)一項(xiàng)服務(wù)，讓用戶可以使用OpenStack Magnum按需創(chuàng)建Kubernetes集群，并在Kubernetes上部署Spark，以安全的方式提供與CERN專用文件系統(tǒng)和數(shù)據(jù)源的所有必需集成。使用很少的命令，用戶可以有效地創(chuàng)建具有所需大小的Spark部署（僅在需要的時(shí)候），并且可以在運(yùn)行的時(shí)候伸縮部署。
- LHC實(shí)驗(yàn)檢測(cè)器觸發(fā)模擬LHC升級(jí)。LHC將在2020年左右進(jìn)行亮度升級(jí)。CERN已經(jīng)創(chuàng)建了大規(guī)模Kubernetes集群來(lái)模擬ATLAS實(shí)驗(yàn)的不同方法并驗(yàn)證設(shè)計(jì)，從而對(duì)Kubernetes和OpenStack組件進(jìn)行了一些精細(xì)調(diào)整。
- Gitlab Continuous Integration Runner。Gitlab使用戶能夠構(gòu)建CI / CD作業(yè)并在共享或項(xiàng)目特定的runner上執(zhí)行它們。CERN用戶可以利用CERN容器服務(wù)來(lái)測(cè)試和構(gòu)建軟件，構(gòu)建和發(fā)布容器鏡像和文檔，或設(shè)置管理整個(gè)應(yīng)用生命周期的復(fù)雜管道，包括自動(dòng)部署到不同的環(huán)境中。
- 聯(lián)合Kubernetes和外部云。CERN使用聯(lián)合的Kubernetes集群來(lái)支持多云操作。如Kubecon 2018所展示的，多個(gè)集群可跨使用不同技術(shù)的云無(wú)縫集成，包括AWS、GCE和OpenStack云（如CERN和T-Systems Open Telekom Cloud）。
- 將虛擬機(jī)、容器引擎和裸機(jī)集成到一個(gè)框架下，可以輕松查看使用情況記帳、所有權(quán)和配額。Kubernetes的Manila存儲(chǔ)驅(qū)動(dòng)程序允許透明地提供文件共享。 這既支持IT部門的容量規(guī)劃，又支持實(shí)驗(yàn)資源協(xié)調(diào)員確定其工作組的優(yōu)先級(jí)。 資源管理政策，例如工作人員離職時(shí)的重新分配或資源到期等，均采用一致的工作流程進(jìn)行處理。
SK Telecom
韓國(guó)最大的電信運(yùn)營(yíng)商SK Telecom（SKT）一直在探索在Kubernetes上部署OpenStack的優(yōu)化方法，目的是在2018年底之前將核心業(yè)務(wù)功能放到容器化OpenStack上。SKT利用Kolla和Openstack-Helm，部署由Kubespray自動(dòng)完成。SKT將近100％的開(kāi)發(fā)工作投入OpenStack-Helm，并與AT＆T密切合作，以使OpenStack-Helm成功。
SKT還將其他工具整合到他們的OpenStack on Kubernetes工作中。對(duì)于日志記錄、監(jiān)控和報(bào)警，他們使用Prometheus和Elasticsearch、Fluent-bit和Kibana——這些都是OpenStack-Helm社區(qū)中的默認(rèn)參考工具。SKT將所有這些整合成到一個(gè)稱為TACO：SKT All Container OpenStack的單一封閉集成解決方案中。
SKT特別重視圍繞Kubernetes上容器化的OpenStack的自動(dòng)化持續(xù)集成/連續(xù)交付（CI / CD）管道。SKT的CI系統(tǒng)由Jenkins、Rally、Tempest、Docker Registry以及Jira和Bitbucket組成。SKT還開(kāi)發(fā)了一個(gè)名為Cookiemonster的開(kāi)源工具，這是一款彈性測(cè)試工具，用于Kubernetes部署，為CI管道執(zhí)行彈性測(cè)試。
每次更改，SKT都會(huì)自動(dòng)構(gòu)建并測(cè)試OpenStack容器和Helm chart。每天，他們會(huì)自動(dòng)安裝具有三個(gè)控制節(jié)點(diǎn)和兩個(gè)計(jì)算節(jié)點(diǎn)的高可用性O(shè)penStack部署，從Tempest運(yùn)行400個(gè)測(cè)試案例來(lái)驗(yàn)證服務(wù)，最后使用Cookiemonster和Rally運(yùn)行彈性測(cè)試。完整的CI系統(tǒng)如下圖所示：
SKT用Armada自動(dòng)化部署——這是Airship的一個(gè)子項(xiàng)目，是由AT＆T在社區(qū)中推出的新開(kāi)放式基礎(chǔ)設(shè)施項(xiàng)目。SKT正在與社區(qū)合作，根據(jù)其生產(chǎn)用途為項(xiàng)目提供增強(qiáng)功能。
在實(shí)際使用中，SKT已經(jīng)看到了在Kubernetes上部署OpenStack的許多好處，包括：簡(jiǎn)單和容易的安裝；集群自動(dòng)修復(fù)；能夠升級(jí)和更新OpenStack，而對(duì)正在運(yùn)行的服務(wù)的影響最小；快速采用先進(jìn)的發(fā)布；通過(guò)容器隔離完成對(duì)Python依賴關(guān)系的自動(dòng)化管理；安全的秘密和配置管理；快速而靈活地推出集群更新。
SKT還在測(cè)試這種方法，但正在積極推進(jìn)在生產(chǎn)環(huán)境中運(yùn)行OpenStack-Helm部署。到今年年底，SKT將至少有三個(gè)生產(chǎn)集群，2019年將有第四個(gè)也是最大的集群群。這些用例包括：大數(shù)據(jù)平臺(tái)（計(jì)劃于2018年第四季度上線）、虛擬桌面基礎(chǔ)設(shè)施平臺(tái)（2018年第四季度生產(chǎn)就緒）、通用內(nèi)部私有云（計(jì)劃于2018年第三季度上線）、基于虛擬網(wǎng)絡(luò)功能的電信網(wǎng)絡(luò)基礎(chǔ)設(shè)施（計(jì)劃于2019年開(kāi)放）。
SKT還試圖通過(guò)使用容器化VNF并利用容器的自動(dòng)修復(fù)和快速擴(kuò)展功能來(lái)提高電信基礎(chǔ)設(shè)施運(yùn)維的自動(dòng)化程度。為了允許基于虛擬機(jī)的VNF和容器化VNF進(jìn)行交互，作為OpenStack虛擬網(wǎng)絡(luò)解決方案的Simplified Overlay Network Architecture（SONA）將支持虛擬機(jī)和容器之間的通信。SONA使用Kuryr項(xiàng)目來(lái)集成OpenStack和Kubernetes，并使用軟件定義的網(wǎng)絡(luò)技術(shù)優(yōu)化網(wǎng)絡(luò)性能。
總的來(lái)說(shuō)，SKT發(fā)現(xiàn)Kubernetes可以幫助解決部署和運(yùn)維OpenStack的許多復(fù)雜問(wèn)題。簡(jiǎn)化OpenStack為他們提供了強(qiáng)大的方法來(lái)為5G時(shí)代提供先進(jìn)的基礎(chǔ)設(shè)施創(chuàng)新。將重點(diǎn)放在Kubernetes上的Openstack，SKT顯著提高了轉(zhuǎn)向容器內(nèi)微服務(wù)的能力，有望提供可以交付AI、物聯(lián)網(wǎng)和機(jī)器學(xué)習(xí)的關(guān)鍵基礎(chǔ)設(shè)施。
Superfluidity
Superfluidity項(xiàng)目由來(lái)自12個(gè)歐洲國(guó)家的18個(gè)合作伙伴組成。它旨在增強(qiáng)實(shí)時(shí)實(shí)例化服務(wù)的能力，在網(wǎng)絡(luò)中的任何位置運(yùn)行它們，并將它們透明地轉(zhuǎn)移到不同的位置。SUPERFLUIDITY是一個(gè)Europoean Resaerch項(xiàng)目，試圖通過(guò)利用和延伸眾所周知的開(kāi)源項(xiàng)目來(lái)構(gòu)建5G網(wǎng)絡(luò)的基礎(chǔ)設(shè)施塊。SUPERFLUIDITY將提供融合的基于云的5G概念，可實(shí)現(xiàn)移動(dòng)邊緣的創(chuàng)新用例，支持新業(yè)務(wù)模式，并降低投資和運(yùn)營(yíng)成本。
為了實(shí)現(xiàn)這些目標(biāo)，項(xiàng)目聯(lián)盟正在從傳統(tǒng)的基于VM的應(yīng)用程序轉(zhuǎn)向云原生容器化的應(yīng)用程序。Kuryr是OpenStack虛擬機(jī)、Kubernetes和OpenShift容器化服務(wù)之間的橋梁。
該項(xiàng)目利用ManageIQ（作為中央網(wǎng)絡(luò)功能虛擬化編排器（NFVO）），用于應(yīng)用程序部署和生命周期管理的Ansible，包括Heat、Neutron和Octavia在內(nèi)的OpenStack服務(wù)，以及用于VM和容器集成的OpenShift Kubernetes。
通過(guò)利用從ManageIQ設(shè)備執(zhí)行的Ansible playbook，SUPERFLUIDITY提供了部署應(yīng)用程序的通用方法。這些應(yīng)用程序反過(guò)來(lái)使用由OpenStack Heat模板和OpenShift模板提供的云編排功能。
該聯(lián)盟在容器內(nèi)部署5G云無(wú)線接入網(wǎng)絡(luò)（CRAN）和移動(dòng)邊緣計(jì)算（MEC）組件。它還在分布式基礎(chǔ)設(shè)施之上部署高吞吐量應(yīng)用程序，如視頻流。
應(yīng)用交付向云原生方式的轉(zhuǎn)變，允許我們快速和靈活地安裝SUPERFLUIDITY。它可以實(shí)現(xiàn)從基于VM的應(yīng)用程序和組件到容器的平穩(wěn)過(guò)渡，并保持多用性，從而為某些特定應(yīng)用程序啟用VM。這些應(yīng)用程序的例子有，單路輸入/輸出虛擬化（SRIOV）所需的特殊安全保護(hù)或網(wǎng)絡(luò)加速。
在規(guī)模性能測(cè)試中，SUPERFLUIDITY能夠以22個(gè)pod/秒的速度啟動(dòng)大約1000個(gè)pod（從創(chuàng)建到運(yùn)行的時(shí)間）。在OpenStack管理的虛擬機(jī)上運(yùn)行OpenShift（Kuryr扮演pod網(wǎng)絡(luò)驅(qū)動(dòng)程序的角色，以避免雙重封裝性能問(wèn)題），可以實(shí)現(xiàn)這一卓越性能。
結(jié)論
在過(guò)去的幾年中，隨著容器成為開(kāi)發(fā)人員和企業(yè)的重要工具，OpenStack已經(jīng)利用其模塊化設(shè)計(jì)和廣闊的社區(qū)集成了許多層次的容器技術(shù)。 這表現(xiàn)在，各種機(jī)構(gòu)和組織將容器和OpenStack投入生產(chǎn)，以及使用容器來(lái)交付新功能的項(xiàng)目數(shù)量增加。OpenStack基金會(huì)致力于確保新興技術(shù)能夠在OpenStack中得到整合和使用，而容器是這一承諾的重要例子。
