2016年10月28日上午SPEC 2016亞洲峰會上，SPEC架構師Jeremy Arnold與SPEC開放系統(tǒng)委員會主席Steve Realmuto一起揭開了業(yè)界首個云平臺測試基準SPEC Cloud IaaS 2016的神秘面紗。

　　在會上Jeremy Arnold向大家詳細介紹了在Cloud IaaS 2016中的云計算基準測試指標，及制定這些指標的原因。Steve Realmuto就云計算基準測試的具體內(nèi)容和測試方法向大家做了詳細介紹。

　　首先，Jeremy Arnold在綜合介紹云計算、公有云、私有云與混合云后，向大家介紹了開放系統(tǒng)組（OSG）對云計算的觀點：白盒云（Whitebox Cloud）與黑盒云（Blackbox Cloud）。

　　白盒云一般來說，就是私有云。白盒云的用戶可以知道所有的軟件和硬件信息。比較像在一個典型的Benchmark環(huán)境中看到得那樣，用戶把軟件和硬件組合到一起，在這環(huán)境里面可以控制所有的事情。這與私云環(huán)境比較類似，你對軟件和硬件的配置會有一些控制權。

　　黑盒云，它一般來說是公有云的結(jié)構。比如說亞馬遜和谷歌的云，但它也有可能是一個托管的私有云。你可以來充分的使用云里面的資源，你也可以來購買云里面的時長，可以來購買云供應商的各種服務，你知道可以用什么樣的資源，但是你其實并不清楚這個云是如何被管理的，也不清楚它里面到底涵蓋哪一些資源。它其實就是一個黑盒子或者黑匣子，其實你不知道里面是什么。

　　無論是軟、硬件的信息都了解的白盒云還是對所有信息都一無所知的黑盒云，我們都想要對它去進行測量，測量什么？或者說云的Benchmark測試是什么呢？在SPEC的研究組委員會里面，對云計算有兩個不同的測試Benchmark “Scalability”和“Elasticity”。

　　Scalability可以看作在山上不斷的攀登，也就是說云可以持續(xù)不斷的處理各種需求，我們不斷來增加的Workload，這就稱作Scalability。

　　Elasticity是指隨著我們不斷的在云上增加越來越多的Workload，它的Scalability仍然是一致的。它的性能不會隨著Workload的增加，而有所降低。

　　在公共云上會有各種各樣的資源，可以把它稱作無限、無窮的，但仍然會有限值。比如說你采用的某一虛擬機，Scalability會在一定的范圍內(nèi)會達到一個限值。當然我們可以在公有云環(huán)境中，通過增添虛擬機的數(shù)量使處理能力不斷提升（增加Elasticity），但這樣做的成本也會不斷的攀升。同時還需要考慮性能的差異性。公有云中有其他租戶在不同時間使用云計算資源時，也會對用戶虛擬機Scalability造成不同的影響。

　　從另一方面來說，在私有云方面，我們獲得非常好的Elasticity，你可以控制每一件事情，這樣的話就確保Scalability不會有所改變，即使隨著Workload的增加，Scalability也不會有所改變，在私有云里面，你會對環(huán)境會有較多的控制權，這是跟公共云相比的。但是我們在私有云里面也是要考慮性能。

　　如何正確評估一個云，如何才能使Scalability與Elasticity更具實際意義。這也許是一個很大挑戰(zhàn)，包括SPEC云委員會以外的成員，都會覺得這是一個挑戰(zhàn)，有時候Benchmark相當于是在一個黑匣子的環(huán)境里面。你如何能夠做出這樣的Benchmark？你如何能夠把它跟其他的事情進行對比？當云計算環(huán)境進行工作的時候，工作的性能也需要得以測量。我們有時候會說，我們想要關注于云本身，而不是Workload上面，但是我們?nèi)匀恍枰?從Workload去評估云本身。

　　Cloud IaaS 2016 Benchmark要做的就是可以在任何一個云計算資源上進行測量，同時把這結(jié)果進行一個文件編撰。在這測試過程中，云的本身不會被改變。但是我們希望還是有一個初始配置的Elasticity來做為評估的基準。并且在未來，我們會設計更多的Workload測評方法，來應對云計算技術快速發(fā)展。所以說這個Benchmark會不斷的進行調(diào)整，在未來我們看新的Cloud IaaS Benchmark，會有新的Workload在這上面。

　　接下來由Steve Realmuto向我們介紹了SPEC Cloud IaaS 2016 Benchmark有關于Scalability與Elasticity的評估方式。

　　Cloud IaaS 2016測試基準基于YCSB（Yahoo Cloud Serving Benchmark）+Cassandra分布式數(shù)據(jù)庫，Cassandra由Facebook開發(fā)，在各個運營商中的應用十分廣泛。而且，OSG cloud小組進行了大量的調(diào)整，例如在原有的YCSB基準中，數(shù)據(jù)庫的讀寫操作比例為7:3，Cloud IaaS 2016的讀寫比例調(diào)整為95:5，這樣比例更符合實際應用場景。

　　SPEC Cloud_IaaS可以模擬多種I/O和CPU密集型云計算工作負載，模擬標準社交媒體NoSol數(shù)據(jù)庫應用場景，對云計算軟、硬件產(chǎn)品的多種性能指標進行Benchmark測試。協(xié)助用戶更加全向的對云計算產(chǎn)品進行深入了解。同時也可以協(xié)助云計算廠商，對自身產(chǎn)品進行完善，盡量減少現(xiàn)實運營過程中，云計算系統(tǒng)故障的發(fā)生。

　　SPEC Cloud IaaS在設計時充分考慮了不同用戶的技術水平，既可以實現(xiàn)測試環(huán)境的自動部署及運行，自主測試及輸出測試報告，也可以依據(jù)用戶特殊需求手動配置運行環(huán)境，既適合一般大型客戶及研究機構使用，也可以滿足中小型企業(yè)的測試需求。