一、天蝎1.0：整合度的權(quán)衡

時(shí)間追溯至2012年5月2日。

第三屆OCP峰會(huì)在圣安東尼奧召開，宣布騰訊和阿里巴巴成為正式會(huì)員，并開始籌劃Open Rack與天蝎項(xiàng)目的融合，期待能在2013年將兩個(gè)項(xiàng)目規(guī)范合并。這反映了雙方的共同意愿，不過，Open Rack與天蝎項(xiàng)目在設(shè)計(jì)理念上存在較大的分歧，而這又很大程度上是由不同的客觀環(huán)境決定的。

中國(guó)服務(wù)器廠商的老朋友Supermicro，已在2010年9月中旬舉行的秋季IDF上宣布推出SuperRack整機(jī)柜解決方案。Open Rack和天蝎整機(jī)柜服務(wù)器的定制性更強(qiáng)，不是直接把現(xiàn)有的機(jī)架式服務(wù)器裝滿機(jī)柜，而像是標(biāo)準(zhǔn)化程度更高、尺度更大的刀片式服務(wù)器，機(jī)柜好比刀片式服務(wù)器的機(jī)框（Blade Chassis），要整合供電、散熱、管理等“基礎(chǔ)設(shè)施”。

Open Rack只整合了供電單元（Power Supply Unit，PSU），而天蝎項(xiàng)目還集中了散熱（風(fēng)扇）和管理。

天蝎整機(jī)柜效果圖，機(jī)柜中部的PSU和RMC（中圖）、背面的風(fēng)扇墻（右圖）以及1U高的服務(wù)器節(jié)點(diǎn)（左圖）是其主要特征

1999年，Google的“軟木板”機(jī)柜服務(wù)器就已集中了風(fēng)扇。不過，Urs Hölzle等人當(dāng)時(shí)那么做多少有不得已的成分，畢竟軟木板服務(wù)器沒有機(jī)箱可以用來固定風(fēng)扇，既然機(jī)柜才是真正意義上的機(jī)箱，將風(fēng)扇集中安裝在機(jī)柜的后門上便是一個(gè)合乎實(shí)際情況的選擇。后來Google步入正軌，有足夠的時(shí)間規(guī)劃，做法也不再那么“山寨”，遂回歸到每個(gè)服務(wù)器節(jié)點(diǎn)自備風(fēng)扇的常規(guī)設(shè)計(jì)。

Facebook的服務(wù)器設(shè)計(jì)與Google頗有淵源，也影響到了Open Rack。將風(fēng)扇集中到機(jī)架后部，形成風(fēng)扇墻，至少有兩大好處：

- 可以使用更大尺寸的風(fēng)扇，具有更高的效率；

- 減少風(fēng)扇的數(shù)量，有助于控制需維護(hù)的故障單元。

浪潮SmartRack整機(jī)柜服務(wù)器的介紹材料，介紹了天蝎項(xiàng)目集中供電、散熱、管理的優(yōu)勢(shì)，數(shù)字僅供參考

既省電，又減少了活動(dòng)部件的數(shù)量，為什么還不集中呢？因?yàn)橐矌砹斯芾砩系奶魬?zhàn)——不同的服務(wù)器節(jié)點(diǎn)發(fā)熱量有區(qū)別，需要的風(fēng)扇轉(zhuǎn)速可能不同。特別是大直徑的風(fēng)扇會(huì)跨越多個(gè)服務(wù)器節(jié)點(diǎn)，即使把同樣構(gòu)造的節(jié)點(diǎn)放在一起，亦可能因?yàn)楣ぷ髫?fù)載不同，而需要不同的風(fēng)扇轉(zhuǎn)速，考慮最壞情況，必須就高不就低，仍然難以避免能耗的浪費(fèi)。

天蝎整機(jī)柜后部每排風(fēng)扇的供電線纜及管理用網(wǎng)線（來源：張廣彬拍攝）

利弊可以權(quán)衡，集中散熱必須提供配套的管理——風(fēng)扇墻是共享的，但要由RMC（Rack Management Controller，機(jī)柜管理控制器）或RBP（Rack Back Plane，機(jī)柜背板）實(shí)現(xiàn)獨(dú)立風(fēng)扇控制。天蝎1.0定義了機(jī)柜管理模塊（RMC Module），阿里巴巴、百度、騰訊和英特爾構(gòu)成的天蝎項(xiàng)目組2012年3月下旬起草初稿，經(jīng)過幾次修訂，2012年5月16日，完成《整機(jī)柜服務(wù)器管理RMC CLI規(guī)范》Version1.0。RMC不僅監(jiān)控節(jié)點(diǎn)（環(huán)境、CPU、內(nèi)存）溫度、電源和風(fēng)扇狀況，還有更新風(fēng)扇控制板固件、識(shí)別插入節(jié)點(diǎn)是否屬于本機(jī)柜、將位置信息刷入節(jié)點(diǎn)等管理功能。

百度北極1.0（上）和浪潮SmartRack 3.0（下）整機(jī)柜服務(wù)器中部的RMC（左側(cè)）及集中PSU（來源：張廣彬拍攝）

除了作為重要的發(fā)起者之一，百度在天蝎1.0時(shí)代是部署的絕對(duì)主力，并為天蝎項(xiàng)目貢獻(xiàn)了大量工程實(shí)踐和實(shí)驗(yàn)。譬如，供電系統(tǒng)中電源背板是單點(diǎn)，百度與供應(yīng)商合作，成功實(shí)現(xiàn)管理與銅排（busbar）的拆分，銅排基本不會(huì)壞，管理部分可以單獨(dú)更換，就不用冗余設(shè)計(jì)了，從而降低成本。從供電的角度來看，這種做法也可視為“控制和數(shù)據(jù)解耦”思路的一種體現(xiàn)。

二、天蝎2.0：內(nèi)寬與標(biāo)準(zhǔn)化

對(duì)于Open Rack將機(jī)架內(nèi)寬擴(kuò)大到21英寸的做法，天蝎項(xiàng)目一開始是拒絕的。

理由很簡(jiǎn)單，一個(gè)幾乎是全新的標(biāo)準(zhǔn)，初期注定沒有規(guī)模。量上不去，成本下不來。據(jù)說，Open Rack剛開始時(shí)，僅僅一個(gè)機(jī)柜的價(jià)格就要1500美元。從整個(gè)公司的層面來看，BAT對(duì)基礎(chǔ)設(shè)施還沒有Google、亞馬遜、Facebook那般重視，雖說多花錢是為了最終省錢，但何時(shí)能把多花的錢省回來？前瞻是好的，可超越權(quán)限太多的事，很難做成。

天蝎1.0基于流行的19英寸EIA 310-D標(biāo)準(zhǔn)機(jī)架，規(guī)范中要求機(jī)架承載能力不小于1200千克。內(nèi)寬21英寸會(huì)削弱機(jī)架的承重能力，這也是百度所擔(dān)心的。Supermicro的SuperRack同樣遵循EIA 310-D標(biāo)準(zhǔn)，一直發(fā)展到現(xiàn)在。

盡管機(jī)架標(biāo)準(zhǔn)不變，畢竟電源相關(guān)的部分和服務(wù)器節(jié)點(diǎn)都需要定制，初期還是會(huì)有采購(gòu)成本上升的問題。經(jīng)過內(nèi)部的說服和協(xié)調(diào)工作，百度表示可以接受采購(gòu)成本的小幅增長(zhǎng)，接下來是浪潮、廣達(dá)、富士康、華為、英業(yè)達(dá)等服務(wù)器OEM/ODM付出犧牲，用戶和廠商共同培育天蝎生態(tài)系統(tǒng)。

2012年12月，以天蝎1.0為主體的百度“北極”1.0開發(fā)完成，并上線200個(gè)機(jī)架，部署地點(diǎn)包括我們?cè)?013年1月11日參觀的百度南京浦口電信機(jī)房；2013年8月，又向內(nèi)蒙古機(jī)房交付數(shù)百套產(chǎn)品。在這些遠(yuǎn)離北京的區(qū)域（特別是內(nèi)蒙古），把大部分組裝工作轉(zhuǎn)移到工廠預(yù)先完成、現(xiàn)場(chǎng)快速部署可以顯著降低人力成本。與傳統(tǒng)的機(jī)架式服務(wù)器相比，天蝎整機(jī)柜服務(wù)器除了節(jié)能，還具有約10倍的交付效率，日交付量從原來的幾百臺(tái)，提高到3000臺(tái)（節(jié)點(diǎn)），乃至5000臺(tái)（天蝎2.0），對(duì)需要快速大批量部署的百度很有價(jià)值。

百度“北極”2.0、阿里Ali Rack、浪潮SmartRack 4.0，天蝎2.0樣機(jī)的正面與背面（來源：張廣彬拍攝）

然而，隨著天蝎項(xiàng)目的發(fā)展，Open Rack的前瞻性與大膽探索也逐漸得到驗(yàn)證。

Facebook認(rèn)為EIA 310-D標(biāo)準(zhǔn)的一大問題是過于寬泛，把高度、深度、安裝和布線方案以及連接器的規(guī)范都留給制造商去定義。類似的情況在“速成”的天蝎1.0上體現(xiàn)很明顯，因?yàn)椤短煨?xiàng)目整機(jī)柜服務(wù)器技術(shù)規(guī)格》V1.0只定義了框架設(shè)計(jì)，各廠商的結(jié)構(gòu)實(shí)現(xiàn)、散熱、供電、管理皆不統(tǒng)一，這使得運(yùn)維效率、部件通用性、散熱優(yōu)化、供電與散熱管理、可互換支持都成為新挑戰(zhàn)，也影響了生態(tài)系統(tǒng)的正常發(fā)展。

騰訊微模塊數(shù)據(jù)中心（TMDC）里的兩款整機(jī)柜服務(wù)器，左邊并排兩個(gè)大尺寸風(fēng)扇（172mm）的是華為Tecal X8000，右邊并排三個(gè)較小尺寸風(fēng)扇（140mm）的是戴爾DCS G5，可以直觀的感受到風(fēng)扇尺寸不同帶來的顯著差異（來源：張廣彬拍攝）

僅舉供電和散熱的兩個(gè)例子：供電方式和位置沒有規(guī)定，風(fēng)扇尺寸沒有規(guī)定。服務(wù)器節(jié)點(diǎn)的供電可以是銅排或背板，都是銅排位置又可能不一樣……如此種種，不一而足。作為一個(gè)整機(jī)柜規(guī)范，不能止于把供電單元和散熱風(fēng)扇集中起來，而應(yīng)把它們也都視為機(jī)架的組成部分，有統(tǒng)一的標(biāo)準(zhǔn)。這些都交給制造商去定義，那就要走上刀片式服務(wù)器的老路，與成立天蝎項(xiàng)目的初衷不合。

聯(lián)想的天蝎工程樣機(jī)，供電方面，1.0機(jī)型采用居中的背板，2.0機(jī)型采用靠左側(cè)的銅排（來源：張廣彬拍攝）

機(jī)架還是標(biāo)準(zhǔn)的，還沒裝服務(wù)器節(jié)點(diǎn)就互不兼容了，每家各有一套，規(guī)模自然上不去，成本怎么下得來？

標(biāo)準(zhǔn)化不徹底，顯然不是19英寸的問題。Facebook在第三屆OCP峰會(huì)上宣布提交給孵化委員會(huì)（Incubation Committee，IC）代號(hào)“Knox”的存儲(chǔ)項(xiàng)目——即后來的Open Vault，完整體現(xiàn)了Open Rack將內(nèi)寬拓至21英寸的價(jià)值。

如果不考慮通用機(jī)架式服務(wù)器為兩側(cè)導(dǎo)軌留出的空間，21英寸只比19英寸多出11%左右。但是我們知道，對(duì)服務(wù)器主板和3.5英寸硬盤等大尺寸元件，可不是這么算的。譬如英特爾從至強(qiáng)E5開始大量提供的6.5英寸寬（20英寸長(zhǎng)）主板，做成服務(wù)器的話，21英寸正好可以并排3個(gè)，而19英寸只能放2個(gè)，減少三分之一！

第六屆OCP峰會(huì)戴爾展臺(tái)上的DCS G5三大組件，內(nèi)框?qū)挾?1英寸。上面是RMC（左側(cè)）和集中的PSU，下面是1U3計(jì)算節(jié)點(diǎn)。隔壁是廣達(dá)展臺(tái)上的Yosemite（機(jī)箱）及Mono Lake（主板），這屆峰會(huì)上OCP推出的提升計(jì)算密度利器，后面部分簡(jiǎn)要評(píng)述（來源：張廣彬拍攝）

不過，BAT并不稀罕這個(gè)，因?yàn)樘煨?xiàng)目的計(jì)算密度已經(jīng)夠高，由于整機(jī)柜架構(gòu)的差異（后面會(huì)簡(jiǎn)要分析），短期內(nèi)OCP服務(wù)器有Open Rack助力也趕不上。如果在21英寸機(jī)架里進(jìn)一步增加服務(wù)器數(shù)量，雙路服務(wù)器從1U2變成1U3，整機(jī)柜對(duì)供電的需求可能超標(biāo)：假設(shè)80個(gè)（40×1U2）到120個(gè)（40×1U3），每節(jié)點(diǎn)按200W計(jì)，總能耗就從16kW增至24kW，不放滿或摻雜冷存儲(chǔ)節(jié)點(diǎn)的話實(shí)用意義又不大……畢竟，天蝎1.0規(guī)定的7～12KVA供電容量，對(duì)中國(guó)的絕大多數(shù)數(shù)據(jù)中心而言，已經(jīng)不低。

3.5英寸硬盤外寬4英寸，長(zhǎng)度接近6英寸。橫向放，要加上SAS/SATA接口和拔插的活動(dòng)空間，19英寸實(shí)際排不下3個(gè)，21英寸就很輕松；縱向放，21英寸可以放5個(gè)，19英寸則只能放4個(gè)，意味著最少20%的差距。

Ali Rack內(nèi)部節(jié)點(diǎn)供電的折線臂（Cable Arm，從前端抽出節(jié)點(diǎn)更換硬盤等部件時(shí)維持電力供應(yīng)）特寫，周邊可見前面橫排的3個(gè)3.5英寸（希捷SATA）硬盤、后面的銅排和3個(gè)140mm風(fēng)扇、兩側(cè)承載節(jié)點(diǎn)的L型隔板，都體現(xiàn)了天蝎2.0規(guī)范的特征（來源：張廣彬拍攝）

于是，從2012年12月30日匯總原始需求，中間經(jīng)過一次修訂，2013年10月完成了天蝎2.0規(guī)范Rev 0.5，相對(duì)天蝎1.0的主要改進(jìn)包括：

- 定義了2100mm、2300mm兩種高度的機(jī)柜，實(shí)際可用空間分別為42U和46U；

- 重新定義了機(jī)柜的內(nèi)部尺寸，統(tǒng)一為538mm（21英寸） 內(nèi)框；

- 重新定義了每U的高度為46.5mm；

- 增強(qiáng)了機(jī)柜背板功能，并可實(shí)現(xiàn)熱插拔維護(hù)；

- 服務(wù)器節(jié)點(diǎn)與機(jī)柜系統(tǒng)解耦，可實(shí)現(xiàn)服務(wù)器節(jié)點(diǎn)混插互換；

- 明確定義了風(fēng)扇的尺寸，統(tǒng)一為140×38(mm)規(guī)格（每行3個(gè)），風(fēng)扇窗高度4U，能夠以1U為單位固定或調(diào)整上下位置。

天蝎1.0（左，百度北極1.0）與天蝎2.0（右，浪潮SmartRack 4.0）整機(jī)柜對(duì)比，可以明顯看出內(nèi)框?qū)挾鹊牟町悾▉碓矗簭垙V彬拍攝）

內(nèi)框?qū)挾葟?9英寸到21英寸是個(gè)重大轉(zhuǎn)折，說明標(biāo)準(zhǔn)的延續(xù)性不好，但是該出手時(shí)不能猶豫。經(jīng)過機(jī)架和電源供應(yīng)商如臺(tái)達(dá)（Delta）與Facebook、Rackspace、Fidelity投資等客戶的實(shí)踐，21英寸內(nèi)框機(jī)架的成本已經(jīng)降低到BAT可以接受的程度，除了曾借助Supermicro方案的曙光暫時(shí)沒跟上節(jié)奏，聯(lián)想（Lenovo）、中興（ZTE）等國(guó)內(nèi)服務(wù)器OEM紛紛活躍起來。

46U的中興天蝎2.0工程樣機(jī)頂部特寫，注意右上方的U位編號(hào)（來源：張廣彬拍攝）

在這個(gè)過程中，天蝎聯(lián)盟的構(gòu)成也逐漸發(fā)生了改變。

從天蝎聯(lián)盟到ODCC

2012年9月，中國(guó)電信加入天蝎項(xiàng)目，中國(guó)移動(dòng)于2014年正式加入。

2013年4月10日召開的IDF 2013期間，陳曉建作為天蝎項(xiàng)目輪值主席亮相主題演講。在天蝎項(xiàng)目的創(chuàng)始人中，陳曉建業(yè)界資歷最深，又代表騰訊加入了OCP的孵化委員會(huì)，雖然是輪值主席，但大家都很樂于他繼續(xù)干下去。然而，沒過太久，陳曉建被調(diào)去騰訊云任副總經(jīng)理，2015年3月又加入U(xiǎn)Cloud任高級(jí)副總裁——巧合的是，同月加入平安科技(深圳)有限公司任基礎(chǔ)架構(gòu)首席總監(jiān)的朱永忠，距2014年8月調(diào)任百度大數(shù)據(jù)部高級(jí)總監(jiān)也沒多久。此前，朱永忠在百度系統(tǒng)部歷任高級(jí)經(jīng)理、副總監(jiān)、總監(jiān)、高級(jí)總監(jiān)，對(duì)魏偉、陳國(guó)峰等人負(fù)責(zé)的北極項(xiàng)目（百度版天蝎）給予了很大的支持。

人事變動(dòng)非外人可以參透，起碼新崗位應(yīng)該會(huì)從中受益。不過，這樣的結(jié)果，多少折射出即使在BAT，基礎(chǔ)設(shè)施工作也很難得到足夠的重視。

另一方面，進(jìn)入2014年之后，隨著天蝎2.0的成熟，阿里巴巴的積極性大幅提升。至少在推動(dòng)天蝎項(xiàng)目發(fā)展的意愿上，BAT難分高下，再加上電信和移動(dòng)，原來的協(xié)調(diào)機(jī)制很難繼續(xù)發(fā)揮作用。于是，負(fù)責(zé)制定標(biāo)準(zhǔn)的工信部電信研究院（中國(guó)信息通信研究院）也加入進(jìn)來，2014年8月29日在北京召開的開放數(shù)據(jù)中心2014峰會(huì)上，宣布成立開放數(shù)據(jù)中心委員會(huì)，英特爾仍擔(dān)任技術(shù)顧問。

開放數(shù)據(jù)中心委員會(huì)的人員構(gòu)成

天蝎聯(lián)盟變身開放數(shù)據(jù)中心委員會(huì)，工作覆蓋范圍也終于如最初設(shè)想般擴(kuò)展到數(shù)據(jù)中心。開放數(shù)據(jù)中心委員會(huì)（Open Data Center Committee，ODCC）下設(shè)服務(wù)器、數(shù)據(jù)中心、測(cè)試認(rèn)證三大工作組，服務(wù)器工作組可以視為天蝎項(xiàng)目的自然延續(xù)：百度張家軍出任服務(wù)器工作組組長(zhǎng)，阿里巴巴肖德芳也是天蝎項(xiàng)目創(chuàng)始人，擔(dān)任天蝎整機(jī)柜服務(wù)器項(xiàng)目經(jīng)理；中國(guó)移動(dòng)唐華斌擔(dān)任彈性服務(wù)器項(xiàng)目經(jīng)理，目前負(fù)責(zé)多節(jié)點(diǎn)服務(wù)器項(xiàng)目。

在開放數(shù)據(jù)中心2014峰會(huì)上，審批發(fā)布了天蝎2.0規(guī)范Rev 1.0，在前面版本的基礎(chǔ)上，主要改進(jìn)多了一項(xiàng)：

- 增加了機(jī)柜頂部擴(kuò)展功能，在交換機(jī)數(shù)量及節(jié)點(diǎn)數(shù)量無法滿足要求時(shí)，可在機(jī)柜頂部安裝固定交換機(jī)，總高度不超過2500mm。

規(guī)范的最后部分，還明確提出了對(duì)機(jī)房物理空間（包括電梯）的要求。

數(shù)據(jù)中心工作組的人數(shù)比服務(wù)器工作組多一倍，騰訊IDC平臺(tái)部技術(shù)發(fā)展中心副總監(jiān)朱華擔(dān)任組長(zhǎng)，加上張海濤、周洛，占據(jù)半壁江山；其他3人是阿里巴巴陳炎昌、百度李孝眾、英特爾張敬。測(cè)試認(rèn)證工作組的5人分別來自騰訊以外的5家組織。

（原文標(biāo)題：《BAT的故事(6):天蝎1.0到2.0的中國(guó)式標(biāo)準(zhǔn)之路》，有修改）
轉(zhuǎn)自：http://dc.idcquan.com/zjgfwq/73817.shtml