隨著高校信息化建設的不斷深入以及云計算、大數(shù)據(jù)、虛擬化的快速應用,對IT基礎設施提出了更高的要求,尤其在數(shù)據(jù)的安全性、可靠性方面,因此建設一個安全、綠色、智能、高效的數(shù)據(jù)中心成為了高校信息化發(fā)展的重中之重。本文以北京某大學IDC機房建設為例,探討高校IDC機房建設存在的問題,總結經(jīng)驗教訓。
鑒于學校數(shù)據(jù)中心各種業(yè)務需求的不斷發(fā)展與變化,各種新技術也在不斷出現(xiàn),故在機房設計時需考慮這些變化對資源需求的改變,以確保整個系統(tǒng)可靈活的擴展??紤]到未來不斷發(fā)展的需要及投資效益,在機房面積、電力供應、空調(diào)容量、通信點數(shù)等各個方面都應預留合理的余量及可擴充的靈活性,使計算機機房的投資及今后的發(fā)展都得到可靠的保障。因此本次選用的UPS、配電系統(tǒng)、網(wǎng)絡系統(tǒng)、制冷系統(tǒng)等都采用模塊化,在資金有限的前提下,為以后的擴展做好充分的準備。同時根據(jù)不同IT設備對配電和制冷量的需求,機房在建設時采用分區(qū)分級的設計模式,分為高密區(qū)、中密區(qū)、低密區(qū)三個區(qū)域,分別設計單機柜配電為15kW、6kW、3kW。高密區(qū)面向高性能計算、刀片柜等高用電量IT設備。中密區(qū)面向虛擬化、存儲等設備。低密區(qū)面向網(wǎng)絡設備、框架式服務器、安全設備等。中低密區(qū)PUE控制在1.8以內(nèi),高密區(qū)PUE控制在1.5以內(nèi)。
機房子系統(tǒng)設計
北京某大學2014年啟動新IDC機房建設,以安全、綠色、高效、智能為設計理念,2015年全面投入使用。機房總建筑面積約465平方米,分為主機房區(qū)、監(jiān)控區(qū)、配電室、消防室等功能區(qū),如圖1所示。機房設計定位為學校教學、科研服務器托管,要求建設一個布局合理、功能完備、設施先進、運行穩(wěn)定、使用靈活同時又能體現(xiàn)工藝精湛、美觀大方、綠色環(huán)保的符合國家相關機房標準的現(xiàn)代化計算機中心機房,反映出高性能綜合機房所有系統(tǒng)的安全性、功能性、先進性、穩(wěn)定性、開放性和可管理性。
電氣子系統(tǒng)
北京某大學IDC機房配電系統(tǒng)采用國家A級機房建設標準,配電系統(tǒng)由大樓配電室引兩路市電電源至機房配電室,電源容量為每路800kW,機房配電柜總開關采用1600A,配電室安裝兩臺400kVAUPS設備組成2N系統(tǒng)提供機房的電力保障。配電系統(tǒng)采用雙回路配電結構,一臺列頭配電柜引自UPS1輸出配電柜,另一臺列頭柜引自UPS2輸出配電柜。兩臺列頭柜內(nèi)的兩個獨立電氣單元分別通過工業(yè)連接器連接至機柜內(nèi)的PUD。每個配電回路均能滿足計算機機柜100%的用電負荷,任何一路空開或線路的故障均不影響另一路電源的正常使用。機房每個機柜的用電都經(jīng)過詳細測算,根據(jù)不同需求設計用電配制。設備配電表如表1所示。
UPS主要為網(wǎng)絡設備、計算機設備、監(jiān)控、門禁和應急照明系統(tǒng)等提供電源。UPS系統(tǒng)能夠在任何市電故障、應急發(fā)電機未啟動之前,保證為計算機負荷設備等重要設備提供不間斷的供電,同時做到穩(wěn)壓改善供電質(zhì)量的作用。本工程設計采用2臺400kVA模塊化UPS,電池按照系統(tǒng)滿載后備時間0.5小時配置。UPS主機、輸入輸出配電柜、蓄電池系統(tǒng)放置于數(shù)據(jù)中心配電室。UPS電源電纜采用專用屏蔽電力電纜沿機柜上的金屬橋架敷設到位,這種布線方式具有靈活方便、加線、改線、便于維修等功能,是機房內(nèi)為理想的一種布線方式。配電柜由自動空氣開關控制,設置過負荷、短路保護等功能,可實現(xiàn)遠程對電壓、電流監(jiān)控功能。
數(shù)據(jù)處理中心供配電系統(tǒng)是機房安全運行動力保證,本項目采用數(shù)據(jù)中心專用配電柜來規(guī)范數(shù)據(jù)中心供配電系統(tǒng),根據(jù)實際用電情況合理設計配電系統(tǒng)并配置相應輸入輸出配電柜,保證數(shù)據(jù)中心供配電系統(tǒng)的安全、合理。在機房供配電系統(tǒng)中,采用熱插拔式開關柜,減少由于調(diào)整變更帶來的不利影響。配電柜所設計的供電路數(shù),能足夠提供主機和外部設備的使用,各配電柜均預留有一定數(shù)量的備用開關,其中UPS輸出配電柜及主機房內(nèi)UPS區(qū)域配電柜各規(guī)格的備用輸出開關均不少于15%;
制冷子系統(tǒng)
數(shù)據(jù)中心機房A區(qū)共安裝53臺設備機柜,其中16臺高密度機柜,采用風冷冷凍水系統(tǒng)和行級精密空調(diào),剩余為中低密度機柜,精密空調(diào)地板下送風的制冷方式。B區(qū)機房安裝22臺設備機柜,采用精密空調(diào)地板下送風的制冷方式。A區(qū)高密區(qū)采用兩臺風冷冷凍水系統(tǒng)(1主1備),中低密區(qū)采用4臺精密空調(diào)(3主1備),B區(qū)采用4臺精密空調(diào)。
數(shù)據(jù)中心機房中低密區(qū)采用地板下送風的方式,地板高度為450mm,地板下作為靜壓箱,通過機柜前的開孔地板送風,從而實現(xiàn)空調(diào)對機柜的冷卻。機柜布局雖然為冷熱通道方式,但還是會出現(xiàn)冷風無效冷卻,而直接與熱風混合的現(xiàn)象,因此把兩排機柜中間的冷通道進行封閉,空調(diào)機組送出的冷風可以直接送到冷通道內(nèi)而進入服務器機柜,所有機柜排出的熱風被空調(diào)機組吸回。從而提高空調(diào)機組的回風溫度,提高空調(diào)機組的制冷能力,還可提高解決機柜更高功率密度的制冷能力。
高密區(qū)每機柜采用15kW的配電,對制冷要求極高,因此高密區(qū)采用冷通道封閉技術,制冷方式采用風冷冷水機組和機柜行級空調(diào),從而有效降低了冷熱風的混合,優(yōu)化了氣流組織,機柜級空調(diào)的回風溫度可由23℃提升到28℃甚至更高,而每提升1℃回風溫度,空調(diào)散熱量約提高3%~5%,在提升5℃的回風溫度下,空調(diào)制冷量將提升15%以上。
弱電子系統(tǒng)
本工程采用六類非屏蔽模塊化布線加多模光纖解決方案。綜合布線系統(tǒng)采用模塊化設計,機房均設置弱電列頭柜和網(wǎng)絡機柜,弱電列頭柜敷設銅纜和光纖至網(wǎng)絡機柜。數(shù)據(jù)中心機房共安裝有75臺設備機柜,其中9臺弱電列頭機柜和網(wǎng)絡機柜,其余66臺為服務器機柜,參考設備布置,設計線槽及信息點如下:普通服務器區(qū)每臺機柜設置36個銅纜信息點,其中24個網(wǎng)絡接口,12個KVM接口,匯集到弱電列頭柜。弱電列頭柜匯聚到本機房的網(wǎng)絡機柜。機房區(qū)域內(nèi)弱電線路采用機柜上走線方式,采用開放式線槽。每排機柜配置48芯多模光纖至核心交換機機柜。網(wǎng)絡設備采用兩臺數(shù)據(jù)中心級三層交換機虛擬成一臺,其余二層換交機按照每排機柜進行堆疊提高管理效率。二層交換機采用雙萬兆上連核心交換機,核心交換機雙萬兆上聯(lián)校園網(wǎng)核心交換機。為便于學校各單位遠程管理托管的IT設備,IDC機房配套了KVM系統(tǒng),使得每臺服務器可遠程安裝系統(tǒng)、開關機等操作,減少現(xiàn)場人員的運維成本。
智能監(jiān)控運維子系統(tǒng)
為保證數(shù)據(jù)中心機房安全穩(wěn)定工作,電氣系統(tǒng)、環(huán)境系統(tǒng)、制冷系統(tǒng)、安防系統(tǒng)等各子系統(tǒng)必須時時刻刻穩(wěn)定協(xié)調(diào)運行。如果機房動力及環(huán)境設備出現(xiàn)故障,輕則影響業(yè)務系統(tǒng)的正常運行,重則造成機房IT設備損壞、報廢,使系統(tǒng)陷入癱瘓,后果不堪設想,因此對IDC機房的各系統(tǒng)進行實時集中的監(jiān)控極其必要。機房環(huán)境及動力設備監(jiān)控系統(tǒng)主要是對機房設備,如配電系統(tǒng)、UPS電源、空調(diào)、消防系統(tǒng)、安防系統(tǒng)等的運行狀態(tài)、溫濕度、供電電壓電流等的狀態(tài)進行實時監(jiān)控并記錄歷史數(shù)據(jù),實現(xiàn)對機房遙測、遙控的管理功能,為機房高效、智能的管理和安全運營提供有力的保證。本項目使用智能監(jiān)控運維系統(tǒng)將傳統(tǒng)的應用監(jiān)控系統(tǒng)與環(huán)境動力監(jiān)控系統(tǒng)進行整合,實現(xiàn)對服務器、交換機、存儲、UPS設備、空調(diào)、溫濕度、視頻、門禁、漏水等的實時監(jiān)控,大大減少了人員的工作量。
IDC機房建設以綠色、安全、智能、高效為設計理念,配電、機柜等設施采用模塊化設計,便于擴展,同時進行了區(qū)域分級建設,引入智能監(jiān)控系統(tǒng),IDC機房的建成很好地滿足了學校教學、科研對IT基礎設施的需求。接下來學校將進一步對IDC機房進行節(jié)能方面進行優(yōu)化。
如果您對數(shù)據(jù)中心機房建設問題還想了解更多,您可以閱讀》》數(shù)據(jù)中心建設現(xiàn)狀 》》數(shù)據(jù)中心建設包括哪些內(nèi)容