摘要 背景介紹 解決方案介紹 客戶收益 企業(yè)級云數(shù)據(jù)中心底層基礎(chǔ)架構(gòu)資源池建設(shè)解決方案
摘要
企業(yè)級云數(shù)據(jù)中心需要針對不同的云服務(wù),根據(jù)用戶需求、虛擬化、大數(shù)據(jù)和AI的等應(yīng)用場景和軟件架構(gòu)需求,以及不同的硬件特點,設(shè)計不同的資源池,支撐不同的云服務(wù),帶來更優(yōu)化、高性價比的企業(yè)級云服務(wù)。
背景介紹
AI時代,企業(yè)級云數(shù)據(jù)中心不只需要能夠提供計算、網(wǎng)絡(luò)、存儲、大數(shù)據(jù)服務(wù),還需要能夠提供如圖像識別、人臉識別、視頻內(nèi)容分析,以及能夠模擬人腦進(jìn)行分析學(xué)習(xí)的深度學(xué)習(xí)等服務(wù)。
建設(shè)這樣一個既能夠提供AI服務(wù)、大數(shù)據(jù)服務(wù)、又能滿足企業(yè)級核心業(yè)務(wù)需要的云數(shù)據(jù)中心,它的底層基礎(chǔ)架構(gòu)資源池究竟該如何搭建呢?
解決方案介紹
那么現(xiàn)在就以建設(shè)一個千臺規(guī)模的數(shù)據(jù)中心為例來進(jìn)行介紹!
首先把云數(shù)據(jù)中心的基礎(chǔ)設(shè)施按照業(yè)務(wù)類型進(jìn)行劃分,如下圖的這八類資源池,當(dāng)然可以更多或更少:
高密度虛擬化計算資源池
這個比較好理解,主要是部署虛擬化。采用標(biāo)準(zhǔn)X86服務(wù)器,在單臺物理機虛擬化的基礎(chǔ)上增加集群的模式,將加入集群的眾多物理機進(jìn)行資源池化,統(tǒng)一調(diào)度管理。
虛擬化主要適用于要求資源相對較少且規(guī)格種類多、可以重新分配調(diào)度資源的環(huán)境,便于資源的合理、充分利用,也便于后期業(yè)務(wù)擴展所需的資源動態(tài)調(diào)整。
虛擬化計算資源包括:
通用型服務(wù)器:為運維管理、虛擬主機、內(nèi)存對象緩存服務(wù)等提供基礎(chǔ)計算能力;
混合型服務(wù)器:為同時需要高IO和大容量存儲的云服務(wù)提供基礎(chǔ)計算能力,可使用SSD硬盤和SATA硬盤混搭的方式,利用SSD的高IO能力和大容量SATA磁盤各自優(yōu)勢;
網(wǎng)絡(luò)型服務(wù)器:為網(wǎng)絡(luò)控制器、安全、負(fù)載均衡等高網(wǎng)絡(luò)帶寬要求的云服務(wù)提供基礎(chǔ)計算能力。
可根據(jù)選用虛擬化技術(shù)的不同劃分為不同的虛擬化資源池,例如VMWare和KVM兩個資源池區(qū)域。
高密度虛擬化資源池按照業(yè)務(wù)用途可以分別連接共享存儲及分布式存儲,在多個機房分別建設(shè),其中共享存儲部分設(shè)計可以考慮具備雙活能力,分布式存儲考慮雙中心互聯(lián)。
高性能分布式計算資源池
高性能分布式計算資源池主要支撐數(shù)據(jù)倉庫、大數(shù)據(jù)處理、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用,此類大數(shù)據(jù)處理操作對海量數(shù)據(jù)的查詢、檢索、分析、挖掘的性能要求高,適合用分布式并行計算框架進(jìn)行計算。
高性能分布式計算資源池,底層采用標(biāo)準(zhǔn)的X86服務(wù)器,通過部署集群管理系統(tǒng),將各高性能計算資源按照集群進(jìn)行整合,承載海量數(shù)據(jù)存儲和實時查詢分析任務(wù),對外提供統(tǒng)一服務(wù)。
分布式計算資源包含:
計算I/O型服務(wù)器:為分布式數(shù)據(jù)庫服務(wù)、大數(shù)據(jù)計算服務(wù)等需要高I/O的云服務(wù)提供基礎(chǔ)計算能力;
計算存儲型服務(wù)器:為運維管理、非結(jié)構(gòu)化對象存儲、離線計算服務(wù)等需要大容量存儲的云服務(wù)提供基礎(chǔ)計算能力。
高性能數(shù)據(jù)庫計算資源池
高性能數(shù)據(jù)庫計算資源池,針對傳統(tǒng)業(yè)務(wù)中對Oracle等高性能數(shù)據(jù)庫業(yè)務(wù)的應(yīng)用需求,對服務(wù)器等硬件的CPU、內(nèi)存、網(wǎng)絡(luò)和存儲性能有著嚴(yán)格要求,從而劃分部分以物理資源為主的高性能數(shù)據(jù)庫資源區(qū),包括物理服務(wù)器和高性能存儲陣列,為高性能需求的各類數(shù)據(jù)庫服務(wù),以及非結(jié)構(gòu)化數(shù)據(jù)存儲提供計算資源服務(wù)。
高性能數(shù)據(jù)庫資源池采用關(guān)鍵計算服務(wù)硬件架構(gòu),采用業(yè)界先進(jìn)的高速互聯(lián)設(shè)計,提供了強大的計算處理能力。系統(tǒng)中關(guān)鍵部件均實現(xiàn)容錯設(shè)計,從芯片級、鏈路級、模塊級、系統(tǒng)級四方面RAS特性,可靠性達(dá)99.999%以上。關(guān)鍵計算服務(wù)硬件性能強勁,穩(wěn)定可靠,是信息化核心數(shù)據(jù)庫系統(tǒng)的理想平臺。
異構(gòu)計算資源池
針對大量應(yīng)用系統(tǒng)所需圖像處理、深度學(xué)習(xí)等人工智能技術(shù)需求,而建設(shè)的異構(gòu)計算資源池集群,主要是指帶有GPU、FPGA、MIC等異構(gòu)計算能力的服務(wù)器集群。
深度學(xué)習(xí)技術(shù)是需要模擬人腦進(jìn)行分析學(xué)習(xí)而構(gòu)建深度神經(jīng)網(wǎng)絡(luò),讓機器能夠像人一樣思考,需要進(jìn)行海量數(shù)據(jù)的模型訓(xùn)練和推理,對計算資源要求十分巨大。
隨著要處理數(shù)據(jù)規(guī)模的增大,GPU在高性能服務(wù)器上應(yīng)用已逐漸成為現(xiàn)代數(shù)據(jù)中心規(guī)劃的主流,GPU已廣泛應(yīng)用在圖像增強處理、圖像目標(biāo)搜索、深度學(xué)習(xí)等領(lǐng)域。
分布式存儲資源池
分布式存儲基于SDS理念,在配置多塊大容量硬盤的服務(wù)器上部署存儲軟件,對外提供塊存儲、對象存儲、文件存儲功能,為業(yè)務(wù)部門提供塊存儲和非結(jié)構(gòu)化數(shù)據(jù)存儲能力。
非結(jié)構(gòu)化數(shù)據(jù)宜采用分布式存儲系統(tǒng),典型如對圖片數(shù)據(jù)、語音數(shù)據(jù)等。
分布式存儲系統(tǒng)主要具有易擴展、超大容量及高帶寬特點,通過軟件定義存儲引擎來承載各種軟件功能,物理硬件資源與軟件資源緊密配合,達(dá)到快速響應(yīng)前端應(yīng)用、存儲大量數(shù)據(jù)的目的,解決了非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量較大,在存儲時對容量及系統(tǒng)帶寬要求較高的問題。
統(tǒng)一存儲資源池
關(guān)鍵數(shù)據(jù)存儲和虛擬化重要業(yè)務(wù)應(yīng)用存儲采用共用集中存儲的形式。
共享存儲基于SAN存儲實現(xiàn)為傳統(tǒng)應(yīng)用提供數(shù)據(jù)庫及虛機支撐,多中心間FC鏈路互聯(lián)具備承載應(yīng)用雙活的能力。
統(tǒng)一存儲資源池可以利用共享存儲豐富的軟件功能,在存儲端對數(shù)據(jù)進(jìn)行優(yōu)化:
1) 共享存儲具備自動精簡配置功能。
2) 共享存儲具備熱點數(shù)據(jù)自動分層功能。
3) 共享存儲具備存儲虛擬化整合功能,能夠?qū)Σ煌拇鎯聧u進(jìn)行統(tǒng)一整合管理,降低管理成本、提高靈活性和磁盤利用率、改進(jìn)性能、以及簡化遷移等目的。
共享存儲雙活能力使數(shù)據(jù)能在數(shù)據(jù)中心之間共享、存取或移動,利用跨數(shù)據(jù)中心的存儲虛擬化功能和數(shù)據(jù)鏡像功能,結(jié)合上層應(yīng)用集群,使兩個存儲系統(tǒng)都處于運行狀態(tài),可同時承擔(dān)相同業(yè)務(wù),提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率。
網(wǎng)絡(luò)資源池
網(wǎng)絡(luò)資源池采用SDN+NFV+VxLAN技術(shù),通過在通用服務(wù)器上部署網(wǎng)絡(luò)功能軟件,實現(xiàn)虛擬網(wǎng)絡(luò)功能,為支持OpenFlow協(xié)議的交換設(shè)備分發(fā)網(wǎng)絡(luò)配置,實現(xiàn)網(wǎng)絡(luò)的靈活定義。通過網(wǎng)絡(luò)資源池化和大二層技術(shù),虛擬機可以在各數(shù)據(jù)中心之間進(jìn)行無用戶感知漂移,實現(xiàn)網(wǎng)絡(luò)即服務(wù)。
多數(shù)據(jù)中心間采用兩家不同運營商裸光纖互聯(lián),部署波分復(fù)用設(shè)備互聯(lián),應(yīng)用跨中心集群部署,通過數(shù)據(jù)復(fù)制技術(shù)、跨中心共享存儲技術(shù)和虛擬機遷移技術(shù)來保證各中心的數(shù)據(jù)一致性和應(yīng)用雙活。
安全資源池
安全資源池通過部署統(tǒng)一安全資源池通集成虛擬防火墻、虛擬化IPS等安全防護功能,通過軟件定義安全,實現(xiàn)云平臺南北向、東西向的安全防護。
客戶收益
這樣建設(shè)的好處也非常多,如:
1) 充分滿足AI、大數(shù)據(jù)、虛擬化、關(guān)鍵計算等企業(yè)級典型云服務(wù)業(yè)務(wù)需求;
2) 合理利用不同的硬件特點,為不同的云服務(wù)提供底層硬件支撐;
3) 減少硬件浪費,并降低純低端硬件的不穩(wěn)定性和性能風(fēng)險;
4) 兼容現(xiàn)有架構(gòu)的業(yè)務(wù)應(yīng)用系統(tǒng),例如基于Oracle等開發(fā)的業(yè)務(wù)系統(tǒng);
5) 降低業(yè)務(wù)大規(guī)模改造風(fēng)險和時間成本,不必一刀切全部云化,當(dāng)然如果需要直接進(jìn)行業(yè)務(wù)分布式云化改造,也可以完全支撐;
6) 適合企業(yè)級業(yè)務(wù)需求的數(shù)據(jù)中心建設(shè)架構(gòu);
……