混合云之下,DeepFlow全網流量采集成為頭部企業的“心頭好”

2020年05月12日 15:43:03  來源:中網資訊科技
 

  引言

  混合云趨勢下,數據中心的網絡流量監控正在變得越來越復雜。

  據咨詢機構Enterprise Management Associates調研顯示,在企業上云之前,大多數企業已經采用了4-10個工具來監控網絡并進行排障。當多云環境和混合IT架構來臨時,網絡復雜程度成倍增加,傳統的以設備為中心的網絡監控工具,開始無法滿足云環境所需的可見性,而企業也很難把越來越零碎的網絡監控工具融合在一起。

  那么,混合云下的網絡流量監控到底應該怎么做?對于采用了多云環境的企業而言,是否存在一種基于“全景”的網絡監控解決方案,能夠讓復雜的網絡環境變得易于管理呢?

  暴漲的虛擬網絡流量,缺失的全網流量監控

  一直以來,網絡流量的采集和分析,是企業數據中心基礎設施不可或缺的監控手段。通過對網絡流量的深度分析,企業能夠更好地定位網絡故障、優化網絡和業務性能指標。

  然而,自2019年以來,來自金融、電信、IDC等行業的一線從業者,卻對“云環境下的網絡流量采集”這一課題,保持著集體性的高度關注。對于這些IT水平走在各行業前列的大型機構來說,一個老生常談的網絡流量監控領域,到底出了什么問題?

  在過去,國內企業數據中心普遍采用傳統三層IT架構,對網絡流量的監控,主要是通過網絡物理交換機鏡像來獲取業務交互的東西向(相對于數據中心出口的南北流量而言)流量,然后將采集到的流量給到分析工具。

  隨著企業數據中心架構逐漸云化,網絡流量的采集和分析隨之發生了巨大的變化:云計算環境下,部分東西向的流量不再經過物理交換機。同時,虛擬機的上線、下線、擴容、遷移、切換等操作頻繁,均為自動化實現,而傳統的靜態鏡像無法跟隨虛擬機實現同步的動態部署,也就無法采集到所需的流量。換句話說,傳統的基于物理交換機鏡像的網絡流量監控方式,在云環境中開始失效。

  此外,云端暴增的虛擬網絡流量,也讓傳統的鏡像監控方式難以承受。據艾瑞咨詢《2020年中國數據中心行業發展洞察報告 》指出,云化推動數據中心向大規模機房演進,目前數據中心東西向流量已經超過南北向流量。在傳統鏡像方式下,大規模的東西向流量通過物理交換機端口被引向虛擬機或服務器進行集中處理,由于對端口消耗過大,嚴重影響了網絡設備的性能和穩定性。

  值得注意的是,混合云環境下的網絡架構更為復雜,想要基于企業現有的監控工具實現端到端的診斷,幾乎成了一個不可能完成的任務。在混合IT架構下,企業云數據中心可能包括OpenStack、VMware、裸金屬、容器等異構IT資源池,涉及業務區、互聯網接入區、外聯區、DMZ區等多種網絡區域劃分,網絡環境正在變得越來越規模巨大、層級復雜且多變。

  從企業現有的網絡監控工具看,無論是日志管理、網絡性能管理、應用性能管理等工具,還是云廠商提供的流量采集和分析工具,都是各自為陣,無法為企業梳理出完整的業務流量訪問路徑,來實現基于混合IT的全網流量監控,更不用提在多云環境中能掌握全局化的、精細化的網絡管理能力。

  據Forrester調研報告顯示,12%使用現代基礎設施監控工具的受訪者表示,他們仍然難以獲得端到端的可見性和擴展性以支持整個企業網絡運維。這種局限性,隨著企業數據中心云化進程的深入,暴露得愈發明顯。

  越來越多的企業意識到,在混合云環境中實現全網流量監控,并不是一件輕松的事情。

  企業IT歷史包袱下,全網流量監控改造之痛

  云環境下全網流量監控的缺失,讓企業如鯁在喉。大型金融機構、電信運營商、IDC運營商,以及采用了混合云和云原生技術的行業頭部企業,都在急切地尋求解決方案。

  然而在企業IT歷史包袱下,改造之路何談容易?

  從建設的角度看,企業經過多年的信息化建設,積累了大量的軟硬件IT資產,并形成了較為固定的IT管理方式。企業更多考慮的是,如何在保持現有的網絡設備投資和監控方式的基礎上實施改造。這就要求新的網絡解決方案,能夠與現有的IT軟硬件設備和監控工具無縫對接,并盡可能輕量級的部署,不干擾現有的生產環境。

  從部署的角度看,云業務帶來了大規模的、彈性的虛擬網絡流量,那么云環境下的流量監控方案也需要隨云而動,一方面能夠在IT異構環境中靈活部署,并隨著虛擬機、容器等資源的實時變化而彈性伸縮;另一方面,也需要降低對計算、存儲、帶寬等資源的占用,不能影響現網中運行的業務。

  從安全的角度看,大規模的部署、靈活的虛擬網絡變動以及開源組件的應用,都會給內網安全帶來隱患,因此新的方案需要考慮安全策略的自動化管理,以保證現有的安全策略被正確執行,滿足企業上云安全合規的要求。

  從業務的角度看,網絡流量監控曾經只是IT部門的運維工作,如今卻成為運維、安全、業務審計等多個部門共同的關注。無論是網絡故障排查、云端網絡告警,還是基于業務視角的網絡診斷,都需要對全網流量進行采集和分析。如何針對每個部門的不同需求,對流量進行“統一采集、多次分發消費”,避免“煙囪式”建設和重復投資,也成為企業考量的關鍵之一。

  總體而言,企業對于全網流量采集方案的要求非常高,除了部署的低侵入性、高靈活性、高性能及安全性,還看重采集平臺的開放性。

  反觀目前市場上大多數的解決方案,仍是基于物理交換機鏡像對流量進行集中處理,或基于虛擬機大規模安裝代理進行流量采集,不僅對現有設備的性能影響太大,也無法適應云環境下的靈活多變。這是由于傳統網絡廠商或虛擬化廠商,一般基于自身的軟硬件設備提供一體化的解決方案,既難以與其他廠商的產品進行融合,也缺乏創新的意愿。

  混合云趨勢下爆發的全網流量監控痛點,正在轉化為國內大中型企業云化進程中的新需求,而這一市場尚待破局。

  從網絡黑盒到全網監控,行業巨頭的云網流量采集探索

  剛需之下,市場先行,一些技術領先的行業巨頭們已走在了傳統解決方案的前面。據不完全統計,目前國內已有超過30家企業級數據中心部署了云環境流量采集系統。

  那么,這些巨頭企業到底是如何解決云網流量監控難題的呢?我們不妨來看幾個代表性的案例。

  民生銀行:金融監管下的云網流量監控

  在民生銀行,很早就開始實施云數據中心的轉型升級,業務已成功上云并穩定運行。為了響應國家金融監管政策,保障云數據中心的網絡安全、交易監控安全,2019年,民生銀行引入了云杉網絡DeepFlow虛擬網絡采集可視化與分析平臺,以解決云環境中東西向虛擬流量采集的各類痛點問題。

  與傳統的網絡流量監測方式相比,DeepFlow的優勢在于,部署方式簡單,無需維護獨立虛機。由于DeepFlow采用宿主機模式,即通過在云環境每臺物理宿主機上部署獨立采集軟探針,其天生完全旁路的機制,對虛機、業務網卡、虛機交換機均無侵擾。作為宿主機上的用戶態進程,具備輕量、安全、可控等優點。同時,為了規避對宿主機穩定性的影響,DeepFlow針對采集器還設置了過載保護機制。

  從管理角度看,DeepFlow也是業內少有的能夠同時與OpenStack、VMware等云平臺無縫對接的產品,其控制器可以發現云平臺中的各類資源,包括區域、用戶、VPC、子網、路由器、虛擬機等,并結合流量梳理后直觀地展現給網絡管理員,實時掌握云環境中的流量采集和資源部署情況。

  如今,在民生銀行的分行云環境中,DeepFlow已與其現有的流量采集平臺完成了無縫對接,不僅成功實現了云環境中東西向虛擬流量的精細采集,還與云管平臺形成了聯動,能夠對云網絡進行動態的監控?紤]到生產環境的系統安全性,DeepFlow對云網的監控也能實現與生產系統的零耦合。

  總體而言,民生銀行是以最小化的部署,獲得了最大化的靈活采集策略和安全便捷的云網流量監控。既擴大了原有的流量采集能力,又不影響生產系統的性能和穩定性,可謂云網流量采集的最佳實踐之一。

  河南移動:電信云的精細化運營

  河南移動的私有云擁有多個數據中心,其資源池數百臺集群規模,承載了數百個業務。作為電信運營商,河南移動的私有云建設,不僅要滿足國家等保2.0要求,在核心網的可靠性、高效性,以及對客戶隱私保護等方面,也有著比很多行業更為嚴苛的要求。

  一方面,河南移動的私有云內部采用網絡虛擬化后,數據中心東西向流量占據了主導,傳統網絡監測方案已無法適應虛擬流量,系統內的網絡行為完全黑盒化;

  另一方面,該私有云面向的租戶越來越多,從整個省公司各部門到不同省公司之間的跨區用戶,從云平臺運營到租戶業務運營,對云資源和流量數據的使用情況要求更加精細化。

  為了更好地運營好電信云,在經過反復的測試和對比后,河南移動引入了云杉網絡DeepFlow對私有云網絡進行監測,實現了實時分析和故障回溯分析,很好地滿足了河南移動精細化運營和管理的需求。

  對電信運營商而言,如今在5G、邊緣計算、物聯網方向的發力,還將產生更多的網絡運營場景。對此,河南移動和云杉網絡也為即將爆發的實時流量采集和分析需求做好了準備。

  混合云時代,如何打造全網流量采集的最佳實踐?

  不難發現,很多行業頭部企業都在云杉網絡DeepFlow的助力下,建設了全網流量監控分析平臺,在私有云或混合云環境中實現了精準高效的網絡流量統一采集和分發的能力。

  其實,除了上文提到的企業,國泰君安、平安科技、興業數金等金融機構,移動、聯通、電信三大運營商,及中國航信、深航貨運、享道出行、聯想IT等大型集團企業,都引入了云杉網絡DeepFlow來部署云網流量采集平臺。

  為什么這么多的行業巨頭會選擇云杉網絡而不是傳統網絡廠商合作?其根本原因在于云杉網絡用自己的技術實力和產品思路,證明了DeepFlow的的確確是對用戶有價值的,是真正符合用戶需求的。

  例如,企業在云環境中獲取虛擬網絡流量的方式其實有多種,但是用戶最關心的指標,如:部署對生產環境零侵擾、靈活性好、性能高等,卻很少有解決方案能達到企業的標準。

  

  云杉網絡DeepFlow采用的宿主機旁路模式,在KVM環境中僅需運行一個用戶態的進程,在公有云和VMware云平臺以虛擬機的形式部署。當采集器工作時,所消耗的資源為1核CPU、1G內存。當采集為Flow信息時,對網絡帶寬的消耗不足實際流量的5%,并且采集器擁有過載保護機制,真正滿足了企業對侵入性低、穩定性高且動態化部署的需求。

  再比如,針對企業在混合云環境中的流量采集需求,DeepFlow憑借其分布式架構和開放可編程的特性,將采集與分析消費解耦,并與多種云平臺對接,實現了大規模異構IT資源池虛擬流量的統一采集和管理。為了確保企業安全策略的一致性,DeepFlow做到了云環境采集策略自動化跟隨,并通過持續的機器學習自動生成網絡策略建議,在動態環境下持續執行策略。

  可以看到,DeepFlow的架構設計和產品功能,天生適合多云及云原生環境,這也與云杉網絡誕生于云計算時代有關。其SDN的基因與基礎平臺的開放性,讓DeepFlow打破了傳統解決方案在侵入性、性能、靈活性等方面瓶頸,同時也能夠原生適配虛擬化、容器、公有云等多種生態,從而滿足企業在混合云時代的新需求,而這正是傳統網絡廠商所不具備的特征。

  隨著越來越多的企業將步入混合云時代,各行業巨頭和云杉網絡共同打造的云網流量采集最佳實踐,無疑也為其他企業提供了可參考的建設經驗。

  在部署上,平臺建設并非一步到位,而是分期建設,按需擴容。

  隨著數據中心規模擴大、IT基礎設施增多而擴容,企業會逐漸將原有的物理網絡監控、虛擬流量監控、安全事件監控等業務,整合到全網流量采集和分析的平臺中。但是,平臺建設并非一步到位,而是基于企業現有的IT基礎設施和業務需求進行階段性的建設。

  第一步,企業通常會選擇KVM、容器資源池進行部署實施,以DeepFlow解決虛擬網絡環境流量“黑盒”的問題。這是由于企業在傳統物理網絡上已具備完整的監控方案,因此填補虛擬網絡流量監控的空白,并與現有的監控分析工具進行對接,閉合私有云、容器環境中的運維、業務分析工具鏈,成為企業迫在眉睫的需求。

  在虛擬網絡環境的部署取得了理想效果后,企業第二步可以選擇納入更多資源池,如物理交換機、專線等流量數據,以實現對整體數據中心的流量采集能力。同時,對接網絡中心、安全中心、智能運維等平臺,滿足各平臺對現網流量數據的消費需求。

  第三步,企業可以對存在公有云上所運行的Workload或實例流量進行采集,完成對混合云IT環境整體監控流量管理,實現整體網絡畫像、流量分發、對多平臺流量數據分發的服務能力。

  如果已經運行了混合云環境,企業也可以在不影響生產環境運行的情況下分批次部署實施,將DeepFlow平臺所涉及的管理、監控分發平面復用在已有的網絡平面中。

  在規劃上,從不同的IT環境和網絡類型出發,分區域、分資源池進行規劃。

  在數據中心側,可以按區域來定義,區域內的網絡流量包含可用區的物理網絡流量和資源池內的虛擬網絡流量。在物理網絡中,采集點通常由設備廠商的監控方案實現;在虛擬網絡流量采集上,可采用DeepFlow提供的各型號采集器,對接設備廠商方案的標準數據輸出。

  對于多數據中心、多分支機構的企業,DeepFlow也支持各地數據中心區域、各類資源池的網絡流量采集,由相應型號的采集器完成。

  在公有云側,可通過DeepFlow實現公有云VPC內各類資源的網絡流量采集。采集器以用戶態的軟件形式,部署在虛擬機、容器、裸金屬設備等Workload上,支持Linux、Windows等主流操作系統。

  在控制管理側,可從控制面設計入手,解決大規模及可管理性的問題?刂破魇枪芾砜刂撇杉骷安呗韵掳l的控制中樞,分為主控制器、備控制器、從控制器,可按照部署要求進行選擇。

  在多點的部署環境中,首先指定主區域(Region),主控制器存在于主區域中,為整體流量管理平臺提供控制入口。除主區域外,其他區域的控制器作為從控制器,不參與主控制器選舉。

  在云環境、容器環境中,控制器通過對接虛擬化資源池、配置管理數據庫、公有云開放API等,可實現多粒度下發采集、分發策略,更靈活、更貼近業務應用。

  在功能上,確保平臺的可擴展性、開放性和統一管理能力,實現一次采集、多次分發消費。

  在云和云原生的環境中,所有的資源包括網絡資源在內,都是可彈性變化的。那么,對應的網絡監控平臺也需要具備彈性的、可擴展的特性。

  尤其在混合云環境中,網絡規模宏大且資源池類型多樣,虛擬交換機采集點數量,相比傳統監控規模多達幾個數量級的增長。因此,可采用DeepFlow這類分布式部署來避免單點瓶頸,充分適配邏輯網絡跨資源池的場景。

  同時,應考慮分發的網絡平面、盡量復用已有的網絡,以降低監控系統的資源開銷,并基于不同的業務視角提供網絡分析的全景視圖,避免多部門的重復投入,最終為企業混合云IT基礎設施環境構建統一的流量監控管理平臺。

  結語

  在混合云時代,網絡正在變得更加復雜,企業在不同程度遭遇著虛擬網絡黑盒的挑戰。隨著行業巨頭紛紛發力全網流量采集與分析,示范效應將逐漸釋放,引導著眾多企業在混合云環境中應用新的網絡監控管理技術,建設新一代的全網流量監控基礎設施。

  (客戶宣傳稿件,圖文均由客戶提供,僅供參考)

(責編:東 華)

推薦閱讀

關于我們 | 保護隱私權 | 網站聲明 | 投稿辦法 | 廣告服務 | 聯系我們 | 網站導航 | 友情鏈接 | 不良信息舉報:yunying#cnwnews.com(將#換成@即可)
京ICP備05004402號-6
现在的微信彩票赚钱是真的吗 国内最安全的股票配资平台 中国平安股票走势图 股票分析软件app 湖北体彩十一选五前二跨度 趣操盘 湖南快乐十分遗漏组三统计 新手怎样投资股票 青海快3软件 郑州炒股配资 微信北京28开奖骗局