更智慧型化的CDN技術,CDN邁向3 0時代

2021-09-23 06:58:20 字數 2949 閱讀 1427

1.0到2.0,20年技術演進

cdn(content delivery network),即內容分發網路。其目的是通過在現有的internet中增加一層新的網路架構,將**的內容發布到最接近使用者的網路「邊緣」,使使用者可以就近取得所需的內容,提高使用者訪問**的響應速度。cdn pop(point of presence)架構是為內容傳送服務提供支援的軟體堆疊,到現在經歷了1.0到2.0的發展,直到智慧型化的3.0出現。下面我們將用少量的篇幅對這段歷史進行一下梳理。

cdn pop 1.0的架構誕生於20年前,這對於當時的**非常適合,一些小容量的資訊可以通過緩慢的網際網路連線實現傳遞。這時cdn的主要挑戰是從部署在網際網路服務提供商(isp)的邊緣節點 (pops)傳輸網頁內容。每乙個接入pop的終端使用者都會快速獲得響應內容,而不是首先通過網路(當時依然很慢)來訪問源伺服器。通過這種方式,cdn可以很容易把受歡迎的內容傳送給大量的網際網路使用者。

cdn pop 2.0的架構離我們的生活更近了一些,也是我們目前使用最廣泛的cdn技術。由於2.0架構有基本的軟體堆疊組成,但不具備資料和資訊的深入分析,更不用談及少得可憐的智慧型化功能,這也就決定了其架構是被動的、響應式的、無狀態的。2.0架構的目標是快取邊緣內容,並在邊緣進行一些簡單的處理,從就近原則中爭取tcp傳輸效能上的提公升。2.0架構以快取軟體為核心,同時配套負載均衡、日誌分析、dns等服務。

cdn 3.0,向智慧型化不斷邁進

隨著網路服務的創新與移動終端的智慧型化,與此相適應的cdn也在不斷進化。似乎講到了這裡我們該請出今天的主角了——cdn 3.0,下面我們將從幾個方面的對比去闡述3.0究竟有哪些優勢。

關於cdn 3.0的研究其實經歷了大量的理論研究和論證,包括流處理器,批處理,訊息**, hadoop,nosql,機器學習,cassandra,spark,深層神經網路,迴圈神經網路,卷積神經網路以及大量的不同型別的演算法等數百個概念。下面我們將從中抽取一些典型的研究內容來論證cdn 3.0的優勢:

規則引擎:許多cdn都具有自動規則引擎,客戶端可以為其內容設定快取規則。機器學習模型中使用分類器可以使最先進的規則引擎難度回歸到史前科技水平。

waf+ddos+bot緩解:這些用於應對威脅的分布式系統將會被監督式和非監督式機器學習模型取代,包括深層神經網路、重複神經網路等。

深度學習:我們不再需要手動進行快取軟體棧、路由、儲存等繁瑣的配置,這些工作將會被學習模式所接管。

關於cdn 2.0和cdn 3.0的對比一言不和就上圖:

圖一 cdn 2.0和cdn 3.0體系結構對比

但3.0架構卻截然不同,與生俱來的大資料和機器學習加持彰顯了其智慧型化的屬性。他將比2.0架構應對更龐大的邊緣傳輸,每個pop節點都將成為hadoop生態中的一環,包括hdfs、apache spark、apache flink、kafka、redis以及許多由facebook、google、linkedin、spotify這類公司建立的開源外掛程式等等。

在cdn 3.0架構世界裡,快取工程師,網路工程師等將與數學家和資料科學家一起工作。整個功能集將迎來無窮的變化,具體反映到所使用的演算法型別以及演算法數目。本來需要人工介入的任務,如集群效能調優,網路調優等,將採用機器學習(ml)等手段來解決。

機器學習將調優工作從手動調優改為自調優,即始終處於學習過程中。新的個性化功能特性將利用ml演算法,先捕獲訪問者訪問站點的行為,然後將該行為用作分類器的輸入,最後基於培訓資料構建模式。此後,每次訪問者訪問該**時,ml演算法都會對哪些頁面產生最多銷售量進行**並個性化交付內容。

銷售機構他們將不得不接受全新的技術語言的再培訓,其中包括ai,機器學習,大資料,devops,資料科學,統計學和應用數學等。今天,機器學習這個詞或許只是營銷部門使用的乙個流行語。在適當的時候,cdn行業和機器學習的結合將會進一步深化,因為越來越多的人在微小的細節上受到教育啟發,例如什麼演算法做什麼,每類演算法的目的,各種神經網路之間的差異等等。

我們也可以從了另乙個維度去觀察這種變化

圖2 cdn 2.0和cdn 3.0 feature set對比

面對網路和軟體堆疊的大範圍更改,我們所做的或許不再是一味地增加**、通過api擴充套件功能或者是優化bgp路由,可能只需要簡單地做下減法去換成更好用的3.0架構。cdn3.0的重要標誌是其能很好地支援目前網際網路的主流應用,同時有更好的價效比,服務質量更有保障,也更安全。事實上,cdn 3.0已經應用在facebook、linkedin和twitter的場景中。下面我們用一張**來做一些對cdn2.0和3.0做一些分析。

表1 cdn 2.0和cdn 3.0特性對比

人工智慧,噱頭還是革命

圖3 技術**曲線

上圖是乙個科研機構從2023年開始對技術創新程度按照時間推移的曲線變化,一段時期新技術出現的數量越多,創新等級越高,並稱之為技術**曲線。可以看出2023年前,創新技術的萌生和進步是乙個線性增長態勢,隨著大資料和機器學習技術的誕生,創新性的增長展現出了瘋狂的態勢。圍繞著這兩項技術的新技術萌生也逐漸推動者科技的發展。按照這個曲線的走勢,在未來的12個月內,機器學習和大資料技術將對整個科技界產生顛覆。

今天,機器學習這個詞或許只是營銷部門炒作的詞彙,但在未來的某一天,它必將改變cdn產業。

1、2、

3、

rchitecture-3-0-end-cdn-commoditization-part-2/

CDN技術常識入門 談CDN的網路架構

cdn網路架構主要由兩大部分,分為中心和邊緣兩部分,中心指cdn網管中心和dns重定向解析中心,負責全域性負載均衡,裝置系統安裝在管理中心機房,邊緣主要指異地節點,cdn分發的載體,主要由cache和負載均衡器等組成。當使用者訪問加入cdn服務的 時,網域名稱解析請求將最終交給全域性負載均衡dns進...

人臉智慧型化安防技術

智慧型化安防技術隨著科學技術的發展與進步在二十一世紀第二個十年已邁入了乙個全新的領域。近年來,由於反恐和 社會安全的需要,安防行業的智慧型化技術也越來越受到重視,而身份識別正是安防的核心問題。在這種大背景下,具有非接觸 非侵擾 友好 直觀 快速 簡便 可擴充套件性等優點的人臉識別技術在多種生物識別技...

CDN採用的關鍵技術

cdn的實現,對技術上的要求是很高的,它所採用的關鍵技術包括 負載均衡技術 動態內容路由 快取記憶體機制 動態內容分發與複製 網路安全機制等。動態內容路由 當使用者訪問加入cdn服務的 時,網域名稱解析請求將最終由重定向dns負責處理。它通過一組預先定義好的策略 如內容型別 地理區域 網路負載狀況等...