鯤鵬遷移第一批吃螃蟹的人,踐行技術國際化

2021-10-24 09:39:23 字數 3651 閱讀 2114

全球化競爭日益激烈的今天,大國都已把科技作為戰略博弈的核心。在這樣的巨集觀態勢下,核心技術和產品的國產替代迫在眉睫。

以資料中心為例,x86的江湖地位已大不如從前,arm伺服器的崛起正在撬動英特爾一統天下的格局。

去年,華為就推出了首款基於arm架構的伺服器晶元鯤鵬920,強勢闖入伺服器市場。經過一年多的沉澱,國產化的步伐在鯤鵬這個後浪的推動下,滿地開花。

曾瓊,是中軟國際的系統工程師,也是第一批投入到鯤鵬適配調優浪潮中的專業技術人才。經過60多個鯤鵬遷移專案的洗禮,他總結了一些鯤鵬適配移植的經驗,讓後來者少走點彎路,少踩點坑。

作為乙個接觸linux差不多10年的it老人,曾瓊做過5年的嵌入式linux系統開發,5年的作業系統運維,長年苦於交叉編譯的繁瑣:在當前編譯平台下,編譯出來的程式能執行在體系結構不同的另一種目標平台上,但編譯平台本身卻不能執行該程式。

對此,曾瓊分析了4個原因: 1

、即使目標平台資源很充足,可以本地編譯,但是第乙個在目標平台上執行的本地編譯器總需要通過交叉編譯獲得; 2

、目標平台的執行速度往往比主機慢得多,許多專用的嵌入式硬體被設計為低成本和低功耗,沒有太高的效能; 3

、整個編譯過程是非常消耗資源的,嵌入式系統往往沒有足夠的記憶體或磁碟空間; 4

、交叉編譯使我們不需要花時間將各種支援包移植到目標板上。

總結下來就是場景、算力和生態的問題。

這個情況一直在持續,直到鯤鵬的出現,改變了整個使用格局。

當時曾瓊在西安做euleros的系統運維,回想初次接觸國產作業系統,他形容自己是滿心的期待和感慨。

「那時euleros還沒有被扶正,我因為工作原因,18年開始接觸鯤鵬,記得第一次直接在鯤鵬架構上編譯出aarch64軟體包的那種舒爽,真實且感慨。後來隨著不斷的整合編譯,越來越多的開源包被整合到euleros。作為乙個嘗鮮人,真實體驗到euleros執行在鯤鵬上的感覺。」

後來曾瓊所在的公司成立了負責鯤鵬遷移工作的專家團隊,從早期的鯤鵬適配、行業方案驗證、資料遷移到效能測試、調優,一路走來,曾瓊和團隊在鯤鵬上積累了一套端到端交付的能力。

圖: 2023年在陝西鯤鵬訓練營上分享鯤鵬移植適配經驗

圖:2023年獲得公司鯤鵬移植金牌團隊

這一年時間裡,曾瓊參與了60多個鯤鵬遷移專案,涉及航運額20多個。

他總結,「在整個專案交付過程中,除了對鯤鵬架構的差異適配,各個開源元件與自研**的適配外,還要掌握iaas\paas\saas各層級的技術。而且得理解華為雲的各個雲服務,才能高效快速的幫助客戶設計合理的上雲規劃,高價效比、高效的解決客戶的痛點,加快客戶的業務改造。」

基於一年的鯤鵬遷移經驗,曾瓊將遷移專案分為三大類:大資料類,資料庫類,容器類。

以大資料為例,這部分客戶主要的問題在於平台的適配。

很多用到大資料的客戶都是採用cdh進行管理,然而cdh不支援鯤鵬且是閉源的,因此要推薦客戶首選華為雲的mrs服務。同時曾瓊和團隊也在第一時間適配了ambari大資料管理平台,為客戶提供最小改造,完善行業場景的適配。

如果遇到平台在拉起過程**現適配不到位的情況,曾瓊表示需要盡可能使用華為的遷移工具提前進行掃瞄,找出並整改所有架構不適配的部分,確保一次遷移成功。

另外,當客戶需要業務改造時,曾瓊推薦最多的方案是大資料的算存分離。

「obs服務的物美價廉讓人愛不釋手,它提供了與大資料儲存元件無感知介面的方式,業務**不用做任何改動,安全高效地完成業務能力提公升,我們團隊內部當前的資料和產品也都開始放到了obs上。」

圖:資料庫存算分離方案

圖:大資料問題定位思維導圖

對於資料庫類的客戶,華為雲鯤鵬雲的rds與drs基本是資料庫資源申請與資料遷移的首選。曾瓊表示,「drs服務簡潔的設計讓很多只會開發的兄弟們也過了一把遷移專家的癮,輕鬆搞定資料遷移。」

比如有個製造類的企業,想要從sql server遷移到mysql,曾瓊原本的調研規劃需要割接8個小時的資料,最終採用rds服務僅花了1.5個小時就完成所有的遷移。然後再使用校驗功能,快速識別資料庫資料表差異,做了輕微改動便完成了業務上線。

另外,對於國產資料庫的遷移,前期調研與方案設計也非常重要。曾瓊附上了他們總結的資料庫選型導圖與資料庫資訊調研表。

圖:資料庫的選型方案

資料庫資訊收集調研表

調研型別

調研項硬體資訊

cpu型號

伺服器配置(cpu:記憶體)

儲存型別

網路頻寬

資料庫待遷移使用者/schema個數

top5

表資料量

資料庫字符集

開發介面 時區

最大連線數

峰值tps/qps

執行模式

是否使用資料庫高階特性

容災備份

全量備份時間週期

增量備份週期

應用系統

開發語言 框架

在鯤鵬移植過程中,最關鍵的是做好業務切換,即在不改動**的情況下,完成效能調優。

效能調優分為系統調優(cpu、記憶體、io、網路)和應用調優(配置、**、編譯、環境)。

要想做好調優,既要了解鯤鵬多核優勢,也要從計算、儲存中找到網路的問題,因為「一切呈現都是計算,瓶頸多在資源。」

基於60多個鯤鵬遷移專案經驗,曾瓊總結了他的鯤鵬效能調優之路。

首先是基礎知識的掌握和能力的提高:13

11、了解鯤鵬與x86的差異,多核,硬體加速模式,sse與neno區別等.

其次,具備以下能力,方能更好的做好效能調優:

1、基本技能之熟悉軟體架構(業務架構);

2、在調優過程中要對**熟悉(**架構);

3、對系統進行測試驗證 (測試設計);

4、掌握整個伺服器的軟硬體的基本配置:網路,記憶體,磁碟(系統架構)。

工具和方向之外,還要具備對核心、cpu、排程、驅動、記憶體、中斷,各個子系統以及**能力的軟實力。

總的來看,既要用好工具,結合自身經驗做好提問,精準找到問題根因,快速閉合;也要善於利用網路資源,開啟思路,查詢開源bug,多做總結整理。

圖:linux效能調優工具全景

經過一年多的努力,目前獲得鯤鵬認證的行業解決方案已達2000多個,包括作業系統(麒麟、普華、統信),資料庫(達夢、金倉、高斯),中介軟體(金蝶、東方通、寶蘭德)都已完成了對鯤鵬的適配。

曾瓊強調,基礎元件的完善對鯤鵬的適配起到了非常大的進步。而且公升騰、openeuler與opengauss給行業注入了新的活力與動能,勢必將進一步加快鯤鵬生態的完善。

「作為鯤鵬領域的先行者,希望個人能夠緊跟鯤鵬社群節奏,不斷提公升自己在適配與遷移領域的技術,在效能調優和國產化改造方面突破自己,提供行業領先的鯤鵬移植服務,為國產化改造貢獻乙份力量 。」

第一批日記,隨時更新

2005年12月30日 1.在修改kfoa的時候偶然看見了在類中的輸出語句 這個語句與在cs頁面中寫的response.write差不多,但是在原來我從來沒有用過.對了,我在做書畫 的時候也用過,當時 好像是取access的相對路徑時用的。那個語句httpcontext.current.respon...

第乙個吃螃蟹的人

江蘇省昆山市的陽澄湖大閘蟹聞名天下,鮮蓋百味。有人問 是誰最早吃著這個鮮頭,成為天下第一食蟹人 相傳幾千年前,人類的祖先已經在江南的陸地上定居棲息,從事捕撈水產和農墾耕作,一代又一代含辛茹苦地建立出乙個魚公尺之鄉。由於江南地勢低窪,雨量充沛,經常易鬧水災。有時雖然豐收在望,可是,江湖河泊裡卻冒出了許...

《程式設計之美》編寫小組的第一批捐贈

最近,由 程式設計之美 微軟技術面試心得 一書稿酬所捐建的第乙個機房在福建省漳平一中正式投入使用了 2009 年3月,程式設計之美 編寫小組向漳平一中捐贈了第一筆稿酬 共計16000元整。隨後我們又向湖北省五峰縣一中捐贈了一筆同樣數額的稿酬 乙個月來,漳平一中經過公開招標,用這筆錢購買了第一批計算機...