2023年有幸加入某大廠大資料專案，在此之前從沒有接觸過大資料這類高大上的技術，進入大廠之後才發現，原來大廠在做研究專案，也就是商業化前的可行性論證，也只有大廠會花這麼多人力、物力做這個。當時物色了很多優秀的人才，有海龜博士、國內頂尖計算機專業碩士、資深大資料專家等等。但最終做了兩年不到，專案最終被解散，回過頭來總結經驗，雖然時間隔得有點遠，但很有必要。
專案卡死在散熱上
這個時候回過頭來梳理，軟體基於開源的基礎上去修修補補功能，雖然也遇到很多問題，但最後都被我們完全克服下來了。但硬體的傷卻無法短時間癒合，一直到專案終止的那一刻，還是有很多問題依然存在。當時的業務需求是基於大資料技術（mesos+spark+zeppelin）提供一體機，把硬體加軟體的優勢顯現出來，在設計硬體的時候把64個cpu放在乙個1005030立方厘公尺的空間內，散熱是個很大的問題，散熱問題會造成很多後期預想不到卻又無法定位到的問題，也許最終我們失敗的原因就在此。
專案雖然終止了，但在這個專案過程中學習到的經驗終生難忘，能像該大廠這樣子投入做專案的很少，當專案立項之後，各種資源和支援，我們當時開發和測試的伺服器都達到兩百多臺，記憶體條按每台伺服器插滿24根算的話，我們保守估計使用到的記憶體條兩千根，還有fpga，固態硬碟等；但專案一旦沒通過立項，整個團隊很快就完**員分流、專案總結等等，執行力很強。心態開放，虛心學習很重要。
這麼優秀的團隊，能調動這麼多的資源，這麼大力度的支援，最終專案還是沒完成，要想做成一件事有多難，就像要組裝一輛汽車需要擰100個螺絲，99個螺絲我們都擰好了，就是最後乙個擰不上，車最後還是沒組裝好還是不能出廠；你要成功很難，100個螺絲都要擰好才行，缺乙個都不行；但你要失敗太容易了，隨便乙個螺絲沒擰好都能做到，所以做事我們要抱著敬畏的態度去做，擰好每件事的所有螺絲。
大資料 專案流程
1.資料的預處理階段 2.資料的入庫操作階段 3.資料的分析階段 4.資料儲存到資料庫階段 5.資料的查詢顯示階段 reduce driver create table 表名 videoid string,uploader string,age int row format delimited fi...
大資料專案3
gmv 今天提交訂單的金額總和,不管是否支付 全站pv 頁面瀏覽量大砍一次就是乙個pv再重新整理一次又是乙個pv 全站uv 去重的訪客總和set mapreduce.framework.name local 本地 set mapreduce.framework.name yarn yarn set ...
離線大資料專案流程
mapreduce 資料清洗 hive textfile格式 create table 表名 a string b string row format delimited fields terminated by 指定分隔符 stored as textfile load data local in...