半個月前決定接下實驗室這個專案,功能說來也簡單:把全市的停車場資訊存進資料庫,使用者傳過來位置,車型,停車時間;從資料庫中算出最適合的停車場,然後把停車場的詳細資訊給推送過去。
系統結構清晰的不得了,可畢竟牽扯到大資料,那麼問題來了。。。
一、伺服器架構---hadoop2.6.0+hbase0.98.20+zookeeper3.4.6(偽分布)
1.hadoop
先查了查西安停車車位這個現狀,乙個二線城市就60w停車位。。。好吧,那就用分布式系統架構,hadoop(也就知道這個)。。。
2.hbase
然後存到哪呢。60w停車位狀態時不時的變化,哪個停車了,哪個又開走了;還得應付想想中的成千上萬的使用者的查詢,讀寫量一定很高。。。再乙個要存的資訊也蠻多的,像什麼id,停車場名字,位置,型別(地下,地上,機械),**,停車位型別,每個型別停車位的總數,剩了多少什麼的。反正就是死多。估計用結構型資料庫的話得建上五六個表吧,然後再關聯查詢,計算距離,價錢,排個序什麼的,幾十上百萬條資料,再加上讀寫的時間,估計沒二三十分鐘結果出不來。
使用者說,讓我找找哪個停車場最近最便宜,然後等了三十分鐘結果出來了。然後,就沒有然後了。。
所以要讓處理速度快點,再快點,用hbase吧,最起碼讀寫能快些,而且表還能少幾個。
3.zookeeper
用官方的話說,zookeeper可以簡化分布式應用協調及其管理的難度,很適合這種大資料,分布式的系統。好吧,聽說用hbase的話就必須用zookeeper(好像是這樣),那就用個吧,說不定以後還能有啥大作用。。
查了查hadoop的版本依賴表,最終架構就成型了:hadoop2.6.0+hbase0.98.20+zookeeper3.4.6。。暫時先這樣吧,如果用到hive,sqoop什麼的以後再說。哦對了,因為趕時間,就先用偽分布跑一跑。
思路大概就是這樣,接下來的幾個帖子是教程。
人工智慧 大資料,實現智慧型出行新服務
人工智慧概念和技術席捲了全球各個地區,出行者的需求也日益增多,大量的客戶群體湧入,客戶溝通的及時性和區域客服的靈活排程性都受到了侷限。而客服接待量也逐年 工作任務繁重,客服系統的完整性和包容性都受到了考驗。提高辦公效率,豐富營銷渠道 l 企業通訊錄 能夠靈活檢索通訊錄資訊,快速找到工作組 問題及時溝...
人工智慧大資料與複雜系統
人工智慧大資料與複雜系統 課程簡介 從alpha go到無人駕駛,人工智慧ai結合大資料發揮出驚人功效的場景越來越多。如何從零開始真正入門這個領域?人工智慧 大資料與複雜系統一月特訓班可以幫到您!人工智慧 artificial intelligence 英文縮寫為ai。它是研究 開發用於模擬 延伸和...
大資料linux系統部分命令分析 早課(0914)
1.pwd表示什麼 2.隱藏目錄什麼標識開始,怎麼看 隱藏目錄以點開始的。ls la 來檢視隱藏檔案。3.檢視檔案的大小哪兩組命令?du m ls lrt 4檢視資料夾的大小命令是什麼?du sm 5.怎樣測試埠通不通 6.檢視程序和埠號命令分別是什麼 7.安裝rpm包軟體命令是什麼?root no...