GreenPlum簡介 快速入門

2021-09-12 07:31:52 字數 408 閱讀 2794

greenplum是乙個底層是多台postgresql分表分庫的分布式資料庫,它有如下特點

greenplum內部使用udp網路,但是greenplum會對資料報進行校驗,因此可靠性等同於tcp。使用tcp的時候,最多支援1000個segment

當master接受到一條sql語句,會將這條語句解析為執行計畫dag,將dag中不需要進行資料交換的劃分為slice,多表連線,aggerate,sort的時候,都會涉及到slice的重分布,會有乙個motion任務來執行資料的重分布。將slice下發到涉及到的相關segment中。

我認為slice類似與spark中的stage的概念,不需要進行資料shuffle

Greenplum架構簡介

現在人工智慧非常火爆,很多朋友都想學,但是一般的教程都是為博碩生準備的,太難看懂了。最近發現了乙個非常適合小白入門的教程,不僅通俗易懂而且還很風趣幽默。所以忍不住分享一下給大家。點這裡可以跳轉到教程。1 什麼是greenplum greenplum,該公司成立於2003年,2006年推出了首款產品,...

Hadoop快速入門( Hadoop簡介)

hadoop 核心元件 hadoop 包含以下模組 hadoop common 常見實用工具,用來支援其他 hadoop 模組。hadoop distributed file system hdfs 分布式檔案系統,它提供對應用程式資料的高吞吐量訪問。hadoop yarn 乙個作業排程和集群資源管...

docker 快速構建Greenplum資料庫

關於gp資料庫,因為他也是基於pg實現的,這裡就不在多說了,參考華為的gaussdb吧 projectairws greenplum 版本埠對映注意別衝突 docker run itd p 5432 5432 name greenplum 5.20.1 projectairws greenplum ...