大資料和雲計算技術週報（第184期

「大資料」三個字其實是個marketing語言，從技術角度看，包含範圍很廣，計算、儲存、網路都涉及，知識點廣、學習難度高。

、kafka、olap、mongodb、yarn。全是乾貨，希望大家喜歡！！！

專題mongodb配置

本文講述了mongodb的dbpath配置選項預設值，採用系統軟體包管理器安裝時的不同的預設值，及dbpath目錄儲存檔案對mongod的影響；

本篇文章為大家分享了 zgc 的特點，簡單記錄了 zgc 的一些核心技術，如著色指標、讀屏障等。並在相同的 ycsb 壓測場景下，分別測試了 g1 和 zgc 在真實的應用環境中的 gc 的表現能力，並得出 gc 分析報告，從 gc 停頓時間和讀寫吞吐、延遲等方面，做了比較詳細的對比

2flink

主要介紹 flink 助力美團數倉增量生產的應用實踐。

3clickhouse

dba 使用特定的 sql 語句從其管理的資料庫中提取最有趣的資訊。本文介紹了 dba 管理 clickhouse 資料庫必須知道的一些有用的 sql 命令，例如檢查會話，鎖，磁碟空間使用情況，效能和複製。

4yarn

隨著公司業務的快速發展，離線計算集群規模和提交的作業量持續增長，如何支撐超大規模集群，如何滿足不同場景的排程需求成為必須要解決的問題。基於以上問題，快手大資料團隊基於yarn做了大量的定製和優化，支撐了不同場景下的資源排程需求。

5python

ray 由伯克利開源，是乙個用於平行計算和分布式 python 開發的開源專案。本文將介紹如何使用 ray 輕鬆構建可從膝上型電腦擴充套件到大型集群的應用程式。

6kubernetes

kubernetes是當前最為流行的開源容器編排平台，成為眾多企業構建基礎架構的首選。在本文中，我們將**針對你的用例構建基礎設施的最佳方式，以及你可能要根據各種限制條件做出的各種決定。

7kafka

apache kafka 已成為跨微服務非同步通訊的主流平台。它有很多強大的特性，讓我們能夠構建健壯、有彈性的非同步架構。

8spark

spark 3.0 為我們帶來了許多令人期待的特性。動態分割槽裁剪（dynamic partition pruning）就是其中之一。本文將通過**的形式來帶大家理解什麼是動態分割槽

主要介紹 flink 助力美團數倉增量生產的應用實踐。

‍11開心一刻

致謝：周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛