葉問
《葉問》是知數堂新設計的互動欄目,不定期給大家提供技術知識小貼士,形式不限,或提問、或討論均可,並在當天發布答案,讓大家輕輕鬆鬆利用碎片時間就可以學到最實用的知識點。
2023年10月23日,周二mongodb伺服器cpu一直很高,最高達到900%,可能是哪些原因?
答:可能原因如下:
1、高併發場景下,伺服器開啟numa
2、mongo查詢無索引,消耗大量記憶體和io
3、伺服器硬體故障,例如cpu 記憶體 raid卡等
3、高併發寫入下開啟讀寫分離+oplog應用加鎖
4、高並發短鏈結+最新scram-sha-1認證的情況
2023年10月30日,周二
mysql執行環境中,當發現系統已經用到了swap,該怎麼處理?
答:一般來說,發生swap的原因是系統認為記憶體不夠了。
那麼,當物理記憶體真的不夠了,或者著名的numa都是引起swap的可能原因。通常的應對方法有幾種:
1、通過bios、系統核心引數關閉numa,或者在mysqld啟動時,利用numactl關閉numa的使用
4、修改mysql引數innodb_flush_method = o_direct,這樣innodb在讀寫物理資料的時候會繞過cache來訪問磁碟
5、優化sql效率,避免產生額外的分組、排序、臨時表情況發生,參考文章:文章:
6、在【夜間或業務不繁忙】時適合執行 swapoff -a,並執行sync重新整理作業系統記憶體髒頁到硬碟
2023年11月1日,周四大量sql語句文字,如何快速匯入到mysql中?
答:1、可在sql文字前,新增set session sql_log_bin=0(需要在從庫也匯入一次)。
2、匯入期間臨時修改引數sync_binlog=10000、innodb_flush_log_at_trx_commit=0、innodb_autoinc_lock_mode=2。
3、匯入前,根據業務情況看能否刪除除了自增列主鍵外的其他索引。
4、將sql檔案切割成多份,再併發多執行緒匯入。
5、若該sql檔案是每個insert一行,需要先行將多行合併成一行,即啟用extended-insert模式。
《葉問》第9期
答 可能原因如下 1 高併發場景下,伺服器開啟numa 2 mongo查詢無索引,消耗大量記憶體和io 3 伺服器硬體故障,例如cpu 記憶體 raid卡等 4 高併發寫入下開啟讀寫分離 oplog應用加鎖 5 高並發短鏈結 最新scram sha 1認證的情況 答 一般來說,發生swap的原因是系...
開源大資料週刊 第9期
摘要 雲上hadoop之挑戰 e mapreduce團隊 1.3.2版本 已經發布 1.3.3版本 即將發布 1.4版本 正在研發 菜鳥 鬧 江湖 物流 大資料,能把廣東 江蘇gdp都節省出來?中國物流去向何方?菜鳥網路認為,通過推動物流業向智慧型轉型,未來目標是要把中國社會物流總成本佔gdp的比重...
昨天看了《葉問》
其實我對現在電影的炒作很反感。在電影首映之前,主角 導演到處做客各種節目,宣傳自己的影片,暢談自己的感受。雖然明知這是為了增加懸念,吊足觀眾胃口,以確保票房收入。但還是比較反感這種鋪天蓋地的做法。看完 葉問 覺得真的還不錯。看這部影片之前,湖南衛視有一檔娛樂節目請了主角甄子丹。一直以來,甄子丹在我的...