cpu：e5 8核 2.5g
硬碟：企業sata
記憶體：32g
"settings": {
"number_of_shards": "1",
"number_of_replicas": "0",
"refresh_interval": "60s",
"translog": {
"sync_interval": "60s",
"durability": "async",
"flush_threshold_size": "1g"
"docs": {
"_all": {
"enabled": false
"properties": {
"title": {
"analyzer": "ik2_max_word",
"search_analyzer": "ik2_smart",
"type": "text"
"year": {
"type": "integer"
"type": {
"type": "keyword"
"short": {
"type": "integer"
"term": {
"type": "integer"
"sorttype": {
"type": "integer"
"sortterm": {
"type": "integer"
"sortregion": {
"type": "integer"
"sortschool": {
"type": "integer"
本機利用客戶端呼叫bulk寫入：100w資料耗時4.5分鐘，平均每秒寫入3500條。
開啟9個執行緒，每次提交5w資料。
請問如何配置能實現單機本地寫入達到10w/s
mysql 使用java 程式 批量插入 很慢
1.大批量亂序資料匯入innodb很慢如何解決？innodb因為主鍵聚集索引的關係，如果沒有主鍵或者主鍵非序列的情況下，匯入會越來越慢，如何快速的遷移資料到innodb？借助myisam的力量 是很靠譜的，先關閉innodb的buffer pool，把記憶體空出來，建一張沒有任何索引的myisam表...
es的寫入過程
建立 c reate elasticsearch集群中的每個節點都包含了改節點上分片的元資料資訊。協調節點 預設 使用文件id參與計算，以便為路由提供合適的分片。elasticsearch使用murmurhash3函式對文件id進行雜湊，其結果再對分片數量取模，得到的結果即是索引文件的分片。shar...
Spark寫入ES優化
1.寫入demo，詳情看官網 elasticsearch for apache hadoop 給filesystem cache更多的記憶體 用bulk批量寫入 使用多執行緒將資料寫入es 增加refresh間隔 關閉wal事務日誌 其他優化案例 使用spark將hive的資料同步到es 常用優化策...