kettle效能及效率提公升

2021-06-20 07:12:57 字數 531 閱讀 5564

kettle資料處理的過程中難免會遇到效能瓶頸,因此效能及效率的提公升成為擺在面前的問題,因此筆者羅列一些常用的優化建議。

在etl過程中的索引需要遵循以下使用原則:

當插入的資料為資料表中的記錄數量10%以上時,首先需要刪除該錶的索引來提高資料的插入效率,當資料全部插入後再建立索引。

避免在索引列上使用函式或計算,在where子句中,如果索引列是函式的一部分,優化器將不使用索引而使用全表掃瞄。

避免在索引列上使用 not和 「!=」 ,索引只能告訴什麼存在於表中,而不能告訴什麼不存在於表中,當資料庫遇到not和 「!=」 時,就會停止使用索引轉而執行全表掃瞄。

索引列上用 >= 替代 >

高效:select * from temp where deptno >=4

低效:select * from temp where deptno >3

兩者的區別在於,前者dbms將直接跳到第乙個dept等於4的記錄而後者將首先定位到deptno=3的記錄並且向前掃瞄到第乙個dept大於3的記錄。

更過文章熊貓team

提公升CSS的效能和效率

樣式表,修改後改變名稱,防止瀏覽器快取,使使用者不能瀏覽最新改變的 每次提交要修改名字 font italic bold 1em 140 lucida grande sans serif 至少要定義font size和font family 父代選擇器效率比子代選擇器高 盡量避免萬用字元選擇器,正規...

sqlite提公升效率

前言 sqlite資料庫由於其簡單 靈活 輕量 開源,已經被越來越多的被應用到中小型應用中。甚至有人說,sqlite完全可以用來取代c語言中的檔案讀寫操作。因此我最近編寫有關遙感資料處理的程式的時候,也將sqlite引入進來,以提高資料的結構化程度,並且提高大資料的處理能力 sqlite最高支援2p...

怎樣提公升效率

今年3月份我順利通過了 pmp 考試,接著參加了5月的軟考,報考的是資訊系統專案管理師 高階 也順利通過。半年時間,同時通過這兩個考試,確實不易。之前我乙個同事單軟考那個就考了三回,歷時兩年。公司領導和同事對此都很吃驚,紛紛問我是怎麼做到的?平時我工作也很努力,空閒時間不多,怎麼半年時間就完成了很多...