為什麼elt更適合於企業資料應用
datapipeline陳肅
為什麼現在企業環境中，乙個elt的方案會比etl的方案更有優勢，實際上是由
企業資料應用特點決定的。
首先在乙個企業資料應用裡面我們對資料轉換的靈活性要求越來越高，傳統來說如果是bi應用可能相對來說是比較容易抽象的。但是現在大量企業在開發各種各樣ai應用，ai應用有乙個非常大的特點，它對於特徵的抽取轉化的過程是根據演算法決定的，其實沒有乙個通用的方案能夠使用乙個etl工具完成ai應用所需要的資料轉換工作。
通常情況下，特徵的抽取計算是你所使用ai應用框架的一部分。所以很多時候你不能依賴乙個etl工具來完成這個工作，而是應該把原始資料盡可能按照原貌進行乙個輕度清洗，然後放到下游計算框架中去使用。
第二，我們注意到在企業裡面同樣的資料經常有不同的應用去使用。我以前在一家線上教育公司，我們把所有的資料會放在統一的資料倉儲裡面，包括使用者的行為資料、學習資料等。基於這些資料我們會開發各種各樣的應用，比如說向使用者去推薦我們的課程、向使用者提供自適應的學習功能。這些資料你不太容易在從資料來源抽取出來的時候，就轉換成為具體應用所需的特定結果，所以盡可能保持資料的原樣。
第三，我們認為做乙個資料整合方案的時候，需要考慮到乙個很重要的問題是整個下游系統的可維護性和擴充套件性。如果你依賴於乙個etl工具在抽取資料過程中做大量的轉化，我們知道乙個transformation的過程可能是計算密集的，維護這個專有的集群需要付出額外的採購成本和維護成本的。而如果你使用乙個elt的方案，所有的轉換都是跟著應用走的，你可以使用任何熟悉的計算框架，spark也好、kafka streams也好，這個是根據自身的特點決定的，它不需要跟特定的etl工具繫結，無論是成本還是靈活性上它都是具有一定優勢的。
為什麼網盤不適合於網路隔離後的資料擺渡？
網路隔離的目標就是為了保護內部的核心資料，有效抑制風險傳播。很多公司，尤其是科技研發型公司都有網路隔離，將研發的核心資料 困 在研發網裡，有效的保護核心 等資料，但是在日常工作中，需要經常和辦公網的同事之間交換資料，甚至需要和公司外部人員傳送資料。但是在不同的網路裡，要怎麼交換資料呢？有些企業會選擇...
什麼樣的專案最適合於敏捷開發
來自mick cohn部落格 january 15th,2011 我最近被問到關於什麼樣的專案才是最適合於敏捷方法，在此關於這方面進行乙個 在我看來，最適合敏捷方法的專案是那些有著激進的時間期限限制，那些有著高度的複雜程度，以及那些有著高度新穎性 獨特性 的專案。當我們在做一些新的事情，到少是對於開...
貝醫生創始人章駿 做出更適合於中國人的牙刷
1月17日電 兩周銷量近10萬支，銷售額逼近1000萬 擁有多項專利。這些驚人數字和成績的背後，都指向了一款名叫貝醫生的電動牙刷。乙個剛剛成立兩三年的企業如何取得這些不俗的成績，貝醫生創始人 ceo章駿將其歸結為產品力。在章駿看來，是產品的實用性 安全性打動了消費者，一把小小的牙刷也凝聚了不少匠心。...