1.load的原始碼分析
load=>lookupdatasource
說白了就是構造logic plan 以及為每乙個logic 生成df,一定要注意此時所有df中沒有資料
2.structed streaming為什麼可以實現增量匯入
主要是因為會維護乙個state,這個state就是用來存最新的update的結果,
此時我們假如去做group by 那麼後面的都相當於key
3.structed streaming 的執行過程
df->....(logic plan)->runbatch->getdata->excute each logic plan with order->
sink->waiting for 10seconds ->df->.....
4.structed streaming 的group by
如果在sql中做了group by的操作,則以window作為聚合的段,然後把輸出模式設定成update
Cartographer原始碼篇 原始碼分析 1
在安裝編譯cartographer 1.0.0的時候,我們可以看到 主要包括cartorgarpher ros cartographer ceres sover三個部分。其中,ceres solver用於非線性優化,求解最小二乘問題 cartographer ros為ros平台的封裝,獲取感測器資料...
AbstractListView原始碼分析3
normal list that does not indicate choices public static final int choice mode none 0 the list allows up to one choice public static final int choice ...
Android AsyncTask原始碼分析
android中只能在主線程中進行ui操作,如果是其它子執行緒,需要借助非同步訊息處理機制handler。除此之外,還有個非常方便的asynctask類,這個類內部封裝了handler和執行緒池。本文先簡要介紹asynctask的用法,然後分析具體實現。asynctask是乙個抽象類,我們需要建立子...