寫乙個Spark DataSource的隨手筆記

2021-08-22 13:47:07 字數 623 閱讀 8721

真的只是個隨手筆記。記錄下一些操作過程。

最近需要實現一些spark邏輯計畫和物理計畫的優化,遂打算寫一點簡單的資料來源來測試。突然想到了oracle常見的scott/tiger裡的資料。遂打算使用該資料。

按照其方式啟動oracle映象並sqlplus登入sysdba以後,為了確保scott/tiger沒有被鎖,還是做了一下解鎖操作:

sql> alter user scott account unlock;
然後退出sqlplus並用scott/tiger重新登入sysdba,並且檢視scott的表:

sql> select table_name from user_tables;

table_name

------------------------------

dept

empbonus

salgrade

沒有問題。

在此只做一些簡單的測試,所以並沒有使用jdbc方式在test類裡獲取資料,而是直接拿了一些資料hard code在test類裡。

實現了簡單的謂詞下推功能。詳細datasource**見github,裡面還包含了乙個tpc-ds的datasource:

python寫乙個服務 Python寫乙個服務

coding utf 8 import json from urllib.parse import parse qs from wsgiref.server import make server 定義函式,引數是函式的兩個引數,都是python本身定義的,預設就行了。定義檔案請求的型別和當前請求成功...

寫乙個東東

最近打了幾天的三國無雙6,感覺不錯!很久很久以前,乙個小學同學帶了我到機室玩三國無雙。自此,我便喜歡上了這個遊戲。現在我玩的遊戲內有兩個 三國無雙和cs。ps 曾經有些怪我的這個好朋友帶我打遊戲,但現在想來,若不是他,我的童年又怎麼會有歡樂呢。人活著,快樂是最重要的.因為以前是用專用手柄打的,感覺非...

寫乙個網頁

1 建立站點資料夾,站點資料夾的名字可以是中文 2 在站點資料夾下面建立子資料夾和子檔案 css js images html,前三個都是資料夾形式 子資料夾和子檔案的名字不能是中文 2.重置所有預設的樣式和設定一些全域性樣式,並將設定樣式的css檔案和對應的頁面關聯起來 3.劃分區域 如果的寬度大...