在 pyspark 中是否有類似eval的功能。
我正在嘗試將 python **轉換為 pyspark
我正在查詢乙個資料框,並且其中一列具有資料,如下所示,但採用字串格式。
[, , ]
假設「 x」是在資料框中儲存此值的列。
現在,我想傳遞該字串列「 x」並獲取列表,以便可以將其傳遞給 mappartition 函式。
我想避免迭代驅動程式上的每一行,這就是我這樣想的原因。
在 python 中使用 eval()函式(如果已使用):我得到以下輸出:
x = "[, , ]"
list = eval(x)
for i in list: print i
輸出:(這也是我在 pyspark 中想要的)
如何在 pyspark 中做到這一點?
例項擴充套件:
df.schema: structtype(list(structfield(id,stringtype,true),structfield(recs,stringtype,true)))
|id | recs |
|abc|[66, [["ab", 10]]]
|xyz|[66, [["xy", 10], ["yz", 20]]]
|def|[66, [["de", 10], ["ef", 20], ["fg", 30]]]
我正試著把這些單子弄平
|id | like_id
|abc|ab|
|xyz|xy|
|xyz|yz|
|def|de|
|def|ef|
|def|fg|
jQuery從字串中刪除字串
可以這麼說,這就是使用jquery從字串中刪除字串的方法。以下示例有望闡明我的意思。它使用了jquery.grep 這是乙個非常酷的搜尋功能 有點像php子字串 總之。與往常一樣,只需複製,貼上,使用firebug執行即可進行測試和試驗。function join console.log resul...
獲取字串中的子字串
如真彩色的red,green,blue的值組成乙個字串,用逗號分開。但是逗號的位置是非固定的,因為r,g,b的各個值可以是1 3位數。下面是乙個將r,g,b的值組成的字串,通過逗號來將其分割,並分別放到陣列中。並算出其真彩色的值。sub test dim ss as string ss 12,156...
如何從XML字串獲取DataSet
以往可能從xml檔案獲取資料集的比較多一些,但是從xml字串獲取dataset的不是很多,我的想法是 在客戶端,使用者提交後生成xml字串,並將這個字串存到資料庫的某個字段,等到我們使用這些xml資料時,只要提取出來,加以分析,顯示在不同的web控制項上即可。主要是xmltextreader的使用。...