Spark ML 之 稀疏和稠密向量

2022-03-21 22:07:42 字數 448 閱讀 8954

密集:[1.0,0.0,3.0]    其和一般的陣列無異

稀疏:(3,[0,2],[1.0,3.0])     其表示的含義(元素的個數,元素的下標,元素下標對應的值)  

比如這裡:元素個數為:3個、序號0:對應的值為1.0,需要2對應的值為3.0;

其他下標的數值為0

val vd = vectors.dense(2, 5, 8)

println(vd(1)) // 5

println("dense:"+vd) //[2.0,5.0,8.0]

val vs = vectors.sparse(5, array(0, 1, 2, 4), array(9, 3, 5, 7))

println(vs(3)) // 0

println("sparse:"+vs) //(5,[0,1,2,4],[9.0,3.0,5.0,7.0])

Spark稀疏向量和稠密向量

旁邊的小伙一副生無可戀的表情 這是為什麼?我的 和之前寫的一樣,而且都是從官網copy的,結果怎麼是這樣子啊,我只是用向量彙編將多列轉為一列 val va new vectorassembler setinputcols array age sign province code lowest usa...

spark 稠密向量和稀疏向量

spark mlib的本地向量有兩種 densevctor 稠密向量 其建立方式 vector.dense 資料 sparsevector 稀疏向量 其建立方式有兩種 方法一 vector.sparse 向量長度,索引陣列,與索引陣列所對應的數值陣列 方法二 vector.sparse 向量長度,索...

mysql 稀疏 稀疏索引和稠密索引你了解嗎?

背景 最近參加了乙個面試,面試官先問了mysql的資料庫的索引的底層資料介面,我回答了 平時都用的是innodb引擎,所以其底層的索引資料型別是b 樹。面試官問我用沒用過稀疏索引。當時就懵了,聚集索引,非聚集索引,主鍵索引,覆蓋索引等等,我也沒聽過什麼是稀疏索引。我反問了一下 面試官這個索引型別是m...