梯度提公升決策樹
梯度提公升和梯度下降演算法
梯度提公升決策樹
ml中的損失函式
牛頓法和擬牛頓法
詞袋tf-idf
詞彙表：詞袋模型可以很好地表現文字由哪些單詞組成，但卻無法表達出單詞之間的前後關係，使用生成的詞彙表對原有句子按照單詞逐個進行編碼。
word2vec
doc2vec
rnn lstm演算法
apriori演算法，挖掘資料之間的關聯性
gbdt梯度提公升決策樹
xgboost（在gbdt的基礎上進行了優化）
正則化：防止過擬合
損失函式：經驗風險損失函式和結構風險損失函式
目標函式
牛頓法，擬牛頓法：求函式的根，解決優化問題，重點，hessian matrix（黑塞矩陣）多元函式的二階偏導數構成的方陣
凸函式：二階導數非負
嚴格凸函式：二階導數為正數
凸優化：求目標函式為凸函式的最小值的優化問題。無約束優化和約束優化問題。將某個優化問題確認或者轉化為凸優化問題，能夠快速給出最優解。
啟用函式：資料不一定是線性可分的。加入非線性因素，解決線性模型無法解決的問題。因為線性模型的表達能力不夠。
核函式：把低維空間對映到高維空間。svm中核技巧的作用：降低計算的複雜度，甚至將不可能的計算變為可能。核函式是二元函式，輸入是變換之前的兩個向量，輸出與兩個向量變換之後的內積相等。
機器學習 KNN演算法的相關筆記
乙個樣本在特徵空間中，總會有k個最相似 即特徵空間中最鄰近 的樣本。其中，大多數樣本屬於某乙個類別，則該樣本也屬於這個類別。是理論上比較成熟的方法，也是最簡單的機器學習演算法之一。行業應用 客戶流失 欺詐偵測等 更適合於稀有事件的分類問題 計算步驟 算距離 給定測試物件，計算它與訓練集中的每個物件的...
機器學習 相關概念
一開始我是自學的機器學習的相關知識，因為要參加比賽，有點急於求成，網上到處找教程，學了很多，也了解了很多演算法，但是脈絡沒搞清楚，後面也越來越沒有信心 機器學習有很多相關的概念，我覺得在準備深入學習這些東西之前一定要把概念層次弄清楚，要不然很容易陷入誤區，所以在這裡把一些相關的概念和脈絡理一下 1....
機器學習相關知識
之前學習的東西很雜，都是想到哪個演算法，就去學。並沒有很系統的去理解他們的區別，這樣可能就沒辦法理解其真正的含義。再就是一心想著找實習，可是沒有足夠的水平水平很難去做這方面專案，即使找到了，可能也很low 所以其實我要做的是靜下心來，系統的，深入的去學習 理解和實現這些演算法 知識。常用的機器學習演...