AutoML與機器學習領域的理解

2021-09-11 01:49:05 字數 1523 閱讀 8064

featuretools如你所言能夠自動完成特徵工程,它屬於automl範疇,接下來我還是主要談automl1

吧。由於機器學習應用高門檻和應用範圍的廣闊,所以很多組織於2017和2023年開始自動化的機器學習嘗試,想降低機器學習應用的門檻,讓非專業人員也能夠應用。機器學習的工作流通常為資料清洗、特徵工程、模型選擇、模型訓練、模型評估,針對機器學習的自動化嘗試,也在這幾個步驟展開。

由於資料清洗和資料強關聯,在這一部分只能根據具體應用和情景進行處理,無法抽象出來使用通用方法解決;針對特徵工程部分,據我查閱所看,自動化工具很少,featuretools算是乙個吧;但是針對後面模型選擇與模型訓練、模型評估的自動化工具就比較多了,例如google的automl,microsoft的nni2

以及autosklearn3

等。當前自動化的工具主要根據機器學習演算法分為兩個類別4

:automl從2023年開始引起關注,2018號稱automl的元年,由此也能看出來其離實際應用還有比較長的距離。雖然如此說,但是針對傳統機器學習的自動化工具現在還是值得嘗試。

傳統機器學習方法已經發展很多年了,針對這部分自動化工具也誕生有些年頭了,auto-sklearn已4年。但是很不幸,據使用過的人說,效果還是比較有限,不如人工做出來的效果好,如果對於效果要求不很高,不妨試試,畢竟構建快成本低。自動神經網路就不用在說了。從目前發展狀況來看,短期內這個領域應該不會有什麼大的突破,但是長期看自動化機器學習還是很有前途的。

如果要想進一步了解automl的內容,可以檢視zhihu中automl話題下的討論,

機器學習技術落地難,急需懂演算法的產品人員。

演算法工程師從業人員已經飽和。學習資料易得,學習門檻降低。還記得在2023年底時我們倆談過:由於現在的各種教程漫天飛,這個領域必將湧入大量的從業人員。

從近兩年發展來看現狀確實如此,去年校招的很多報道說:演算法崗收到的簡歷與職位的比例遠遠大於100:1,各大公司現如今對於演算法工程師的門檻要求也是水漲船高,高的我看見都發怵。機器學習在產品上的應用遠沒有想象的那樣迅速鋪展開來,新進入人員沒有新坑能佔。當前機器學習應用比較廣的領域:

這些都是發展很多年的領域並不新,所以也就沒有新的崗位創造出來,進一步加深了行業人員的飽和。因此,當前行業並不缺懂演算法的工程師,或者說並不缺初中級演算法工程師。

急需能夠讓演算法落地的產品人員。不用質疑機器學習的應用範圍是很廣的,但是應用的落地速度並不如預期,這在一定程度上反應出來:演算法人員不懂產品,產品人員不懂演算法。這種隔閡才是演算法不能迅速落地的關鍵因素。

所以,如果在這個方向的從業人員應該多多將精力放在如何填補這鴻溝上,要麼產品人員多學學演算法,要麼演算法人員多多了解產品知識

個人觀點:能夠掌握主流的演算法原理,有兩三個演算法實際專案,能夠掌握產品方面的技能,這種人才才是當前的香餑餑。

機器之心,automl、autokeras…這四個「auto」的自動機器學習方法你分得清嗎?

microsoft, nni,

machine learning professorship freiburg, auto-sklearn,

第四正規化,automl在推薦系統中的應用,

automl學習與整理2

深度學習的發展促進了相關應用的湧現。但是,深度學習模型往往具有非常大的引數搜尋空間,為了保證模型的效果,經常需要機器學習專家耗費大量的時間構建深度學習模型。為了降低深度學習模型的設計成本和難度 提高模型構建效率,學界提出了乙個新的概念 automated machine learning autom...

自動機器學習簡述(AutoML)

一 為什麼需要自動機器學習 二 超引數優化 hyper parameter optimization 三 元學習 meta learning 四 神經網路架構搜尋 neural architecture search 五 自動化特徵工程 六 其它自動機器學習工具集 對於機器學習的新使用者而言,使用機...

機器學習相關領域

資料探勘 資料探勘 機器學習 資料庫。資料探勘僅僅是一種思考方式,告訴我們應該嘗試從資料中挖掘出知識,但不是每個資料都能挖掘出金子的,不要神話它。乙個系統絕對不會因為上了乙個資料探勘模組就變得無所不能,恰恰相反,乙個擁有資料探勘思維的人員才是關鍵,而且他還必須對資料有深刻的認識,這樣才可能從資料中匯...