當引數時隨機變數時，該引數分布中的引數就是超引數，簡單的說就是引數的引數，感覺一般在貝葉斯方法中出現
所謂超引數，就是機器學習模型裡面的框架引數，比如聚類方法裡面類的個數，或者話題模型裡面話題的個數等等，都稱為超引數。它們跟訓練過程中學習的引數（權重）是不一樣的，通常是手工設定，不斷試錯調整，或者對一系列窮舉出來的引數組合一通列舉（叫做網格搜尋）。深度學習和神經網路模型，有很多這樣的引數需要學習，這就是為什麼過去這麼多年從業者棄之不顧的原因。以前給人的印象，深度學習就是「黑魔法」。時至今日，非引數學習研究正在幫助深度學習更加自動的優化模型引數選擇，當然有經驗的專家仍然是必須的。
超引數的學習早已有之，但是直到最近才做出一點進展。這裡面比較早期的主要貢獻者（在應用到機器學習非引數學習領域之前）是frank hutter團隊，他在2023年的博士**就是關於軟體系統裡面如何用非引數學習來代替人手設定引數。我之前的博士生james bergstra和我一起在這個問題上也研究過幾年，我們提出了網格搜尋的一種簡單的取代方法，稱作隨機取樣（random sampling），實驗結果非常好，也很容易實現。
隨後我們就將hutter在其他領域使用過的非引數學習方法引入了深度學習，稱作序列優化（sequential optimization），發表在nips 2011，我的另外乙個聯合培養博士生 remi bardenet和他的導師balazs kegl（前同事，現在法國）也參與了這個工作。
這個工作被多倫多大學的研究人員看好並繼續深入，其中有jasper snoek（hinton教授的學生），hugo larochelle（我畢業的博士生）以及ryan adams（哈佛大學教授），他們的工作發表在nips2012。文中展示了他們利用自動化的方法，改進了krizhevsky，sutskever和hinton教授非常著名的imagenet物體識別神經網路演算法，重新整理了這個資料集的學術記錄。
snoek等人開發了乙個軟體，被相關學者廣泛使用，叫做spearmint，我最近發現netflix在他們用深度學習做電影推薦的新專案中也用到了它。
什麼是超流體？
記得，在 60多年前，我在南京第十中學 後來改為南京大學附屬中學 學習。在化學實驗室裡面，老師指導我們實驗 氫與氧化合成水 的實驗，印象深刻，至今不忘。大概在上世紀 30 40 年代，原蘇聯科學家著手研製大型火箭，使用氫 氧作為火箭的燃料。在那個時期，遇到如何將火箭燃料液化儲存的問題。大家知道，氫與...
什麼是超實數？
為方便讀者，該初等微積分教材的第一章內容目錄附在本文附件之中，供讀者查閱。實際情況是，該章節的內容是該教材的 靈魂 細心讀者可以在數小時之內了解大概內容。對於什麼是超實數必定有個 概念 對於新學年一年級新生而言，初步讀懂該第一章內容，必定 贏 在學習微積分的起跑線上！袁萌 陳啟清 10月10日 附件...
什麼是超融合？
超融合有什麼作用？超融合概念，超融合方案怎麼做，超融合一體化，超融合與虛擬化 中國人非常喜歡這個 融 字，idc資料顯示，2015年中國超融合市場整體規模達到9170萬美元，超過2014規模的3倍，在gartner 2016年7月公布的技術成熟度曲線中，超融合位於期望膨脹期的最頂點，這預示著，超融合...