大資料演算法彙總

2021-07-30 19:30:34 字數 3050 閱讀 1328

1、a* 搜尋演算法——圖形搜尋演算法,從給定起點到給定終點計算出路徑。其中使用了一種啟發式的估算,為每個節點估算通過該節點的最佳路徑,並以之為各個地點排定次序。演算法以得到的次序訪問這些節點。因此,a*搜尋演算法是最佳優先搜尋的範例。

2、集束搜尋(又名定向搜尋,beam search)——最佳優先搜尋演算法的優化。使用啟發式函式評估它檢查的每個節點的能力。不過,集束搜尋只能在每個深度中發現最前面的m個最符合條件的節點,m是固定數字——集束的寬度。

4、分支界定演算法(branch and bound)——在多種最優化問題中尋找特定最優化解決方案的演算法,特別是針對離散、組合的最優化。

5、buchberger演算法——一種數學演算法,可將其視為針對單變數最大公約數求解的歐幾里得演算法和線性系統中高斯消元法的泛化。

6、資料壓縮——採取特定編碼方案,使用更少的位元組數(或是其他資訊承載單元)對資訊編碼的過程,又叫**編碼。

7、diffie-hellman金鑰交換演算法——一種加密協議,允許雙方在事先不了解對方的情況下,在不安全的通訊通道中,共同建立共享金鑰。該金鑰以後可與乙個對稱密碼一起,加密後續通訊。

8、dijkstra演算法——針對沒有負值權重邊的有向圖,計算其中的單一起點最短演算法。

9、離散微分演算法(discrete differentiation)。

10、動態規劃演算法(dynamic programming)——展示互相覆蓋的子問題和最優子架構演算法

11、歐幾里得演算法(euclidean algorithm)——計算兩個整數的最大公約數。最古老的演算法之一,出現在西元前300前歐幾里得的《幾何原本》。

12、期望-最大演算法(expectation-maximization algorithm,又名em-training)——在統計計算中,期望-最大演算法在概率模型中尋找可能性最大的引數估算值,其中模型依賴於未發現的潛在變數。em在兩個步驟中交替計算,第一步是計算期望,利用對隱藏變數的現有估計值,計算其最大可能估計值;第二步是最大化,最大化在第一步上求得的最大可能值來計算引數的值。

13、快速傅利葉變換(fast fourier transform,fft)——計算離散的傅利葉變換(dft)及其反轉。該演算法應用範圍很廣,從數字訊號處理到解決偏微分方程,到快速計算大整數乘積。

14、梯度下降(gradient descent)——一種數學上的最優化演算法。

15、雜湊演算法(hashing)。

16、堆排序(heaps)。

17、karatsuba乘法——需要完成上千位整數的乘法的系統中使用,比如計算機代數系統和大數程式庫,如果使用長乘法,速度太慢。該演算法發現於2023年。

18、lll演算法(lenstra-lenstra-lovasz lattice reduction)——以格規約(lattice)基數為輸入,輸出短正交向量基數。lll演算法在以下公共金鑰加密方法中有大量使用:揹包加密系統(knapsack)、有特定設定的rsa加密等等。

19、最大流量演算法(maximum flow)——該演算法試圖從乙個流量網路中找到最大的流。它優勢被定義為找到這樣乙個流的值。最大流問題可以看作更複雜的網路流問題的特定情況。最大流與網路中的介面有關,這就是最大流-最小截定理(max-flow min-cut theorem)。ford-fulkerson 能找到乙個流網路中的最大流。

20、合併排序(merge sort)。

21、牛頓法(newton』s method)——求非線性方程(組)零點的一種重要的迭代法。

22、q-learning學習演算法——這是一種通過學習動作值函式(action-value function)完成的強化學習演算法,函式採取在給定狀態的給定動作,並計算出期望的效用價值,在此後遵循固定的策略。q-leanring的優勢是,在不需要環境模型的情況下,可以對比可採納行動的期望效用。

23、兩次篩法(quadratic sieve)——現代整數因子分解演算法,在實踐中,是目前已知第二快的此類演算法(僅次於數域篩法number field sieve)。對於110位以下的十位整數,它仍是最快的,而且都認為它比數域篩法更簡單。

24、ransac——是「random sample consensus」的縮寫。該演算法根據一系列觀察得到的資料,資料中包含異常值,估算乙個數學模型的引數值。其基本假設是:資料報含非異化值,也就是能夠通過某些模型引數解釋的值,異化值就是那些不符合模型的資料點。

25、rsa——公鑰加密演算法。首個適用於以簽名作為加密的演算法。rsa在電商行業中仍大規模使用,大家也相信它有足夠安全長度的公鑰。

26、schönhage-strassen演算法——在數學中,schönhage-strassen演算法是用來完成大整數的乘法的快速漸近演算法。其演算法複雜度為:o(n log(n) log(log(n))),該演算法使用了傅利葉變換。

27、單純型演算法(******x algorithm)——在數學的優化理論中,單純型演算法是常用的技術,用來找到線性規劃問題的數值解。線性規劃問題包括在一組實變數上的一系列線性不等式組,以及乙個等待最大化(或最小化)的固定線性函式。

29、求解線性方程組(solving a system of linear equations)——線性方程組是數學中最古老的問題,它們有很多應用,比如在數字訊號處理、線性規劃中的估算和**、數值分析中的非線性問題逼近等等。求解線性方程組,可以使用高斯—約當消去法(gauss-jordan elimination),或是柯列斯基分解( cholesky decomposition)。

30、strukturtensor演算法——應用於模式識別領域,為所有畫素找出一種計算方法,看看該畫素是否處於同質區域( homogenous region),看看它是否屬於邊緣,還是是乙個頂點。

31、合併查詢演算法(union-find)——給定一組元素,該演算法常常用來把這些元素分為多個分離的、彼此不重合的組。不相交集(disjoint-set)的資料結構可以跟蹤這樣的切分方法。合併查詢演算法可以在此種資料結構上完成兩個有用的操作:

查詢:判斷某特定元素屬於哪個組。

合併:聯合或合併兩個組為乙個組。

32、維特比演算法(viterbi algorithm)——尋找隱藏狀態最有可能序列的動態規劃演算法,這種序列被稱為維特比路徑,其結果是一系列可以觀察到的事件,特別是在隱藏的markov模型中。

以上就是christoph博士對於最重要的演算法的調查結果。你們熟悉哪些演算法?又有哪些演算法是你們經常使用的?

end.

大資料演算法 大資料演算法概述

大資料 當下人人津津樂道的話題。然而對於大資料的公認定義以及完美體系還沒有完全誕生,但大街小巷已遍布雲計算 大資料,這些領域的經典案例更是層出不窮。由於認知的有限,就不繼續發表拙見了。只是因為很喜歡演算法和dm,加上最近在mooc上學習一門hit的 大資料演算法 課程,收穫很多特記錄於此,也推薦一下...

大資料學習資源彙總

當前,整個網際網路正在從it 時代向dt 時代演進,大資料技術也正在助力企業和公眾敲開 dt世界大門。當今 大資料 一詞的重點其實已經不僅在於資料規模的定義,它更代表著資訊科技發展進入了乙個新的時代,代表著 性的資料資訊給傳統的計算技術和資訊科技帶來的技術挑戰和困難,代表著大資料處理所需的新的技術和...

大資料學習資源彙總

當前,整個網際網路正在從it 時代向dt 時代演進,大資料技術也正在助力企業和公眾敲開 dt世界大門。當今 大資料 一詞的重點其實已經不僅在於資料規模的定義,它更代表著資訊科技發展進入了乙個新的時代,代表著 性的資料資訊給傳統的計算技術和資訊科技帶來的技術挑戰和困難,代表著大資料處理所需的新的技術和...