機器學習：
batch gradient descent 梯度下降法:
穩定可靠，更新速度慢。必須遍歷所有的訓練資料求偏導數，才能更新一次引數。
stochastic gradient descent 梯度下降法:
不穩定，更新快。每看見乙個資料點就更新，非常不穩定。
mini-batch gradient descent ：mini-batch梯度下降法
穩定，更新快。隨機抽取m個資料點計算偏導數，更新引數。
神經網路 neural network：
模型：線性運算/非線性運算
計算目標函式：forward propagation
計算***：backward propagation
優化目標函式：batch/stochastic/mini batch gd
超引數選擇: grid search/ random search
判別式模型/生成試模型
n-gram 潛在的問題：
neural network language model（nnlm）——對詞的理解有限，只會數數不理解詞義。可以把詞分維度，提取每個維度的特徵。獲得豐富的資訊。
recurrent nn language model——n-gram上下文長度有限。
nnlm 非常準確，但是處理慢。非線性的。
embedding作用：對詞的理解有限。每一維相當於機器學習出來的特徵。
特徵學習、表示學習：representation learning
iclr會議——international conference on learning representations.
word2vec 是對nnlm的簡化，只有線性模型，快+大資料。
exp：king-man+women=queen
用途：1. 尋找近義詞
2. 作為別的自然語言任務的特徵值
3. 作為別的neural network做初始化。
vanilla(最簡) rnn——recurrent neural network 迴圈神經網路
ht = f ( ht-1, xt ) //ht 當前狀態取決於上一步的狀態和xt當前的輸入，不斷迭代。
lstm——long short term memory 長短時記憶
嘗試解決的問題：vanishing gradients 保證第一步對最後一步的error的影響一直存在。
自然語言處理
自然語言處理主要步驟包括 2.詞法分析 對於英文，有詞頭 詞根 詞尾的拆分，名詞 動詞 形容詞 副詞 介詞的定性，多種詞意的選擇。比如diamond，有菱形 棒球場 鑽石3個含義，要根據應用選擇正確的意思。3.語法分析 通過語法樹或其他演算法，分析主語 謂語 賓語 定語 狀語 補語等句子元素。4.語...
自然語言處理
前言 自然語言處理 natural language processing 是計算科學領域與人工智慧領域中的乙個重要方向。它研究能實現人與計算機之間用自然語言進行有效通訊的各種理論和方法。自然語言處理是一門融語言學 電腦科學 數學於一體的科學。因此，這一領域的研究將涉及自然語言，即人們日常使用的語言...
自然語言處理
一 字串操作 去空格及特殊符號 s hello,world 預設把左右空格去掉 print s.strip print s.lstrip hello,print s.rstrip 查詢字元 0 為未找到 sstr1 strchr sstr2 tr 找到返回目標子串開始下標 npos sstr1.in...