**
q1.什麼是線性賦範空間?
a1: 線性空間 範數:l0(非0個數) l1(曼哈頓距離) l2(距離)
有向量的加法和數乘滿足:
向量加法結合律/交換律/單位元/逆元素
標量乘法分配於向量加法上,分配於域加法,標量乘法一致於標量的域乘法
標量乘法有單位元: 1 v = v
線性賦範空間就是定義了範數的線性空間,所謂範數就是線性空間到數域的乙個對映,其滿足範數公理(正定性,齊次性,三角不等式),你可以理解為線性空間元素的長度。
reference: (上交網易公開課)
q2:計算機中圖的定義:
a2:頂點加邊 權 度
q3:目前哪些啟用函式?試著創作乙個啟用函式
sigmoid函式曲線如下:
sigmoid啟用函式,符合實際,當輸入值很小時,輸出接近於0;當輸入值很大時,輸出值接近於1。
但sigmoid啟用函式有較大的缺點,是主要有兩點:
(1)容易引起梯度消失。當輸入值很小或很大時,梯度趨向於0,相當於函式曲線左右兩端函式導數趨向於0。
(2)非零中心化,會影響梯度下降的動態性。這個可以參考cs231n.
與sigmoid相比,輸出至的範圍變成了0中心化[-1, 1]。但梯度消失現象依然存在。
3、relu
relu修正線性單元是有許多優點,是目前神經網路中使用最多的啟用函式。
函式曲線如下:
優點:(1)不會出現梯度消失,收斂速度快;
(2)前向計算量小,只需要計算max(0, x),不像sigmoid中有指數計算;
(3)反向傳播計算快,導數計算簡單,無需指數、出發計算;
(4)有些神經元的值為0,使網路具有saprse性質,可減小過擬合。
缺點:(1)比較脆弱,在訓練時容易「die」,反向傳播中如果乙個引數為0,後面的引數就會不更新。使用合適的學習率會減弱這種情況。
4、leak relu
leak relu是對relu缺點的改進,當輸入值小於0時,輸出值為αx,其中α是乙個很小的常數。這樣在反向傳播中就不容易出現「die」的情況。
5.自己構造:
y= (pi/2)arctanx
在這裡插入描述
q4:r^n的緊緻子集
a4: 緊集是指拓撲空間內的一類特殊點集,它們的任何開覆蓋都有有限子覆蓋。從某種意義上,緊集類似於閉集
r^n中的緊集就是有界閉集
q5:閱讀**《無限逼近理論》
a5: 再任意逼近的前提下,還能逼近。就為無限逼近
q6:把神經網路的輸入輸出關係表示式描述一下。
系統分析與設計 homework 1
1 簡單題 軟體工程是指導計算機軟體開發和維護的工程學科。將 系統化的 規範的 可度量的 方法用於軟體的開發 執行和維護的過程,即將工程化應用於軟體開發中。採用工程的概念 原理 技術和方法來開發與維護軟體,把經過時間考驗而證明正確的管理技術和當前能夠得到的最好的技術方法結合起來,這就是軟體工程。軟體...
系統分析與設計 Homework1
1 簡單題 1 將系統化 規範化 可度量的方法應用與軟體的開發 執行和維護的過程,即將工程化應用於軟體中。2 對 1 中所述方法的研究。ieee iee93 軟體危機 software crisis 是早期電腦科學的乙個術語,是指在軟體開發及維護的過程中所遇到的一系列嚴重問題,這些問題皆可能導致軟體...
系統分析與設計 homework1
1.簡單題 軟體危機 software crisis 是早期電腦科學的乙個術語,是指在軟體開發及維護的過程中所遇到的一系列嚴重問題,這些問題皆可能導致軟體產品的壽命縮短 甚至夭折。軟體危機主要表現在 1.專案執行超出預算。2.專案執行超過時間。3.軟體質量低落。4.軟體通常不匹配需求。5.專案無法管...