人工智慧已經成功運用在自然語言、多**、計算杋視覺、語音和跨**等相關的特定領域。然而，這一架構在「端到端」模式下、通過計算大量資料來進行誤差後向傳播而優化引數的學習方法被比喻為乙個「黑盒子」，可解釋性較弱，人們普遍難以相信乙個不可解釋的黑盒子模型做出的決策。雖然我們造出了準確度極高的機器，但最後只能得到一堆看上去毫無意義的模型引數和擬合度非常高的判定結果。實際上模型本身也意味著知識，我們希望知道模型究竟從資料中學到了哪些知識（以人類可以理解的方式表達的），從而產生了最終的決策。深度學習作為當前人工智慧的核心驅動，其可解釋性對於人工智慧有著非常重要的意義：一方面，可解釋性是保障人工智慧安全性的個重要手段，如果演算法能夠說明所做決策的依據，人們就可以通過分析依據的合理性和內在邏輯評估演算法的安全性；另一方面，可解釋性有利於加速推廣人工智慧的落地應用。目前關於深度學習的可解釋性方法可分為以下三類：
一、在建模之前進行解釋工作
這一類方法其實主要涉及一些資料預處理或資料展示的方法。在建模之前的可解釋性方法的關鍵在於幫助我們迅速而全面地了解資料分布的特徵，從而幫助我們考慮在建模過程中可能面臨的問題並選擇一種最合理的模型來逼近問題所能達到的最優解。資料視覺化方法就是一類非常重要的建模前可解釋性方法。在真正要研究乙個資料問題之前，通過建立一系列方方面面的視覺化方法來建立我們對資料的直觀理解。
二 建立本身具備可解釋性的模型
建立本身具備可可解釋性的模型大致可以分為以下幾種：
1.基於可解釋模組的神經網路學習方法，這些神經網路的中間層不再是黑盒子，而是具有明確的語義。通過建立可解釋性的卷積神經網路或膠囊網路，會在演算法的執行過程中自動顯示網路的不同特徵，以幫助人們更好地理解網路中的邏輯。
2.將神經網路和結構化的邏輯規則相結合，利用邏輯規則的靈活性來提公升神經網路可解釋性。
一般來說用過建立具有直觀邏輯的損失函式或可解釋性更好的新型損失函式來解釋網路學習到的特徵，提高網路的可解釋性。
3. 基於稀疏性的方法。主要是利用資訊的稀疏性特質，將模型盡可能地簡化表示。比如用一些更泛化的主題概括一些小的主題，從而可以使我們更容易理解特定主題所代表的含義。
三、在建模之後使用可解釋性方法對模型作出解釋
建模後的可解釋性方法主要是針對具有黑箱性質的深度學習模型而言的，主要有下幾種方法：
1.捲及神經網路的視覺化：對卷積神經網路 ( convolutional neural net-works，cnn)中學習得到的濾波器進行視覺化是探索神經元內部模式最直接的方式。基於梯度的方法是卷積神經網路視覺化的主要方法。輸入一張影象，這些方法計算影象所對應的 cnn 中神經元的梯度，然後利用梯度來估計使神經元響應最大的影象外觀。上卷積網路( up-convolutional networks)是另一種視覺化卷積神經網路的技術。
2. 利用傳統機器學習模型進行解釋：在提出的可解釋圖（一種無監督學習的方法）方法基礎上，通過決策樹來定量解釋卷積網路的**邏輯。決策樹通過一種由粗到細的方式對這些潛在決策模式進行重組，也就是說，給定輸入影象，使用cnn來進行**。決策樹將揭示卷積層中哪些濾波器會參與**以及這些濾波器對**結果的貢獻程度，從而定量解釋cnn的**邏輯。
漏洞可解釋性定位
利用可解釋性做定位，用可解釋的方法來做定位。首先在建模的時候要包括能體現漏洞的特徵，結合汙點分析的原理，可以這樣說，如果在source和sink中間沒有sanitizer操作，這才可能會導致漏洞發生，資料完整性或資料私密性被破壞。都說借助自然語言的處理方法來對程式處理，是為了程式的語義資訊。可是，程...
AI可解釋性主體
可解釋性，就是我們需要完成一件事的時候，我們能獲取到的足夠多的，能讓我們自己理解的資訊。當我們不能獲得足夠多的資訊，來理解一件事情的時候，我們可以說這是不可解釋的。所以，解釋性的目的就是以人的思維來理解事物，讓人能懂。但是在深度學習模型中，建立模型的時候往往沒有考慮到它的可解釋性，特別是在深層網路中...
關於深度學習的可解釋性
在這裡學習的，在此簡要做了些筆記。人類對模型決策 結果的理解程度。對於深度學習而言，可解釋性面臨兩個問題 為甚會得到該結果？過程 為甚結果應該是這個？結果 理想狀態 通過溯因推理，計算出輸出結果，可是實現較好的模型解釋性。衡量乙個解釋是否合理，需要考慮 可解釋性 通過人類可以理解的方式描述系統的內部...