可解釋人工智慧

可解釋人工智慧（英語：Explainable AI，縮寫為XAI）指的是讓專家能夠理解人工智慧之成果的方法與技術。它相對於黑箱式的機器學習，因為黑箱式的機器學習的設計者本身也無法解釋為什麼人工智慧能達到某些成果^[1]。可解釋人工智慧被認為是「要求解釋的權利（英語：right to explanation）」（right to explanation）的一種實踐^[2]。

要求人工智慧解釋它的決定是一種可解釋性問題（interpretability problem）^[3]。人工智慧的優化行為是一種為了滿足數理上特定目標的行為。其目標由設計者規劃，比如一個設計者要求「在資料集裡面精準分析電影如何被正面評價」。此時，人工智慧可能會找到一些通則，像是「評價中包含『爛』這個字眼表示是負面評價」。或是可能找到一些不正確的規則，比如「評價中包含『李小龍』這個字眼表示是正面評價」；這些規則可能難以解釋，甚至很可能在其他資料集得到錯誤的判斷，比如你很可能無法在《教父》的電影評價裡看到「李小龍」的字眼，但這不表示它是部爛片。針對這類問題，人類就能透過可解釋人工智慧的技術來監督人工智慧系統所找到的規則，並且判斷這些規則在真實的世界裡是否適用^[3]。

目的

在智慧型體之間的合作上（這裡的智慧型體之間指的是演算法構成的人工智慧同人類之間），信任是至關重要的事。如果人們要接受演算法的判斷就必須得先相信演算法。信任標的之不完整會成為方法優化的障礙。因此，可解釋性（interpretability）與可闡述性（explainability）是達成其他標的之前的一個中程標的^[4]。

人工智慧有時會學到一些無法解釋的技巧，在用來訓練的資料上做到一些最佳的結果，滿足明確設定的目標；但是，有時候它卻沒有滿足人類設計者所隱含的需求。比如在2017年的實驗裡，有一個圖像識別的人工智慧在辨識馬的相片時作了弊。實驗結果裡有一組人工智慧系統確實辨識出了馬的特徵，比如長型的臉，細長的四條腿之類的；但是有另一組系統則依據圖片左下角是否有「Copyright」的標記來判斷那是不是一張馬的相片，這個結果達到的準確性是因為許多實驗用的相片來自馬術協會，而協會在相片上打入了著作權（Copyright）宣告的字樣^[1]。2017年的另一個系統裡，被訓練在虛擬世界中抓取物品的人工智慧學會了透過將操縱器放置在目標和監督者之間的方式來作弊，以便讓監督者誤以為它抓到了目標^[5][6]。

美國國防部國防高等研究計劃署亦進行了可解釋人工智慧的專案。目標是建立「玻璃盒」（glass box）模型，除了可解釋性外，更要求人們始終都能監管機器的行為（human-in-the-loop），並且不會大幅度的犧牲人工智慧的運算效能。人類使用者能即時或是事後理解人工智慧的認知是什麼，並且能決定何時信任人工智慧，又何時不信任人工智慧^[7][8]。其他的可解釋人工智慧應用則著重於從黑盒子的模型裡面抽取出知識，或是讓不同的模型之間能進行比對^[9]。「玻璃盒」一詞亦被用來表示那種輸入與輸出受到監控的人工智慧系統。為的是確保系統遵守道德與社會法律的價值，並且提出以價值為基礎的解釋。另外，這一詞也被用在智慧型個人助理說明反事實陳述時的解釋^[10]。

監管法令

以各國的監管單位的角度來看，官方機構與一般使用者對人工智慧的應用來說，必需清楚的為它的決策過程定義究責的規則，以確保其可信任性與透明度。這部份的需求受到愈來愈多的重視，並開始有全球性會議中討論這個新興科技，像是2017年的國際人工智慧聯合會議（International Joint Conference on Artificial Intelligence）中就有針對可解釋人工智慧的研討會^[11]。

在2018年修定的歐盟一般資料保護規範（GDPR）裡宣佈了「要求解釋的權力」，希望以此來解決這些愈來愈受重視的演算法可能帶來的問題。然而，GDPR只要求局部的解釋。而在美國，保險公司甚至被要求解釋他們的費率與決策之間的關係^[12]。