使用與金融服務決策相關的算法預測時，了解模型考慮或未考慮哪些特徵很重要，在某些情況下，在採取行動之前對此類預測進行適當的人工審查可能很重要。在金融服務中，模型用戶可能需要了解每個模型的局限性、意圖和輸出，包括了解影響模型結果的因素。(
有多種不同的方法可以幫助解釋機器學習模型：部分依賴圖、在全局或本地構建代理模型、定量輸入影響、LIME、Explanation 和 SHAP 等等。神經網路模型的可解釋性仍然是一個活躍的研究主題。
模型可解釋性的重要性
- 2019年澳洲雪梨發生冰雹，保險公司透過 AI 模型成功訓練出辨識「損害之新舊程度」在進行理賠，但遇到「無法解釋 AI 如何判斷是舊傷而不理賠」之問題
- 歐盟GDPR（General Data Protection Regulation），其中的「透明處理原則」，是針對「個人化自動決策」(Automated Individual Decision-Making) ，賦予用戶請求解釋、拒絕適用的權利，更讓AI可解釋性成為所有AI應用都必須解決的課題。
- 歐盟先將可解釋性AI（Explainable AI，XAI）提升到法律層面來探討後，讓他國開始重新思考 AI 應用
- 如美國在今年草擬「演算法問責法案」(Algorithmic Accountability Act of 2019)，除了規範個資運用原則，也賦權用戶更正或拒絕個人化自動決策；
- 而亞洲，則有新加坡個人資料保護委員會，今年1月頒布「人工智慧監管模式框架」，規範AI的決策過程必須盡可能的達到可被解釋、透明且公正的目的。
LIME（Local interpretable model-agnostic explanations）
針對一筆訓練資料中的局部特徵（features）進行干擾，來觀察是否會影響預測結果，藉此判斷訓練資料中的哪些特徵，對於模型決策有更關鍵的作用，藉此來找出偏誤（bias）的資料。
IBM -「對比解釋方法（Contrastive Explanations Method，CEM）」。
這套方法是透過對比出訓練資料缺少的特徵，對模型表現形成更完整的解釋。舉例來說，流行感冒和肺炎都會有發燒、咳嗽、感冒的症狀，但讓AI模型判斷是流行感冒而非肺炎的原因，是因為病人「沒有」多痰或畏寒的症狀，才做此解釋，這是從對比的方式來解釋模型的預測。
SHAP
SHAP 已成為一種流行的提取特徵重要性的統一方法，並在我們的數據集上下文中進行了詳細說明。 SHAP 的目標是透過生成兩個模型來計算每個特徵對預測的貢獻來解釋預測：一個包含特徵，另一個包含特徵隱瞞。給定樣本的預測差異與特徵的重要性有關。SHAP 值透過對特徵添加到模型的順序的所有排列進行平均來考慮特徵的相互依賴性，將這一想法擴展到線性模型或局部獨立特徵之外。
- 讓使用的人清楚知道是什麼因素會對最終結果產生影響，幫助他們做出商業決策
- 監測搜索排名的趨勢，確保結果符合預期中的行為