好 我 們 現 在 要 來 講 explainable 的 machine learning 到 目 前 為 止 我 們 已 經 訓 練 了 很 多 很 多 的 模 型 你 可 能 我 們 訓 練 過 影 像 辨 識 的 模 型 給 它 一 張 圖 片 它 會 給 你 答 案 但 我 們 並 不 滿 足 於 此 接 下 來 我 們 要 機 器 給 我 們 它 得 到 答 案 的 理 由 這 個 就 是 explainable 的 machine learning 好 那 開 始 之 前 開 始 介 紹 技 術 之 前 我 們 需 要 講 一 下 為 什 麼 explainable 的 machine learning 是 一 個 重 要 的 議 題 呢 我 覺 得 那 個 本 質 上 的 原 因 是 就 算 今 天 機 器 可 以 得 到 正 確 的 答 案 也 不 代 表 它 一 定 非 常 地 聰 明 舉 一 個 例 子 過 去 有 一 匹 馬 牠 很 聰 明 所 以 大 家 叫 牠 神 馬 漢 斯 那 這 個 神 馬 漢 斯 可 以 做 什 麼 事 情 呢 牠 會 做 數 學 問 題 舉 例 來 說 你 問 牠 根 號 9 是 多 少 然 後 牠 就 開 始 計 算 得 到 答 案 牠 怎 麼 告 訴 你 牠 的 答 案 呢 牠 會 用 牠 的 馬 蹄 去 跺 地 板 所 以 如 果 答 案 是 3 牠 就 敲 三 下 然 後 就 停 下 來 代 表 牠 得 到 正 確 的 答 案 然 後 旁 邊 的 人 就 會 歡 呼 所 以 這 個 是 神 馬 漢 斯 然 後 一 堆 人 呢 在 看 牠 解 數 學 問 題 後 來 有 人 就 很 懷 疑 說 為 什 麼 漢 斯 可 以 解 數 學 問 題 呢 牠 只 是 一 匹 馬 牠 為 什 麼 能 夠 理 解 數 學 問 題 呢 後 來 有 人 發 現 說 只 要 沒 有 人 圍 觀 的 時 候 漢 斯 就 會 答 不 出 數 學 問 題 沒 有 人 看 牠 的 時 候 你 問 牠 一 個 數 學 的 問 題 牠 就 會 不 斷 地 敲 牠 的 馬 蹄 不 知 道 什 麼 時 候 停 下 來 所 以 牠 其 實 只 是 偵 測 到 旁 邊 人 類 微 妙 的 情 感 變 化 知 道 牠 什 麼 時 候 要 停 下 跺 馬 蹄 牠 就 可 以 有 胡 蘿 蔔 吃 牠 並 不 是 真 的 學 會 解 數 學 的 問 題 而 今 天 我 們 看 到 種 種 人 工 智 慧 的 應 用 有 沒 有 可 能 跟 神 馬 漢 斯 是 一 樣 的 狀 況 而 今 天 在 很 多 真 實 的 應 用 中 explainable 的 machine learning 可 解 釋 性 的 模 型 往 往 是 必 須 的 舉 例 來 說 銀 行 今 天 可 能 會 用 機 器 學 習 的 模 型 來 判 斷 要 不 要 貸 款 給 某 一 個 客 戶 但 是 根 據 法 律 的 規 定 銀 行 作 用 機 器 學 習 模 型 來 做 自 動 的 判 斷 它 必 須 要 給 出 一 個 理 由 所 以 這 個 時 候 我 們 不 是 只 訓 練 機 器 學 習 模 型 就 好 我 們 還 需 要 機 器 學 習 的 模 型 是 具 有 解 釋 力 的 或 者 是 說 機 器 學 習 未 來 也 會 被 用 在 醫 療 診 斷 上 但 醫 療 診 斷 人 命 關 天 的 事 情 如 果 機 器 學 習 的 模 型 只 是 一 個 黑 箱 不 會 給 出 診 斷 的 理 由 的 話 那 我 們 又 要 怎 麼 相 信 它 做 出 的 是 正 確 的 判 斷 呢 今 天 也 有 人 想 把 機 器 學 習 的 模 型 用 在 法 律 上 比 如 說 幫 助 法 官 判 案 幫 助 法 官 自 動 判 案 說 一 個 犯 人 能 不 能 夠 被 假 釋 但 是 我 們 怎 麼 知 道 機 器 學 習 的 模 型 它 是 公 正 的 呢 我 們 怎 麼 知 道 它 在 做 判 斷 的 時 候 沒 有 種 族 歧 視 等 其 他 的 問 題 呢 所 以 我 們 希 望 機 器 學 習 的 模 型 不 只 得 到 答 案 它 還 要 給 我 們 得 到 答 案 的 理 由 再 更 進 一 步 今 天 自 駕 車 未 來 可 能 會 滿 街 跑 當 今 天 自 駕 車 突 然 急 剎 的 時 候 甚 至 急 剎 導 致 車 上 的 乘 客 受 傷 那 這 個 自 駕 車 到 底 有 沒 有 問 題 呢 這 也 許 取 決 於 它 急 剎 的 理 由 如 果 它 是 看 到 有 一 個 老 太 太 在 過 馬 路 所 以 急 剎 那 也 許 自 駕 車 是 對 的 但 是 假 設 它 只 是 無 緣 無 故 就 突 然 發 狂 要 急 剎 那 這 個 模 型 就 有 問 題 了 所 以 對 自 駕 車 它 的 種 種 的 行 為 種 種 的 決 策 我 們 希 望 知 道 決 策 背 後 的 理 由 更 進 一 步 也 許 機 器 學 習 的 模 型 如 果 具 有 解 釋 力 的 話 那 未 來 我 們 可 以 憑 藉 著 解 釋 的 結 果 再 去 修 正 我 們 的 模 型 今 天 在 使 用 這 些 深 度 學 習 技 術 的 時 候 往 往 狀 況 是 這 個 樣 子 有 某 人 說 這 個 就 是 你 的 機 器 學 習 的 系 統 是 啊 我 就 是 把 資 料 丟 進 去 裡 面 就 是 有 很 多 矩 陣 的 相 乘 接 下 來 呢 就 會 跑 出 我 的 結 果 如 果 結 果 不 如 預 期 的 話 怎 麼 樣 呢 現 在 大 家 都 知 道 就 爆 調 一 下 參 數 對 不 對 改 個 learning rate 對 不 對 調 一 下 network 的 架 構 對 不 對 你 根 本 不 知 道 自 己 在 做 什 麼 對 不 對 就 調 一 下 network 的 架 構 我 就 把 這 一 堆 數 學 這 一 堆 linear algebra 再 重 新 打 亂 一 下 看 看 結 果 會 不 會 比 較 好 那 如 果 其 它 沒 有 做 過 deep learning 的 人 就 會 大 吃 一 驚 覺 得 哇 這 樣 怎 麼 可 以 呢 但 實 際 上 今 天 深 度 學 習 的 模 型 你 往 往 要 改 進 模 型 就 是 需 要 調 一 些 hyperparameter 但 是 我 們 期 待 也 許 未 來 當 我 們 知 道 deep learning 的 模 型 犯 錯 的 時 候 它 是 錯 在 什 麼 樣 的 地 方 它 為 什 麼 犯 錯 也 許 我 們 可 以 有 更 好 的 方 法 更 有 效 率 的 方 法 來 improve 我 的 模 型 當 然 這 個 是 未 來 的 目 標 今 天 離 用 explainable 的 machine learning 做 到 上 述 improve model 的 想 法 還 有 很 長 的 一 段 距 離 好 那 講 到 這 邊 呢 有 人 可 能 會 想 說 我 們 今 天 之 所 以 這 麼 關 注 explainable machine learning 的 議 題 也 許 是 因 為 deep 的 network 它 本 身 就 是 一 個 黑 箱 那 我 們 能 不 能 夠 用 其 它 的 機 器 學 習 的 模 型 呢 如 果 不 要 用 深 度 學 習 的 模 型 改 採 用 其 他 比 較 容 易 解 釋 的 模 型 會 不 會 就 不 需 要 研 究 explainable machine learning 了 呢 舉 例 來 說 假 設 我 們 都 採 用 linear 的 model linear 的 model 它 的 解 釋 的 能 力 是 比 較 強 的 我 們 可 以 輕 易 地 知 道 根 據 一 個 linear model 裡 面 的 每 一 個 feature 的 weight 知 道 linear 的 model 在 做 什 麼 事 所 以 你 訓 練 完 一 個 linear model 以 後 你 可 以 輕 易 地 知 道 它 是 怎 麼 得 到 它 的 結 果 的 但 是 linear model 的 問 題 就 是 它 沒 有 非 常 地 powerful 我 們 其 實 在 第 一 堂 課 就 已 經 告 訴 你 說 linear 的 model 有 很 巨 大 地 限 制 所 以 我 們 才 很 快 地 進 入 了 deep 的 model 但 是 deep 的 model 它 的 壞 處 就 是 它 不 容 易 被 解 釋 deep 的 network 大 家 都 知 道 它 就 是 一 個 黑 盒 子 黑 盒 子 裡 面 發 生 了 什 麼 事 情 我 們 很 難 知 道 雖 然 它 比 linear 的 model 更 好 但 是 它 的 解 釋 的 能 力 是 遠 比 linear 的 model 要 差 所 以 講 到 這 邊 很 多 人 就 會 得 到 一 個 結 論 你 可 能 常 常 聽 到 這 樣 的 想 法 我 們 就 不 應 該 用 這 種 deep 的 model 我 們 不 該 用 這 些 比 較 powerful 的 model 因 為 它 們 是 黑 盒 子 但 是 在 我 看 來 這 樣 的 想 法 其 實 就 是 削 足 適 履 我 們 因 為 一 個 模 型 它 非 常 地 powerful 但 是 不 容 易 被 解 釋 就 揚 棄 它 嗎 我 們 不 是 應 該 是 想 辦 法 讓 它 具 有 可 以 解 釋 的 能 力 嗎 我 聽 過 yann lecun 講 了 一 個 故 事 這 個 是 yann lecun 講 的 那 這 個 故 事 是 個 老 梗 誰 都 聽 過 就 是 有 一 個 醉 漢 他 在 路 燈 下 面 找 鑰 匙 大 家 問 他 說 你 的 鑰 匙 掉 在 路 燈 下 嗎 他 說 不 是 因 為 這 邊 有 光 那 所 以 我 們 堅 持 一 定 要 用 簡 單 但 是 比 較 容 易 被 解 釋 的 模 型 其 實 就 好 像 是 我 們 堅 持 一 定 要 在 路 燈 下 面 找 鑰 匙 一 樣 我 們 堅 持 因 為 一 個 模 型 是 比 較 interpretable 的 雖 然 它 比 較 不 好 但 我 們 還 是 堅 持 要 使 用 它 就 好 像 一 定 要 在 路 燈 下 面 找 鑰 匙 一 樣 不 知 道 說 真 實 的 模 型 真 實 powerful 的 模 型 也 許 根 本 在 路 燈 的 範 圍 之 外 而 我 們 現 在 要 做 的 事 情 就 是 改 變 路 燈 的 範 圍 改 變 照 明 的 方 向 看 能 不 能 夠 讓 這 些 比 較 powerful 的 模 型 可 以 被 置 於 路 燈 之 下 比 較 interpretable 比 較 explainable 其 實 interpretable 跟 explainable 這 兩 個 詞 彙 雖 然 在 文 獻 上 常 常 被 互 相 使 用 那 其 實 它 們 是 有 一 點 點 差 別 的 通 常 這 個 explainable 指 的 是 說 有 一 個 東 西 它 本 來 是 個 黑 箱 我 們 想 辦 法 賦 予 它 解 釋 的 能 力 叫 做 explainable 那 interpretable 通 常 指 的 是 一 個 東 西 它 本 來 就 不 是 黑 箱 我 們 可 以 跟 它 本 來 就 不 是 黑 箱 我 們 本 來 就 可 以 知 道 它 的 內 容 這 個 叫 interpretable 好 不 過 這 兩 者 在 文 獻 上 也 常 常 被 混 用 了 所 以 我 們 這 邊 就 不 特 別 跟 大 家 強 調 explainable 跟 interpretable 的 差 異 好 那 講 到 既 interpretable 又 powerful 的 模 型 也 許 有 人 會 說 那 decision tree 會 不 會 就 是 一 個 好 的 選 擇 呢 decision tree 相 較 於 linear 的 model 它 是 更 強 大 的 模 型 而 decision tree 的 另 外 一 個 好 處 相 較 於 deep learning 它 非 常 地 interpretable 你 看 一 個 decision tree 的 structure 你 就 可 以 知 道 說 今 天 模 型 是 憑 藉 著 什 麼 樣 的 規 則 來 做 出 最 終 的 判 斷 那 decision tree 不 是 我 們 這 門 課 會 講 的 東 西 但 是 就 算 是 你 沒 有 學 過 的 decision tree 你 其 實 也 不 難 想 像 decision tree 它 是 在 做 什 麼 它 做 的 事 情 就 是 你 有 很 多 的 節 點 那 每 一 個 節 點 都 會 問 一 個 問 題 讓 你 決 定 向 左 還 是 向 右 最 終 當 你 走 到 節 點 的 末 尾 當 你 走 到 leaf node 的 時 候 就 可 以 做 出 最 終 的 決 定 因 為 在 每 一 個 節 點 都 有 一 個 問 題 你 看 那 些 問 題 以 及 答 案 你 就 可 以 知 道 現 在 整 個 模 型 憑 藉 著 什 麼 樣 的 特 徵 是 如 何 做 出 最 終 的 決 斷 所 以 從 這 個 角 度 看 來 decision tree 它 既 強 大 又 interpretable 所 以 這 堂 課 我 們 可 以 就 上 到 這 邊 就 是 decision tree is all you need? 然 後 就 結 束 了 這 樣 子 好 但 是 decision tree 真 的 就 是 我 們 所 需 要 的 嗎 你 再 仔 細 想 一 下 decision tree 也 有 可 能 是 很 複 雜 的 舉 例 來 說 我 看 到 在 網 路 上 找 到 有 人 問 了 一 個 問 題 他 說 他 有 一 個 這 麼 複 雜 的 decision tree 他 完 全 看 不 懂 這 個 decision tree 在 幹 嘛 有 沒 有 人 有 什 麼 樣 的 explainable machine learning 的 方 法 可 以 把 這 個 decision tree 變 得 更 簡 單 一 點 我 看 三 四 年 過 去 了 都 沒 有 人 回 答 這 個 問 題 有 人 看 到 的 話 也 許 可 以 幫 忙 回 答 一 下 但 另 外 一 方 面 你 再 仔 細 想 想 看 你 是 怎 麼 實 際 使 用 decision tree 這 個 技 術 的 呢 我 知 道 很 多 同 學 都 會 說 這 個 打 kaggle 比 賽 的 時 候 deep learning 不 是 最 好 用 什 麼 decision tree 那 個 才 是 最 好 用 的 那 才 是 kaggle 比 賽 的 常 勝 軍 但 是 你 想 想 看 當 你 在 使 用 decision tree 技 術 的 時 候 你 是 只 用 一 棵 decision tree 嗎 其 實 不 是 你 真 正 用 的 技 術 叫 做 random forest 對 不 對 你 真 正 用 的 技 術 其 實 是 好 多 棵 decision tree 共 同 決 定 的 結 果 一 棵 decision tree 你 可 以 憑 藉 著 每 一 個 節 點 的 問 題 跟 答 案 知 道 它 是 怎 麼 做 出 最 終 的 判 斷 的 但 當 你 有 一 片 森 林 當 你 有 500 棵 decision tree 的 時 候 你 就 很 難 知 道 說 這 500 棵 decision tree 合 起 來 是 怎 麼 做 出 判 斷 所 以 decision tree 也 不 是 最 終 的 答 案 並 不 是 有 decision tree 我 們 就 解 決 了 explainable machine learning 的 問 題 好 那 再 繼 續 深 入 講 explainable machine learning 的 技 術 之 前 這 邊 還 有 一 個 問 題 就 是 explainable machine learning 的 目 標 是 什 麼 在 我 們 之 前 的 每 一 個 作 業 裡 面 我 們 都 有 一 個 leaderboard 也 就 是 我 們 有 一 個 明 確 的 目 標 要 嘛 是 降 低 error rate 要 嘛 是 提 升 accuracy 我 們 總 是 有 一 個 明 確 的 目 標 但 是 explainable 的 目 標 到 底 是 什 麼 呢 什 麼 才 是 最 好 的 explanation 的 結 果 呢 那 explanation 它 的 目 標 其 實 非 常 地 不 明 確 就 是 因 為 目 標 不 明 確 你 才 發 現 說 explainable machine learning 的 作 業 就 沒 有 leaderboard 因 為 出 不 了 leaderboard 我 們 只 能 夠 出 選 擇 題 讓 大 家 增 加 一 些 知 識 我 們 只 能 夠 做 這 樣 子 而 已 那 到 底 explainable machine learning 它 的 終 極 目 標 是 什 麼 呢 什 麼 才 是 最 好 的 explanation 那 以 下 是 我 個 人 的 看 法 並 不 代 表 它 是 對 的 你 可 能 不 認 同 那 我 也 不 會 跟 你 爭 辯 那 這 個 只 是 我 個 人 的 看 法 而 已 很 多 人 對 於 explainable machine learning 會 有 一 個 誤 解 他 覺 得 一 個 好 的 explanation 就 是 要 告 訴 我 們 整 個 模 型 在 做 什 麼 事 我 們 要 了 解 模 型 的 一 切 我 們 要 知 道 它 到 底 是 我 們 要 完 全 了 解 它 是 怎 麼 做 出 一 個 決 斷 的 但 是 你 想 想 看 這 件 事 情 真 的 是 有 必 要 的 嗎 我 們 今 天 說 machine learning 的 model deep 的 network 是 一 個 黑 盒 子 所 以 我 們 不 能 相 信 它 但 你 想 想 看 世 界 上 有 很 多 很 多 的 黑 盒 子 正 在 你 的 身 邊 人 腦 不 是 也 是 黑 盒 子 嗎 我 們 其 實 也 並 不 完 全 知 道 人 腦 的 運 作 原 理 但 是 我 們 可 以 相 信 另 外 一 個 人 做 出 的 決 斷 那 人 腦 其 實 也 是 一 個 黑 盒 子 你 可 以 相 信 人 腦 做 出 了 決 斷 為 什 麼 deep 的 network 是 一 個 黑 盒 子 你 沒 有 辦 法 相 信 deep 的 network 做 出 來 的 決 斷 為 什 麼 你 對 deep 的 network 會 這 麼 恐 懼 呢 那 我 覺 得 其 實 對 人 而 言 也 許 一 個 東 西 能 不 能 讓 我 們 放 心 能 不 能 夠 讓 我 們 接 受 理 由 是 非 常 重 要 的 以 下 呢 是 一 個 跟 machine learning 完 全 無 關 的 心 理 學 實 驗 這 個 實 驗 是 1970 年 代 就 做 了 這 是 ellen langer 一 個 哈 佛 大 學 教 授 做 的 這 個 實 驗 非 常 地 有 名 這 個 實 驗 是 這 樣 這 個 實 驗 是 一 個 跟 印 表 機 有 關 的 實 驗 在 哈 佛 大 學 圖 書 館 印 表 機 呢 會 大 排 長 龍 很 多 人 都 排 隊 要 印 東 西 這 個 時 候 如 果 有 一 個 人 跟 他 前 面 的 人 說 拜 託 請 讓 我 先 印 我 就 印 5 頁 而 已 那 一 般 人 會 不 會 接 受 呢 會 不 會 讓 他 先 印 呢 有 60% 的 人 會 讓 這 個 人 先 印 所 以 感 覺 哈 佛 大 學 學 生 人 都 還 蠻 好 的 這 個 是 接 受 程 度 是 比 我 預 期 得 要 高 你 給 一 個 人 說 讓 我 先 印 有 60% 的 人 會 答 應 但 這 個 時 候 你 只 要 把 剛 才 問 話 的 方 法 稍 微 改 一 下 你 本 來 只 說 能 不 能 讓 我 先 印 現 在 改 成 說 能 不 能 讓 我 先 印 因 為 我 趕 時 間 他 是 不 是 真 的 趕 時 間 沒 人 知 道 但 是 當 你 說 你 有 一 個 理 由 所 以 你 要 先 印 的 時 候 這 個 時 候 接 受 的 程 度 變 成 94% 而 神 奇 的 事 情 是 就 算 你 的 理 由 稍 微 改 一 下 舉 例 來 說 有 人 說 請 讓 我 先 印 因 為 我 需 要 先 印 光 是 這 個 樣 子 接 受 的 程 度 也 變 成 93% 所 以 神 奇 的 事 情 是 人 就 是 需 要 一 個 理 由 你 為 什 麼 要 先 印 你 只 要 講 出 一 個 理 由 就 算 你 的 理 由 是 因 為 我 需 要 先 印 大 家 也 會 接 受 所 以 會 不 會 explainable machine learning 也 是 同 樣 的 道 理 所 以 我 們 需 要 explainable 的 machine learning 所 以 我 覺 得 對 什 麼 叫 做 好 的 explanation 好 的 explanation 就 是 人 能 接 受 的 explanation 就 是 好 的 explanation 人 就 是 需 要 一 個 理 由 讓 我 們 覺 得 高 興 而 到 底 是 讓 誰 高 興 呢 這 個 是 高 興 的 人 可 能 是 你 的 客 戶 因 為 很 多 人 就 是 聽 到 deep network 是 一 個 黑 盒 子 他 就 不 爽 你 告 訴 他 說 這 個 是 可 以 被 解 釋 的 給 他 一 個 理 由 他 就 高 興 了 他 可 能 是 你 的 老 闆 老 闆 看 了 很 多 的 農 場 文 他 也 覺 得 說 deep learning 黑 盒 子 就 是 不 好 的 告 訴 他 說 這 個 是 可 以 解 釋 的 他 就 高 興 了 或 者 是 你 今 天 要 讓 你 今 天 要 說 服 的 對 象 是 你 自 己 你 自 己 覺 得 有 一 個 黑 盒 子 deep network 是 一 個 黑 盒 子 你 心 裡 過 不 去 今 天 它 可 以 給 你 一 個 做 出 決 斷 的 理 由 你 就 高 興 了 所 以 我 覺 得 什 麼 叫 做 好 的 explanation 就 是 讓 人 高 興 的 explanation 就 是 好 的 explanation 其 實 你 等 一 下 再 記 在 各 種 研 究 的 發 展 上 會 發 現 說 我 們 在 設 計 這 些 技 術 的 時 候 確 實 跟 我 現 在 講 的 什 麼 叫 好 的 explanation 就 是 讓 人 高 興 的 explanation 這 個 想 法 這 個 技 術 的 進 展 是 蠻 接 近 的 好 所 以 explainable machine learning 它 的 目 標 就 像 我 剛 才 講 的 就 是 要 給 我 們 一 個 理 由 那 explainable 的 machine learning 呢 又 分 成 兩 大 類 第 一 大 類 叫 做 local 的 explanation 第 二 大 類 叫 做 global 的 explanation local 的 explanation 是 說 假 設 我 們 有 一 個 image 的 classifier 我 們 給 它 一 張 圖 片 它 判 斷 說 它 是 一 隻 貓 那 我 們 要 問 的 問 題 是 為 什 麼 或 者 機 器 要 回 答 問 題 是 為 什 麼 你 覺 得 這 張 圖 片 是 一 隻 貓 它 根 據 某 一 張 圖 片 來 回 答 問 題 這 個 叫 做 local explanation 還 有 另 外 一 類 呢 叫 global explanation global examination 意 思 是 說 現 在 還 沒 有 給 我 們 的 classify 任 何 圖 片 我 們 要 問 的 是 對 一 個 classify 而 言 什 麼 樣 的 圖 片 叫 做 貓 我 們 並 不 是 針 對 任 何 一 張 特 定 的 圖 片 來 進 行 分 析 我 們 是 想 要 知 道 說 當 我 們 有 一 個 model 它 裡 面 有 一 堆 參 數 的 時 候 對 這 堆 參 數 而 言 什 麼 樣 的 東 西 叫 作 一 隻 貓 所 以 explainable 的 machine 有 兩 大 類 我 們 先 來 看 第 一 大 類 第 一 大 類 是 為 什 麼 你 覺 得 一 張 圖 片 是 一 隻 貓 我 們 可 以 把 一 個 圖 片 這 個 問 題 問 得 更 具 體 一 點 給 機 器 一 張 圖 片 它 知 道 它 是 一 隻 貓 的 時 候 到 底 是 這 個 圖 片 裡 面 的 什 麼 東 西 讓 模 型 覺 得 牠 是 一 隻 貓 是 眼 睛 嗎 是 耳 朵 嗎 還 是 貓 的 腳 讓 機 器 覺 得 它 看 到 了 一 隻 貓 或 者 講 的 更 general 一 點 假 設 現 在 我 們 模 型 的 輸 入 叫 做 x 這 個 x 可 能 是 一 張 影 像 可 能 是 短 文 字 而 x 呢 可 以 拆 成 多 個 component x1 到 xn 如 果 對 於 影 像 而 言 可 能 每 一 個 component 就 是 一 個 pixel 那 對 於 文 字 而 言 可 能 每 一 個 component 就 是 一 個 詞 彙 或 者 是 一 個 token 那 我 們 現 在 要 問 的 問 題 就 是 這 些 token 裡 面 那 這 些 component 裡 面 那 這 個 如 果 對 文 字 來 說 是 token 對 image 來 說 可 能 就 是 pixel 這 些 component 裡 面 哪 一 個 對 於 機 器 現 在 做 出 最 終 的 決 斷 是 最 重 要 的 呢 那 怎 麼 知 道 一 個 component 的 重 要 性 呢 那 基 本 的 原 則 是 這 個 樣 子 就 是 我 們 把 component 都 拿 出 來 然 後 把 每 一 個 component 做 改 造 或 者 是 刪 除 如 果 我 們 改 造 或 刪 除 某 一 個 component 以 後 今 天 network 的 輸 出 有 了 巨 大 的 變 化 那 我 們 就 知 道 說 這 個 component 沒 它 不 行 它 很 重 要 如 果 某 個 component 被 刪 掉 以 後 現 在 network 的 輸 出 有 了 巨 大 的 變 化 就 代 表 這 個 component 沒 它 不 行 那 這 個 component 就 是 一 個 重 要 的 component 講 得 更 具 體 一 點 你 想 要 知 道 今 天 一 個 影 像 裡 面 每 一 個 區 域 的 重 要 性 的 時 候 有 一 個 非 常 簡 單 的 方 法 像 是 這 個 樣 子 就 給 一 張 圖 片 然 後 丟 到 network 裡 面 它 知 道 這 是 一 隻 博 美 狗 接 下 來 在 這 個 圖 片 裡 面 不 同 的 位 置 放 上 這 個 灰 色 的 方 塊 當 這 個 方 塊 放 在 不 同 的 地 方 的 時 候 今 天 你 的 network 會 output 不 同 的 結 果 那 這 邊 這 個 下 面 這 個 圖 這 些 顏 色 代 表 今 天 network 輸 出 博 美 狗 的 機 率 那 藍 色 代 表 博 美 狗 的 機 率 是 高 的 藍 色 說 錯 了 藍 色 代 表 博 美 狗 的 機 率 是 低 的 紅 色 代 表 博 美 狗 的 機 率 是 高 的 而 這 邊 的 每 一 個 位 置 代 表 了 這 個 灰 色 方 塊 的 位 置 也 就 是 說 當 我 們 把 灰 色 的 方 塊 移 到 這 邊 移 到 這 邊 移 到 博 美 狗 的 臉 上 的 時 候 今 天 你 的 image classify 就 不 覺 得 它 看 到 一 隻 博 美 狗 如 果 你 把 灰 色 的 方 塊 放 在 博 美 狗 的 四 周 這 個 時 候 機 器 就 覺 得 它 看 到 的 仍 然 是 博 美 狗 所 以 知 道 說 它 不 是 看 到 這 個 球 覺 得 它 看 到 博 美 狗 也 不 是 看 到 地 板 也 不 是 看 到 牆 壁 覺 得 看 到 博 美 狗 而 是 真 的 看 到 這 個 狗 的 臉 所 以 它 覺 得 它 看 到 了 一 隻 狗 那 這 邊 也 有 一 樣 的 例 子 把 灰 色 的 方 框 在 把 灰 色 的 方 塊 在 這 個 圖 片 上 移 動 你 會 發 現 說 呢 灰 色 的 方 塊 移 到 輪 胎 上 的 時 候 機 器 就 不 覺 得 它 有 看 到 輪 胎 了 所 以 機 器 知 道 輪 胎 長 什 麼 樣 子 它 今 天 看 到 這 個 圖 片 知 道 答 案 是 輪 胎 的 時 候 並 不 是 瞎 蒙 蒙 到 的 而 是 它 知 道 說 輪 胎 出 現 在 這 個 位 置 或 者 是 說 這 邊 有 一 張 圖 片 然 後 這 個 圖 片 裡 面 有 兩 個 人 還 有 一 隻 這 個 阿 富 汗 獵 犬 但 是 機 器 到 底 是 真 的 看 到 了 阿 富 汗 獵 犬 還 是 把 人 誤 認 為 狗 呢 這 個 時 候 你 就 可 以 把 這 個 灰 色 的 方 框 在 這 個 圖 片 上 移 動 然 後 你 發 現 這 個 灰 色 的 方 框 放 在 這 個 人 的 臉 上 或 放 在 這 個 人 的 臉 上 的 時 候 機 器 仍 然 覺 得 它 有 看 到 阿 富 汗 獵 犬 但 是 當 你 把 灰 色 的 方 框 放 到 這 個 位 置 放 到 這 個 位 置 的 時 候 機 器 就 覺 得 它 沒 有 看 到 阿 富 汗 獵 犬 所 以 它 是 真 的 有 看 到 阿 富 汗 獵 犬 它 知 道 這 一 隻 就 是 阿 富 汗 獵 犬 並 不 是 把 人 誤 認 為 阿 富 汗 獵 犬 所 以 這 個 是 最 簡 單 的 知 道 component 重 要 性 的 方 法 好 接 下 來 還 有 一 個 更 進 階 的 方 法 是 計 算 gradient 這 個 方 法 是 這 樣 子 的 假 設 我 們 有 一 張 圖 片 我 們 把 它 寫 作 x1 到 xn 這 邊 的 每 一 個 x 代 表 了 一 個 pixel 接 下 來 呢 我 們 去 計 算 這 張 圖 片 的 loss 我 們 這 邊 呢 用 小 e 來 表 示 這 個 小 e 是 什 麼 呢 這 個 小 e 是 把 這 張 圖 片 呢 丟 到 你 的 模 型 裡 面 這 個 模 型 的 輸 出 的 結 果 跟 正 確 答 案 的 差 距 跟 正 確 答 案 的 cross entropy 這 個 e 越 大 就 代 表 現 在 辨 識 的 結 果 越 差 好 那 接 下 來 怎 麼 知 道 某 一 個 pixel 對 於 影 像 辨 識 這 個 問 題 的 重 要 性 呢 那 你 就 把 某 一 個 pixel 的 值 做 一 個 小 小 的 變 化 把 它 加 上 一 個 δx 然 後 你 接 下 來 看 一 下 你 的 loss 會 有 什 麼 樣 的 變 化 如 果 今 天 把 某 一 個 pixel 做 小 小 的 變 化 以 後 loss 就 有 巨 大 的 變 化 代 表 說 這 個 pixel 對 影 像 辨 識 是 重 要 的 反 之 如 果 加 了 δx 這 個 δe 趨 近 於 零 這 個 loss 完 全 沒 有 反 應 就 代 表 說 這 個 δx 這 個 位 置 這 個 pixel 對 於 影 像 辨 識 而 言 可 能 是 不 重 要 的 那 我 們 可 以 用 δe 跟 δx 的 比 值 來 代 表 這 一 個 pixel xn 的 重 要 性 而 事 實 上 δx 分 之 δe 這 一 項 就 是 把 xn 對 你 的 loss 做 偏 微 分 如 果 你 不 知 道 偏 微 分 是 什 麼 的 話 也 沒 有 關 係 反 正 就 是 δx 跟 δe 的 比 值 就 代 表 了 這 個 xn 的 重 要 性 那 這 個 比 值 越 大 就 代 表 xn 越 重 要 那 你 把 每 一 個 圖 片 裡 面 每 一 個 pixel 它 的 這 個 比 值 都 算 出 來 你 就 得 到 一 個 圖 呢 叫 做 saliency map 它 在 我 們 的 作 業 裡 面 你 會 有 很 多 機 會 畫 各 式 各 樣 的 saliency map 那 下 面 這 個 圖 上 面 這 個 是 原 始 圖 片 下 面 這 個 黑 色 的 然 後 有 亮 白 色 點 的 是 saliency map 那 在 這 個 saliency map 上 面 呢 越 偏 白 色 就 代 表 這 個 比 值 越 大 也 就 是 這 個 位 置 的 pixel 是 越 重 要 的 舉 例 來 說 給 機 器 看 這 個 水 牛 的 圖 片 它 並 不 是 看 到 草 地 覺 得 它 看 到 牛 也 不 是 看 到 竹 子 覺 得 它 看 到 牛 而 是 真 的 知 道 牛 在 這 個 位 置 它 覺 得 判 斷 這 張 圖 片 是 什 麼 樣 的 類 別 對 它 而 言 最 重 要 的 是 出 現 在 這 個 位 置 的 pixel 像 是 真 的 看 到 牛 所 以 知 道 說 所 以 才 會 output 牛 這 個 答 案 如 果 機 器 看 到 這 個 圖 片 說 它 看 到 一 個 猴 子 那 猴 子 在 哪 裡 呢 猴 子 在 樹 梢 上 面 它 並 不 是 把 葉 子 判 斷 成 猴 子 它 知 道 這 個 位 置 出 現 的 東 西 就 是 它 判 斷 正 確 答 案 的 準 則 我 給 它 這 個 圖 片 它 知 道 說 狗 呢 是 出 現 在 這 個 位 置 的 所 以 這 個 這 個 技 術 呢 叫 做 saliency map 那 saliency map 這 個 技 術 我 們 等 一 下 來 舉 一 個 實 際 的 應 用 這 個 應 用 是 什 麼 呢 這 個 應 用 跟 寶 可 夢 還 有 數 碼 寶 貝 有 關 啦 不 知 道 大 家 知 不 知 道 那 個 數 碼 寶 貝 是 什 麼 左 邊 這 個 是 寶 可 夢 啦 右 邊 這 個 呢 叫 做 數 碼 寶 貝 知 道 數 碼 寶 貝 的 同 學 可 以 舉 手 一 下 嗎 哦 好 多 好 手 放 下 那 我 就 不 用 解 釋 了 不 知 道 的 同 學 反 正 就 是 另 外 一 種 動 物 就 對 了 欸 對 真 的 啊 真 的 這 個 寶 可 夢 是 一 種 動 物 數 碼 寶 貝 是 另 外 一 種 動 物 然 後 我 在 網 路 上 呢 看 到 有 人 說 他 訓 練 了 一 個 數 碼 寶 貝 跟 寶 可 夢 的 分 類 器 然 後 正 確 率 非 常 地 高 所 以 我 決 定 自 己 也 來 做 這 個 實 驗 看 看 為 什 麼 可 以 得 到 這 麼 高 的 正 確 率 好 那 你 可 以 在 網 路 上 呢 找 到 寶 可 夢 的 圖 庫 也 可 以 找 到 數 碼 寶 貝 的 圖 庫 所 以 你 有 一 堆 寶 可 夢 的 圖 有 一 堆 數 碼 寶 貝 的 圖 那 這 個 對 大 家 來 說 一 定 都 不 成 問 題 這 個 就 是 二 元 分 類 的 問 題 而 已 對 不 對 胡 亂 train 一 個 classifier 就 結 束 了 就 把 作 業 三 的 code 改 一 改 然 後 把 本 來 分 成 11 類 改 成 分 成 兩 類 就 結 束 了 好 那 接 下 來 呢 訓 練 完 以 後 呢 當 然 要 用 機 器 沒 有 看 過 的 圖 去 測 試 它 所 以 你 不 能 夠 把 所 有 的 寶 可 夢 跟 所 有 的 數 碼 寶 貝 都 拿 去 做 訓 練 你 要 特 別 留 一 些 寶 可 夢 跟 數 碼 寶 貝 是 訓 練 的 時 候 沒 有 看 過 的 看 看 機 器 看 到 新 的 寶 可 夢 跟 數 碼 寶 貝 它 能 不 能 夠 得 到 正 確 的 結 果 那 這 邊 呢 我 們 來 看 一 下 人 類 能 不 能 夠 正 確 的 判 斷 寶 可 夢 跟 數 碼 寶 貝 好 了 我 來 問 一 下 大 家 你 覺 得 這 一 隻 是 寶 可 夢 還 是 數 碼 寶 貝 呢 覺 得 它 是 寶 可 夢 的 同 學 舉 手 一 下 手 放 下 覺 得 它 是 數 碼 寶 貝 的 同 學 舉 手 一 下 好 也 有 一 些 好 手 放 下 好 老 實 說 我 答 案 忘 記 了 這 樣 子 所 以 所 以 你 可 見 這 個 寶 可 夢 跟 數 碼 寶 貝 是 很 難 分 辨 的 今 天 你 就 算 是 人 類 你 也 很 難 夠 很 難 判 斷 說 一 隻 動 物 到 底 是 寶 可 夢 還 是 數 碼 寶 貝 機 器 的 表 現 如 何 呢 好 這 邊 就 是 隨 便 兜 了 一 個 模 型 也 沒 有 幾 層 train 下 去 哇 training accuracy 98.9% 這 個 非 常 地 高 但 是 不 要 高 興 地 太 早 這 個 也 許 overfitting 而 已 也 許 machine 只 是 把 training 的 data 記 下 來 而 已 因 為 畢 竟 訓 練 資 料 沒 幾 張 啊 數 碼 寶 貝 寶 可 夢 才 各 幾 千 張 而 已 所 以 也 許 overfitting 所 以 測 試 資 料 上 沒 看 過 的 圖 怎 麼 樣 呢 正 確 率 98.4 啊 這 個 不 可 思 議 這 個 偉 哉 機 器 學 習 這 個 人 類 都 沒 有 辦 法 判 斷 寶 可 夢 跟 數 碼 寶 貝 的 差 異 但 機 器 可 以 還 有 98.4% 的 正 確 率 好 那 接 下 來 我 就 很 好 奇 就 想 要 知 道 說 機 器 到 底 是 憑 藉 著 什 麼 樣 的 規 則 判 斷 寶 可 夢 和 數 碼 寶 貝 的 差 異 呢 所 以 我 決 定 來 畫 一 下 saliency map 這 邊 有 幾 隻 動 物 它 們 是 什 麼 呢 它 們 是 數 碼 寶 貝 這 些 是 數 碼 寶 貝 接 下 來 呢 我 就 在 這 些 圖 片 上 畫 saliency map 讓 機 器 來 告 訴 我 說 為 什 麼 它 覺 得 這 幾 張 是 數 碼 寶 貝 機 器 給 我 的 答 案 是 這 個 樣 子 這 邊 亮 亮 的 點 代 表 它 覺 得 比 較 重 要 這 有 點 怪 怪 的 好 像 亮 亮 的 點 都 分 布 在 四 個 角 落 不 知 道 發 生 了 什 麼 事 接 下 來 我 來 分 析 寶 可 夢 這 個 情 況 更 明 顯 你 發 現 說 機 器 覺 得 重 要 的 點 基 本 上 都 是 避 開 寶 可 夢 的 本 體 啦 都 是 在 影 像 的 背 景 上 啊 為 什 麼 呢 因 為 我 後 來 發 現 寶 可 夢 都 是 png 檔 啦 數 碼 寶 貝 都 是 jpeg 檔 png 檔 讀 進 來 以 後 背 景 都 是 黑 的 啦 所 以 機 器 只 要 看 背 景 就 知 道 一 張 圖 片 是 寶 可 夢 還 是 數 碼 寶 貝 啦 就 結 束 了 這 樣 子 好 所 以 這 個 例 子 就 是 告 訴 我 們 說 explainable ai 是 一 個 很 重 要 的 技 術 那 我 剛 才 舉 的 例 子 可 能 你 覺 得 有 點 荒 謬 也 許 在 正 常 的 應 用 中 不 會 發 生 這 種 事 情 但 真 的 不 會 發 生 嗎 有 一 個 真 實 的 例 子 有 一 個 benchmark corpus 叫 做 pascal voc 2007 裡 面 有 各 式 各 樣 的 物 件 機 器 要 學 習 做 影 像 的 分 類 機 器 看 到 這 張 圖 片 它 知 道 是 馬 的 圖 片 但 如 果 你 畫 saliency map 的 話 你 發 現 結 果 是 這 個 樣 子 的 只 是 覺 得 左 下 角 對 馬 是 最 重 要 為 什 麼 因 為 左 下 角 有 一 串 英 文 啊 這 個 圖 庫 裡 面 馬 的 圖 片 很 多 都 是 來 自 於 某 一 個 網 站 啊 左 下 角 都 有 一 樣 的 英 文 啊 所 以 機 器 看 到 左 下 角 這 一 行 英 文 就 知 道 是 馬 它 根 本 不 需 要 學 習 馬 是 長 什 麼 樣 子 所 以 今 天 在 這 個 真 實 的 應 用 中 在 benchmark corpus 上 類 似 的 狀 況 也 是 會 出 現 的 所 以 這 告 訴 我 們 這 種 explainable machine learning 這 個 技 術 是 很 重 要 的 好 那 有 沒 有 什 麼 方 法 把 explainable 的 machine learning saliency map 畫 得 更 好 呢 第 一 個 方 法 啊 就 是 助 教 剛 才 有 提 到 的 這 個 smoothgrad 什 麼 意 思 呢 這 張 圖 片 是 指 瞪 羚 那 你 期 待 說 你 今 天 去 做 saliency map 的 時 候 機 器 會 把 它 主 要 的 精 力 集 中 在 瞪 羚 身 上 那 如 果 你 用 剛 才 我 們 講 的 方 法 直 接 畫 saliency map 的 話 你 得 到 的 結 果 可 能 是 這 個 樣 子 確 實 今 天 在 確 實 在 瞪 羚 附 近 有 比 較 多 亮 的 點 但 是 在 其 他 地 方 也 有 一 些 雜 訊 讓 人 看 起 來 有 點 不 舒 服 所 以 就 有 了 smoothgrad 這 個 方 法 smoothgrad 會 讓 你 的 這 個 saliency map 上 面 的 雜 訊 比 較 少 如 果 在 這 個 例 子 上 你 就 會 發 現 多 數 的 亮 點 真 的 都 集 中 在 瞪 羚 身 上 那 smoothgrad 這 個 方 法 是 怎 麼 做 呢 非 常 簡 單 說 穿 了 也 不 值 錢 就 是 你 在 你 的 圖 片 上 面 啊 加 上 各 種 不 同 的 雜 訊 那 加 不 同 的 雜 訊 就 是 不 同 的 圖 片 了 嘛 每 一 張 圖 片 上 面 都 去 計 算 saliency map 那 你 有 加 100 種 雜 訊 就 有 100 張 saliency map 平 均 起 來 就 得 到 smoothgrad 的 結 果 就 結 束 了 當 然 有 人 會 問 說 欸 那 你 怎 麼 知 道 說 這 個 smoothgrad 這 樣 子 的 結 果 一 定 就 是 比 原 來 的 結 果 好 呢 也 許 對 機 器 來 說 它 真 的 覺 得 這 些 草 很 重 要 啊 它 真 的 覺 得 這 個 天 空 很 重 要 啊 它 真 的 覺 得 這 個 背 景 很 重 要 啊 也 許 是 那 就 像 我 一 開 始 說 的 explainable machine learning 最 重 要 的 目 標 就 是 要 讓 人 看 了 覺 得 爽 啊 你 畫 了 這 個 圖 你 的 老 闆 就 會 覺 得 不 爽 啊 他 就 會 覺 得 哇 這 個 model 有 點 爛 哦 這 個 model 解 釋 性 好 像 很 低 哦 所 以 你 就 會 把 它 畫 成 smoothgrad 這 個 樣 子 然 後 告 訴 別 人 說 你 看 這 個 model 它 果 然 知 道 瞪 羚 是 最 重 要 的 啊 所 以 這 個 嗯 這 個 model 不 錯 然 後 這 個 explainable machine learning 的 方 法 也 不 錯 好 但 是 呢 其 實 光 看 gradient 並 不 完 全 能 夠 反 映 一 個 component 的 重 要 性 怎 麼 說 呢 這 邊 就 舉 一 個 例 子 給 大 家 參 考 好 這 個 橫 軸 代 表 的 是 大 象 鼻 子 的 某 一 個 生 物 鼻 子 的 長 度 那 縱 軸 代 表 說 這 個 生 物 是 大 象 的 可 能 性 我 們 都 知 道 說 大 象 的 特 徵 就 是 長 鼻 子 所 以 一 個 生 物 牠 的 鼻 子 越 來 越 長 牠 就 越 有 可 能 是 大 象 但 是 當 牠 的 鼻 子 長 到 一 個 極 限 的 時 候 再 變 更 長 一 點 牠 也 不 會 變 得 更 像 大 象 鼻 子 很 長 的 大 象 就 只 是 鼻 子 特 別 長 的 大 象 所 以 當 一 個 大 象 的 鼻 子 變 長 的 時 候 長 到 超 出 一 個 範 圍 的 時 候 你 也 不 會 覺 得 它 變 得 更 像 大 象 所 以 鼻 子 的 生 物 鼻 子 的 長 度 跟 牠 是 大 象 的 可 能 性 它 的 關 係 也 許 一 開 始 在 長 度 比 較 短 的 時 候 隨 著 長 度 越 來 越 長 今 天 這 個 生 物 是 大 象 的 可 能 性 越 來 越 大 但 是 當 鼻 子 的 長 度 長 到 一 個 程 度 以 後 就 算 是 更 長 也 不 會 變 得 更 像 大 象 這 個 時 候 如 果 你 計 算 鼻 子 長 度 對 是 大 象 可 能 性 的 偏 微 分 的 話 那 你 在 這 個 地 方 得 到 的 偏 微 分 可 能 會 趨 近 於 0 所 以 如 果 你 光 看 gradient 光 看 saliency map 你 可 能 會 得 到 一 個 結 論 是 鼻 子 的 長 度 對 是 不 是 大 象 這 件 事 情 是 不 重 要 的 鼻 子 的 長 度 不 是 判 斷 是 否 為 大 象 的 一 個 指 標 因 為 鼻 子 的 長 度 的 變 化 對 是 大 象 的 可 能 性 的 變 化 是 趨 近 於 0 的 所 以 鼻 子 根 本 不 是 判 斷 是 不 是 大 象 的 重 要 的 指 標 那 事 實 上 是 這 樣 嗎 事 實 上 你 知 道 不 是 這 個 樣 子 所 以 光 看 gradient 光 看 偏 微 分 的 結 果 可 能 沒 有 辦 法 完 全 告 訴 我 們 一 個 component 的 重 要 性 所 以 有 其 他 的 方 法 有 一 個 方 法 叫 做 integrated 的 gradient 它 的 縮 寫 叫 做 ig 那 這 邊 我 就 不 打 算 詳 細 講 說 ig 是 怎 麼 運 作 的 我 們 就 把 文 件 留 在 這 邊 那 助 教 的 程 式 裡 面 也 有 實 作 的 ig 那 如 果 你 有 興 趣 你 可 以 自 己 研 究 看 看 ig 是 怎 麼 運 作 的 如 果 你 沒 有 興 趣 反 正 你 按 個 enter 就 跑 出 那 個 ig 的 分 析 的 結 果 了 好 那 剛 才 我 們 是 看 network 它 是 我 們 剛 才 是 看 一 個 輸 入 它 的 哪 些 部 分 是 比 較 重 要 的 那 接 下 來 我 們 要 問 的 下 一 個 問 題 是 當 我 們 給 network 看 一 個 輸 入 的 時 候 它 到 底 是 怎 麼 去 處 理 這 個 輸 入 的 呢 它 到 底 是 怎 麼 對 輸 入 做 處 理 然 後 得 到 最 終 的 答 案 的 呢 好 那 有 不 同 的 方 法 第 一 個 方 法 最 直 覺 的 就 是 人 眼 去 看 今 天 network 裡 面 到 底 發 生 了 什 麼 事 情 那 在 作 業 裡 面 是 要 你 去 看 bert 裡 面 發 生 了 什 麼 事 情 是 跟 文 字 有 關 的 那 上 課 舉 的 例 子 我 們 就 舉 語 音 的 例 子 在 作 業 二 裡 面 你 已 經 訓 練 了 一 個 network 這 個 network 就 是 吃 一 小 段 聲 音 當 中 輸 入 判 斷 說 這 段 聲 音 是 屬 於 哪 一 個 phoneme 屬 於 哪 一 個 kk 音 標 然 後 呢 假 設 你 第 一 個 layer 有 100 個 neurons 第 二 個 layer 也 有 100 個 neurons 那 第 一 個 layer 的 輸 出 就 可 以 看 作 是 100 維 的 向 量 第 二 個 layer 的 輸 出 也 可 以 看 作 是 100 維 的 向 量 通 過 這 些 分 析 這 些 向 量 也 許 我 們 就 可 以 知 道 一 個 network 裡 面 發 生 了 什 麼 事 但 是 100 維 的 向 量 不 容 易 看 不 容 易 觀 察 不 容 易 分 析 所 以 怎 麼 辦 呢 你 有 很 多 方 法 可 以 把 100 維 的 向 量 把 它 降 到 二 維 那 至 於 是 什 麼 方 法 我 們 這 邊 就 不 細 講 總 之 這 些 方 法 有 一 籮 筐 可 以 使 用 把 100 維 降 到 二 維 以 後 你 就 可 以 畫 在 圖 上 那 你 就 可 以 細 心 地 觀 察 它 看 看 你 可 以 觀 察 到 什 麼 現 象 以 下 呢 舉 的 是 語 音 的 例 子 那 這 個 例 子 來 自 於 一 篇 2012 年 的 paper 你 會 發 現 hinton 這 個 深 度 學 習 之 父 也 是 這 篇 文 章 的 作 者 這 篇 文 章 做 的 事 情 是 什 麼 呢 這 篇 文 章 其 實 老 實 說 這 篇 文 章 做 的 就 是 你 的 作 業 二 知 道 嗎 它 跟 你 作 業 二 用 的 data 是 一 模 一 樣 的 所 以 假 設 你 穿 越 時 空 到 十 年 前 拿 你 作 業 二 的 結 果 給 hinton 看 他 就 嚇 一 跳 這 樣 子 你 可 以 順 便 告 訴 他 說 這 個 只 是 我 們 15 個 作 業 的 其 中 一 個 而 已 他 就 嚇 一 跳 了 你 還 可 以 告 訴 他 說 哦 這 個 我 只 train 了 一 個 小 時 就 train 完 了 那 個 時 候 要 train 類 似 的 東 西 大 概 要 train 個 一 週 以 上 吧 然 後 hinton 就 會 嚇 一 跳 這 樣 子 所 以 看 到 這 些 過 去 的 文 章 啊 我 真 的 只 能 說 哇 這 個 大 人 時 代 變 了 啊 以 前 train network 多 麼 麻 煩 現 在 真 的 是 時 代 變 了 而 且 其 實 那 個 時 候 用 的 是 deep belief 的 network deep belief network 是 deep neural network 嗎 不 是 這 樣 子 那 這 個 是 什 麼 東 西 呢 這 個 我 們 就 不 會 講 它 因 為 現 在 已 經 沒 有 人 在 用 這 個 東 西 了 好 那 但 是 它 得 到 的 結 果 啊 還 是 蠻 值 得 我 們 今 天 拿 來 看 的 其 實 你 在 作 業 二 應 該 也 可 以 觀 察 到 類 似 的 結 果 好 這 邊 做 的 事 情 是 什 麼 呢 這 邊 做 的 事 情 是 首 先 我 們 把 模 型 的 input 就 是 acoustic feature 也 就 是 mfcc 拿 出 來 把 它 降 到 二 維 畫 在 二 維 的 平 面 上 在 這 個 圖 上 啊 每 一 個 點 代 表 一 小 段 聲 音 訊 號 那 每 一 個 顏 色 代 表 了 某 一 個 speaker 某 一 個 講 話 的 人 那 其 實 我 們 丟 給 這 個 network 的 資 料 有 很 多 句 子 是 重 複 的 就 是 有 人 說 a 說 了 how are you b 也 說 了 how are you c 也 說 了 how are you 很 多 人 說 了 一 樣 的 句 子 但 從 這 個 圖 上 你 看 不 出 來 從 acoustic feature 上 你 會 發 現 說 就 算 是 不 同 的 人 唸 同 樣 的 句 子 內 容 一 樣 但 是 我 們 從 acoustic feature 上 看 不 出 來 同 一 個 人 他 說 的 話 就 是 比 較 相 近 就 算 是 不 同 的 人 說 同 樣 的 句 子 你 也 沒 有 辦 法 看 到 他 們 被 aligned 在 一 起 所 以 從 這 個 結 果 人 們 就 會 覺 得 哇 這 個 這 個 語 音 辨 識 太 難 啦 語 音 辨 識 不 能 做 啊 這 個 同 樣 的 人 說 不 這 個 不 同 的 人 說 同 樣 的 話 看 起 來 這 個 feature 差 這 麼 多 啊 這 個 語 音 辨 識 怎 麼 是 有 可 能 有 辦 法 做 的 問 題 呢 但 是 當 我 們 把 network 拿 出 來 看 的 時 候 結 果 就 不 一 樣 了 這 個 是 第 8 層 network 的 輸 出 你 會 發 現 什 麼 呢 你 會 發 現 這 邊 變 成 一 條 一 條 的 每 一 條 沒 有 特 定 的 顏 色 這 邊 每 一 條 代 表 什 麼 呢 每 一 條 就 代 表 了 同 樣 內 容 的 某 一 個 句 子 所 以 你 會 發 現 說 不 同 人 說 同 樣 的 內 容 在 mfcc 上 看 不 出 來 它 通 過 了 8 層 的 network 之 後 機 器 知 道 說 這 些 話 是 同 樣 的 內 容 雖 然 聲 音 訊 號 看 起 來 不 一 樣 是 不 同 人 講 的 但 他 們 是 同 樣 的 內 容 它 可 以 把 同 樣 的 內 容 不 同 人 說 的 句 子 把 它 align 在 一 起 所 以 最 後 就 可 以 得 到 精 確 的 分 類 結 果 好 那 剛 才 講 的 是 直 接 拿 neuron 的 輸 出 來 進 行 分 析 你 也 可 以 分 析 這 個 attention 的 layer 現 在 self-attention 用 得 很 廣 你 也 可 以 看 attention 的 結 果 來 決 定 今 天 network 學 到 什 麼 事 那 我 們 在 作 業 裡 面 也 要 求 大 家 看 了 bert 的 attention 但 是 當 你 使 用 attention 的 時 候 還 是 有 一 些 要 注 意 的 地 方 我 們 直 覺 覺 得 attention 應 該 非 常 具 有 解 釋 力 從 某 一 個 詞 彙 attent 到 另 外 一 個 詞 彙 當 然 就 代 表 說 這 兩 個 的 詞 彙 有 關 係 啊 等 等 那 在 作 業 裡 面 我 們 也 挑 了 比 較 明 顯 可 以 看 出 關 聯 性 的 例 子 給 大 家 來 實 作 給 大 家 來 回 答 問 題 但 是 實 際 上 你 在 文 獻 上 會 找 到 這 樣 子 的 文 獻 attention is not explanation attention 並 不 是 總 是 可 以 被 解 釋 的 當 然 也 有 人 發 文 獻 說 attention is not not explanation 這 樣 子 所 以 你 知 道 這 個 這 個 研 究 進 展 得 非 常 快 很 快 又 搞 不 好 又 會 有 人 做 attention is not not not explanation 所 以 這 個 到 底 attention 能 不 能 被 解 釋 什 麼 狀 況 可 以 被 解 釋 什 麼 狀 況 不 能 夠 被 解 釋 這 個 還 是 尚 待 研 究 的 問 題 那 除 了 用 人 眼 觀 察 以 外 還 有 另 外 一 個 技 術 叫 做 probing probing 就 是 用 探 針 的 意 思 就 是 你 用 探 針 去 插 入 這 個 network 然 後 看 看 說 發 生 了 什 麼 事 舉 例 來 說 假 設 你 想 要 知 道 bert 的 某 一 個 layer 到 底 學 到 了 什 麼 東 西 除 了 用 肉 眼 觀 察 以 外 不 過 肉 眼 觀 察 比 較 有 極 限 嘛 可 能 有 很 多 你 沒 有 觀 察 到 的 現 象 而 且 你 也 沒 有 辦 法 一 次 看 過 大 批 的 資 料 所 以 怎 麼 辦 呢 你 可 以 訓 練 一 個 探 針 你 的 探 針 其 實 就 是 分 類 器 舉 例 來 說 你 訓 練 一 個 分 類 器 這 個 分 類 器 是 要 根 據 一 個 feature 根 據 一 個 向 量 決 定 說 現 在 這 個 詞 彙 它 的 pos tag 也 就 是 它 的 詞 性 是 什 麼 你 就 把 bert 的 embedding 丟 到 pos 的 classifier 裡 面 去 你 就 訓 練 一 個 pos 的 classifier 它 要 試 圖 根 據 這 些 embedding 決 定 說 現 在 這 些 embedding 是 來 自 於 哪 一 個 詞 性 的 詞 彙 如 果 這 個 pos 的 classifier 它 的 正 確 率 高 就 代 表 說 這 些 embedding 裡 面 有 很 多 詞 性 的 資 訊 如 果 它 正 確 率 低 就 代 表 這 些 embedding 裡 面 沒 有 詞 性 的 資 訊 或 者 是 說 你 learn 一 個 ner name entity recognition 的 classifier 然 後 呢 它 看 這 些 feature 決 定 說 現 在 看 到 的 詞 彙 屬 於 哪 屬 於 人 名 還 是 地 名 還 是 不 是 任 何 專 有 名 詞 那 你 透 過 這 個 ner classifier 的 正 確 率 就 可 以 知 道 這 些 feature 裡 面 有 沒 有 名 字 有 沒 有 這 個 地 址 有 沒 有 人 名 的 資 訊 等 等 但 是 使 用 這 個 技 術 的 時 候 有 一 點 你 要 小 心 什 麼 你 要 小 心 呢 小 心 你 使 用 的 classifier 它 的 強 度 為 什 麼 因 為 假 設 你 今 天 發 現 你 的 classifier 正 確 率 很 低 真 的 一 定 保 證 它 的 輸 入 的 這 些 feature 也 就 是 bert 的 embedding 沒 有 我 們 要 分 類 的 資 訊 嗎 不 一 定 為 什 麼 因 為 有 可 能 就 是 你 的 classifier train 爛 啦 對 不 對 我 們 大 家 都 有 很 多 train network 的 經 驗 嘛 你 沒 有 辦 法 100% 保 證 你 classifier train 出 來 一 定 是 好 的 啊 那 搞 不 好 你 訓 練 完 一 個 classifier 它 的 正 確 率 很 低 不 是 因 為 這 些 feature 裡 面 沒 有 我 們 需 要 的 資 訊 單 純 就 是 你 learning rate 沒 有 調 好 你 什 麼 東 西 沒 有 調 好 所 以 train 不 起 來 有 沒 有 可 能 是 這 樣 呢 有 可 能 是 這 個 樣 子 所 以 用 probing model 的 時 候 你 要 小 心 不 要 太 快 下 結 論 有 時 候 你 會 得 到 一 些 結 論 只 是 因 為 你 classifier 沒 有 train 好 或 train 得 太 好 導 致 你 classifier 的 正 確 率 沒 有 辦 法 當 做 評 斷 的 依 據 好 那 我 知 道 說 很 快 要 下 課 了 時 間 真 的 是 過 得 很 快 我 們 講 完 一 個 語 音 的 特 殊 的 probing 的 例 子 我 們 就 下 課 probing 不 一 定 要 是 classifier 我 這 邊 特 別 舉 一 個 例 子 告 訴 你 說 probing 有 種 種 的 可 能 性 舉 例 來 說 我 們 實 驗 室 有 做 一 個 嘗 試 是 訓 練 一 個 語 音 合 成 的 模 型 一 般 語 音 合 成 的 模 型 是 吃 一 段 文 字 產 生 對 應 的 聲 音 訊 號 我 們 這 邊 語 音 合 成 的 模 型 不 是 吃 一 段 文 字 它 是 吃 network output 的 embedding 它 吃 network output 的 embedding 作 為 輸 入 然 後 試 圖 去 輸 出 一 段 聲 音 訊 號 也 就 是 說 你 在 作 業 二 你 訓 練 了 一 個 classifier 那 接 下 來 訓 練 了 一 個 phoneme 的 classifier 接 下 來 我 們 就 把 你 的 network 拿 出 來 然 後 呢 把 某 一 個 layer 的 輸 出 呢 丟 到 tts 的 模 型 裡 面 然 後 我 們 訓 練 這 個 tts 的 模 型 我 們 訓 練 的 目 標 是 希 望 tts 的 模 型 可 以 去 復 現 network 輸 入 就 network 的 輸 入 是 這 段 聲 音 訊 號 希 望 通 過 這 些 layer 以 後 產 生 了 embedding 丟 到 tts 以 後 可 以 回 復 原 來 的 聲 音 訊 號 那 這 樣 子 的 分 析 有 什 麼 用 呢 你 可 能 會 想 說 我 們 訓 練 這 個 tts 產 生 原 來 的 聲 音 訊 號 那 不 就 產 生 原 來 的 聲 音 訊 號 一 模 一 樣 的 聲 音 訊 號 就 是 輸 入 的 那 一 個 那 有 什 麼 樣 的 可 看 性 呢 那 這 邊 有 趣 的 地 方 是 假 設 這 個 network 做 的 事 情 就 是 把 比 如 說 語 者 的 資 訊 去 掉 那 對 於 這 個 tts 的 模 型 而 言 這 邊 layer 2 的 輸 出 沒 有 任 何 語 者 的 資 訊 那 它 無 論 怎 麼 努 力 都 無 法 還 原 語 者 的 特 徵 那 雖 然 內 容 說 的 是 hi 然 後 是 一 個 男 生 的 聲 音 你 會 發 現 說 可 能 通 過 幾 個 layer 以 後 丟 到 tts 的 模 型 它 它 這 個 產 生 出 來 的 聲 音 會 變 成 也 是 hi 的 內 容 但 是 你 聽 不 出 來 是 誰 講 的 那 這 樣 你 就 可 以 知 道 說 欸 這 個 network 啊 一 個 語 音 辨 識 的 模 型 啊 它 在 訓 練 的 過 程 中 真 的 學 到 去 抹 去 語 者 的 特 徵 只 保 留 內 容 的 部 分 只 保 留 聲 音 訊 號 的 內 容 好 以 下 是 真 實 的 例 子 講 完 這 個 例 子 我 們 就 下 課 好 這 個 例 子 是 這 樣 子 的 這 邊 有 一 個 5 層 的 bi-directional 的 lstm 它 吃 聲 音 訊 號 做 輸 入 那 輸 出 就 是 文 字 它 是 語 音 辨 識 的 模 型 好 那 現 在 我 們 給 它 一 段 聲 音 訊 號 做 輸 入 是 女 生 的 聲 音 接 下 來 再 給 它 聽 另 外 一 個 男 生 講 不 一 樣 的 內 容 聽 起 來 像 是 這 樣 的 接 下 來 我 們 把 這 些 聲 音 訊 號 丟 到 這 個 network 裡 面 然 後 再 把 這 個 network 的 embedding 用 tts 的 模 型 去 還 原 回 原 來 的 聲 音 訊 號 看 看 我 們 聽 到 什 麼 以 下 是 過 第 一 層 lstm 的 結 果 你 會 發 現 聲 音 訊 號 有 一 點 失 真 但 基 本 上 跟 原 來 是 差 不 多 的 男 生 的 聲 音 是 這 樣 的 跟 原 來 都 是 差 不 多 的 但 通 過 了 5 層 的 lstm 以 後 發 生 什 麼 事 呢 聲 音 訊 號 變 成 這 個 樣 子 所 以 本 來 一 個 句 子 是 男 生 講 的 一 個 句 子 是 女 生 講 的 通 過 5 層 的 lstm 以 後 就 聽 不 出 來 是 誰 講 的 它 把 兩 個 人 的 聲 音 都 變 成 是 一 樣 的 那 你 可 能 說 欸 這 個 不 是 10 年 前 hinton 就 已 經 知 道 了 嗎 透 過 visualization 然 後 這 個 研 究 有 什 麼 厲 害 的 地 方 呢 他 厲 害 地 方 就 是 他 潮 知 道 嗎 就 是 我 們 可 以 把 聲 音 我 們 可 以 聽 network 聽 到 的 聲 音 這 邊 再 舉 最 後 一 個 例 子 輸 入 的 聲 音 訊 號 是 有 雜 訊 的 有 鋼 琴 的 聲 音 好 我 們 的 network 現 在 前 面 有 幾 層 cnn 後 面 有 幾 層 bi-directional 的 lstm 通 過 第 一 層 cnn 以 後 聲 音 訊 號 變 成 這 樣 好 你 還 是 聽 得 到 鋼 琴 的 聲 音 好 最 後 到 最 後 一 層 進 入 lstm 之 前 聲 音 訊 號 是 這 樣 的 你 還 是 聽 到 鋼 琴 的 聲 音 但 是 通 過 第 一 層 lstm 以 後 就 不 一 樣 了 它 聽 起 來 像 是 這 個 樣 子 你 會 發 現 說 那 個 鋼 琴 的 聲 音 就 突 然 小 很 多 所 以 知 道 說 這 個 鋼 琴 的 聲 音 這 個 雜 訊 聲 音 訊 號 之 外 雜 訊 是 在 哪 一 層 被 濾 掉 的 呢 在 第 一 層 lstm 開 始 被 濾 掉 前 面 cnn 似 乎 沒 有 起 到 濾 掉 雜 訊 的 作 用 那 這 個 就 是 這 個 分 析 可 以 告 訴 我 們 的 事 情 好 那 我 們 講 到 這 邊 正 好 告 一 個 段 落 那 我 們 就 趕 快 下 課 吧 那 大 家 有 問 題 還 可 以 留 下 來 討 論 謝 謝 大 家 謝 謝 
Okay, now we are going to discuss Explainable Machine Learning Up to this point We have trained a lot of models Perhaps we'd trained an image recognition model Give it an image It will give you the answer But we're not satisfied with just this Next, we will have the machine give us The reason it got the answer This is what Explainable Machine Learning is Alright, before we start Before introducing the techniques We need to talk about something. Why Explainable Machine Learning is an important topic I think the intrinsic reason is that even if a machine can get the right answer today it does not mean it's particularly intelligent Let me give an example There was once a horse that was very smart so everyone called it Wunderhorse Hans What could this Wunderhorse Hans do It could do mathematical problems For instance if you asked it what root 9 was Then it begins to calculate the answer How does it tell you its answer? It taps the ground with its hoof So if the answer is 3 It would tap three times Then it would stop This indicates that it has gotten the correct answer Then the people around her would cheer So this is Clever Hans And a crowd of people Are watching it solve math problems Later, some people began to doubt Why can Hans solve math problems? It's just a horse Why could it understand math problems? Later, someone discovered that As long as there were no spectators Hans could not answer the math problems When no one was watching it If you ask it a math problem it would continuously hit its hoof Not knowing when to stop So the fact is it could only detect The subtle emotional changes of the humans around it Knowing when to stop hoofing Then, it could have a carrot to eat It didn't really learn to solve mathematical problems Today we see a variety of applications of artificial intelligence Is it possible it's the same situation as Clever Hans In many real-world applications today Explainable Machine Learning Interpretable models are often essential For example Banks today might use machine learning models To decide whether to lend to a certain customer But according to the law When a bank uses a machine learning model for automatic decision-making It must provide a reason So at this point We are not just training machine learning models we still need machine learning models It's explanatory Or one could say, the future of machine learning It can also be used in medical diagnostics But medical diagnosis is a matter of life and death If the machine learning model is just a black box If you don't provide a reason for the diagnosis Then how are we supposed to believe It made the correct judgement Someone else is also thinking today Applying machine learning models to law For example, assisting judges in making verdicts Is to help judges automate their decisions, Whether a prisoner can or cannot be paroled But how do we know the machine learning model How is it fair How do we know when it's making a decision It doesn't have problems such as racial discrimination, does it? So we hope the machine learning model Not only get the answer It also gives us the reason to get the answer To take it a step further Self-driving cars might be all over the streets in the future When the self-driving car suddenly brakes Even a sudden stop could cause injuries to the passengers in the car Is there a problem with this autonomous car after all? Maybe this depends on the reason for its abrupt stop If they see an old lady crossing the road So, a sudden braking Perhaps self-driving cars are right. But suppose it happens for no reason Suddenly went crazy and had to brake abruptly There's a problem with this model So it applies to self-driving cars Its various behaviors and decisions We want to know the reason behind the decision Going even further. Maybe the machine learning model If it has explanatory power, In the future, we can rely on the results of the explanation Then we revise our model When using these deep learning technologies today Often this is the situation Someone mentioned this is your machine learning system Yes, I just input the data There are many matrix multiplications involved What's next My results will then appear if the result doesn't meet expectations, How about that Now that everyone knows, just tweak the parameters, right? Change the Learning Rate, right? Adjust the structure of the Network, right You don't even know what you're doing, right Let's adjust the network structure I will explain this heap of mathematics to you Scramble this bunch of Linear Algebra again Let's see if the results will be better What about those who haven't done Deep Learning? You will be surprised Feeling wow, how could this be possible But in reality today's deep learning models are You often need to improve the model Need to adjust some hyperparameters But we might expect in the future When we know When the Deep Learning model makes mistakes Where exactly does it go wrong? Why did it make a mistake? Perhaps we can find a better method More efficient methods To improve my model Of course, this is a future goal Today's departure from Explainable Machine Learning Achieving the aforementioned idea of improving the model There's still a long way to go Okay, let's stop here Some people might think The reason we pay so much attention today The topic of Explainable Machine Learning Perhaps it's because of the deep network It itself is a black box can we use What about other machine learning models? If we don't use the deep learning model Switch to using other more easily interpretable models Could it be that no research is needed? Is about Explainable Machine Learning For example Assuming we all use a linear model The Linear Model Its explanatory power is more potent We can easily know Based on a Linear Model's The weight of each feature Knowing what the Linear Model is doing, So after you train a Linear Model You can easily know How it arrives at its conclusions But the problem with the Linear Model is it's not very powerful We actually told you in the first lecture that Linear model has significant limitations That's why we quickly entered the Deep Model But the downside of the Deep Model is It's hard to explain Everyone knows about Deep Network It is a black box What happened inside the black box It's hard for us to know Even though it's better than the Linear Model But its ability to explain It is far worse than a Linear Model, So speaking up to this point Many people would come to a conclusion You might often hear such opinions We shouldn't use such a Deep Model We shouldn't use these more powerful models Because they are black boxes But from my point of view This kind of thinking is actually fitting square pegs in round holes We base our judgment on which model It's extremely powerful But if it's difficult to interpret, should we abandon it? Aren't we supposed to be figuring out a way Make it capable of giving explanations? I've heard a story from Yann LeCun This is what Yann LeCun said This story is an old joke Everyone has heard It's like a drunken man. He is looking for keys under the streetlight Everyone asked him Did your keys fall under the street light He said it isn't Because there's light here So we insist on using simplicity But it's a model that's easier to explain Actually, it's like We insist on staying under the street lights. Like looking for a key We insist because of a model It is more interpretable Although it's not as good But we still insist on using it It's like you have to look for the keys under the streetlight Unsure about the real model A truly Powerful model It might be beyond the reach of the street light What we need to do now It involves changing the range of the traffic light Change the direction of lighting See if we can enable these more powerful models Can be placed under the street light Is more Interpretable More explainable Actually Interpretable and Explainable These two terminologies Although they are often used interchangeably in literature Actually, there is a slight difference between them Usually, this 'Explainable' refers to There is something that was originally a black box We try to give it the ability to explain Called Explainable What 'Interpretable' usually refers to is Something is not a black box originally We can compare it with It was never a black box We were able to know its content originally This is called Interpretable Okay, but these two are often confused in the literature So, we won't particularly emphasize here The difference between Explainable and Interpretable Alright, let's talk about a model that is both interpretable and powerful. Some people might argue Could Decision Tree be a good choice Decision Tree compared to the Linear model It's a stronger model Another advantage of the Decision Tree Compared to Deep Learning It's very Interpretable, Take a look at the structure of a Decision Tree. You would know that What kind of rules is the model using today Make the final judgment That Decision Tree It's not something we would talk about in this course But even if you've never learned about Decision Tree You can easily imagine What exactly is the Decision Tree doing? What it does is You possess numerous nodes Each node will pose a question It's you who decides whether to turn left or right Eventually, when you reach the end of the node When you reach the Leaf Node You can then make the final decision Because there's a problem at each node You see those questions and answers You would know Now the whole model What kind of characteristics are relied upon? How the final decision is made So from this perspective Decision tree It's both powerful and interpretable So we can end the lesson here today Is the Decision Tree all you need? And then it just ends like that Okay, but Decision Tree Is this really what we need? Think about it more carefully A Decision Tree can also be very complex For example I saw it found on the internet Someone asked a question He said he has such a complex Decision Tree He has no idea what this Decision Tree is doing Does anyone have any kind of Methods of Explainable Machine Learning We could simplify this Decision Tree a bit I watched three or four years pass by No one answered this question If someone sees it Maybe you can help answer On the other hand Think about it more carefully How do you actually use Decision Tree techniques? I know many students would say When competing in Kaggle Deep Learning is not the best to use What is a decision tree Which is the most useful one That's the regular winner of Kaggle competitions But think about it When you are using Decision Tree technology Are you using just a single decision tree? In fact, it's not. The technique you're actually using is called Random Forest, correct? The technology that you really use It's actually the result of many Decision Trees working together A Decision Tree You can rely on the questions and answers of each node Knowing how it makes the final decision But when you have a forest When you have 500 Decision Trees It's hard for you to know These 500 Decision Trees together How is the judgment made? So, Decision Tree is not the final answer It's not that there is a decision tree We have solved it The problem of Explainable Machine Learning Okay, let's delve deeper into this Before the technology of explainable machine learning There is another problem here What is the goal of Explainable Machine Learning In every assignment we had before We all have a leaderboard That is, we have a clear goal Either lowering the Error Rate Either it's about enhancing accuracy We always have a clear goal But what exactly is the goal of Explainable? What is the best result of an Explanation? The goal of that Explanation is actually very unclear It's because the target is unclear You just realized the task of Explainable Machine Learning There's no leaderboard Because I couldn't get on the Leaderboard We can only choose multiple-choice questions Let's everyone gain some knowledge We can only do it this way What exactly is Explainable Machine Learning What is its ultimate goal What is the best Explanation The following are my personal views Just because it's there doesn't mean it's right You might not agree Then I won't argue with you Well, this is just my personal opinion Many people's understanding of explainable machine learning There might be some misunderstandings He thinks a good explanation, It needs to tell us What is the entire model doing? We need to understand everything about the model. We need to know what it exactly is We need to fully understand How it made a decision But think about it Is this really necessary Today we are discussing Machine Learning Models Deep Network is a black box So we can't trust it But think about it There are many, many black boxes in the world It's right beside you. Isn't the human brain also a black box? We actually don't know for certain either The operating principle of the human brain But can we trust it? The decision made by another person The human brain is actually a black box too You can trust that the human brain made a decision Why is a Deep Network a black box? It's something you can't just blindly trust The decision made by Deep's Network Why are you so afraid of deep networks? I think, in fact, for people Perhaps there is something Can you reassure us Can we accept The reason is very important Next up, It is something related to Machine Learning A completely unrelated psychology experiment This experiment was done in the 1970s This is Ellen Langer Done by a professor at Harvard University This experiment is very famous This is how the experiment goes This experiment is related to printers At the printer in the Harvard University library This will cause a long line Many people are queuing up to print things At this point If someone talks to the person in front Please let me print first I'll just print out 5 pages, Would ordinary people accept it? Would you let him print first? 60% of people would let this person print first. So it feels like Harvard University The students are all pretty good The acceptance level is higher than I anticipated Tell someone to let me print first 60% of people would agree But at this moment You just need to slightly modify the method of questioning you just used You originally just asked if you could print it first Now it has been changed to say Can you let me print it first, Because I'm in a hurry is it really in a hurry Nobody knows But when you say you have a reason So, you need to prepare it beforehand The acceptance level at this point becomes 94% And the magical thing is Even if you slightly alter your reason For example Someone asked me to print it first Because I need to print first Just like this The degree of acceptance has become 93% So, the magical thing is People do need a reason Why would you print first You just need to provide one reason Even if your reason is because I need to print first Everyone will also accept it So will it be Explainable Machine Learning The principle is the same. So, we need explainable Machine Learning So, I think it's correct What is called a good explanation Alright, explanation It is an explanation that people can accept It's a good Explanation People need a reason to feel happy But who is really pleased after all? This is a happy person It might be your customer Because many people hear Deep Network is a black box He is annoyed You tell them this can be explained Give him a reason He was pleased He could be your boss The boss has read a lot of farm literature He also thinks that the black box of Deep Learning is not good Tell him that this can be explained He was pleased Or you have to make The one you have to persuade today is yourself. You might feel like you have a black box Deep Network is a black box You can't bear it in your heart Today it can give you a reason to make a decision, You seem happy So I'm pondering what a good Explanation would be This is an explanation that brings joy This is a good Explanation Actually, you can remember it later. In the development of various studies, it is found that When we were designing these technologies It indeed aligns with what I'm saying now What does a good explanation mean The Explanation that makes people happy This idea The progression of this technology is quite close. Alright, so Explainable Machine Learning Its goal is like what I just mentioned Is to give us a reason What about Explainable Machine Learning? Which is divided into two main categories The first major category is called local explanation The second type is called 'Global Explanation' The local explanation is saying Assume we have an Image Classifier We give it a picture It determined that it is a cat, Then the question we need to ask is Why Or the machine needs to respond to questions Why do you think this picture is of a cat? It answers questions based on a certain picture This is called Local Explanation There is another category It's called Global Explanation The term 'Global examination' means We haven't received any images for our Classify yet What we're asking is As far as a classify is concerned What kind of picture is called a cat We are not targeting any particular one Analyzing a specific image We want to know When we have a model When it has a bunch of parameters inside In terms of these parameters What defines a cat? There are two main categories for explainable machines Let's start with the first category The first major question is why You think this picture is of a cat. We can take a picture This question is made more concrete Give a picture to the machine When it knows it's a cat What exactly is this in the image Make the model think it's a cat Is it the eyes? Is it the ears? It's still a cat's paw Make the machine think it has seen a cat Or to put it more generally Assume now that the input of our model is called x This x might be an image It could be a short piece of text And what about x? Can be broken down into multiple components From x1 to xN If regarding the image Possibly every component It is just a Pixel As for text Each Component might It's just a vocabulary term. or a single Token The question we're asking now is Inside these tokens, In these Components This, in terms of text, is a Token For Image, it could be Pixel Inside these components Which one is for the machine Making the final decision now is the most important thing So how do we know the importance of a Component? The basic principle is like this It's when we take all the Components out And then modify each component Or deletion If we modify or remove a component afterwards Today there is a huge change in the Network output Then we would know that This component is essential It's very important If a component gets deleted The output of the Network has changed dramatically now This represents the component It's indispensable Then this Component It is an important Component To put it more specifically You want to know Today in one image, When considering the importance of each area There's a very simple method Like this example here Just give it a picture, Then throw it into the Network It recognizes this as a Pomeranian dog In the following picture Put this gray block in different locations When this block is placed in different places Today, your network will output different results. About this here, The following picture shows these colors Representing the probability that the Network output is a Pomeranian dog today That blue indicates a high probability for the Pomeranian Blue got it wrong Blue represents the probability of the dog being a Pomeranian is low Red represents a high probability of the Pomeranian And each location here Represents the position of this gray block That is to say When we move the gray box over here Move over here When it moves onto the face of the Pomeranian. Your Image Classify today Doesn't seem to acknowledge seeing a Pomeranian dog If you place the grey block Placed around the Pomeranian dog, At this point, the machine thinks What it still sees is a Pomeranian dog So you know what they say, It's not looking at this ball. It seems to have noticed the Pomeranian dog Nor is it seeing the floor It's not about seeing the wall Feels like seeing a Pomeranian dog But actually seeing the face of the dog So, it thinks It saw a dog There's also a similar example here Move the gray box to Move the gray block on this picture You might realize that When the gray square was moved onto the tire The machine doesn't recognize the tire So the machine knows what a tire looks like It saw this picture today When you know the answer is a tire It's not blindly guessed But it knows to say The tyre appears at this position Or, let's say there's an image here And there are two people in this picture There's also an Afghan hound here But did the machine really see the Afghan Hound Or mistaken people for dogs At this point, you can reshuffle this gray box Move on this picture And then you notice this gray box Put it on this person's face Or when placed on this person's face The machine still feels It saw an Afghan Hound But when you take the gray box, Put it in this position When placed in this position The machine thinks It didn't recognize the Afghan hound So, it truly has seen the Afghan Hound It knows this one is an Afghan Hound It's not about mistaking a person for an Afghan hound So this is the simplest Knowing the method of Component importance Ok, next there's an even more advanced method Is calculating the Gradient The method is like this Suppose we have an image We denote it as x1 to xN Each of these x's here Represents a pixel Next Let's calculate the loss of this image On our side, Expressed by small e What is this little e? This little 'e' is showing this picture throw it into your model The difference between the output of this model and the correct answer The cross entropy with the correct answer The larger this e This means that the recognition result is getting worse Okay, moving on How do you know a certain Pixel How important it is to the problem of image recognition Then you just take the value of a certain pixel make a small change Adding it with a Δx Then you take a look next How will your Loss change? If we take a pixel today After making slight modifications The Loss has undergone significant changes It means that this pixel It is important for image recognition On the other hand, if you add Δx This Δe is approaching zero This Loss is not responding at all This means this Δx This position. This Pixel is essential for image recognition It might be unimportant Then we can use the ratio of Δe to Δx This represents a Pixel The importance of xN In fact, this term Δx divided by Δe It's about taking the partial derivative of xN with respect to your Loss It doesn't matter if you don't know what partial differentiation is It's essentially the ratio between Δx and Δe which indicates the importance of this xN The bigger this ratio is This means xN is more important Then you take every image inside Each Pixel This ratio of it has been calculated You get a picture It's called a Saliency Map Within our assignment You'll have many opportunities Drawing all kinds of Saliency Maps This diagram below The above one is the original picture The one below in black And the points in bright white are the Saliency Map. What about this Saliency Map? The whiter it is, the larger this ratio is That is, the Pixel at this position is more important For example Show this picture of the buffalo to the machine It's not seeing the grassland It perceives a cow It's not enough to see the bamboo It seems to see a cow But really knowing that the cow is in this position It thinks about how to categorize this image What's most important to it It's the pixel that appears in this position Like really seeing a cow So you know that That's why the answer would be 'cow' If the machine sees this image Saying it saw a monkey Where is the monkey? The monkey on the top of the tree It doesn't mistake leaves for monkeys It knows about the things that appear at this location It's the criteria it uses to determine the correct answer I gave it this picture It knows how to say 'dog' It appears in this position So, this is This technology is called Saliency Map Regarding this Saliency Map technique We will use a practical application as an example later What is this application? This app is related to Pokémon and Digimon. I don't know if everyone knows what Digimon is This one on the left is a Pokémon This on the right, it's called Digital Monster Can any students who know about Digimon raise their hands? Oh, there's quite a lot Okay, put your hand down Then I don't need to explain For those students who do not know Anyway, it's just another animal Hey, yes, really Really, this Pokemon is a kind of animal Digimon is another type of animal And then, I'm on the internet When someone mentions He trained a classifier for Digimons and Pokemon And the accuracy is very high So, I decided to conduct this experiment myself Let's see why we can achieve such a high accuracy rate Well, you can do it online Find the Pokemon gallery You can also find a gallery of digital monsters So you have a bunch of Pokemon pictures There's an image full of Digital Monsters This certainly wouldn't pose a problem for anyone This is just a binary classification problem, right? Arbitrarily train a classifier It's over Just modify the code from assignment three And then categorize them into 11 types Change it into two categories And it's over Okay, what's next? After the training Of course, we have to use images that the machine has never seen before to test it. So you can't bundle all the Pokemon Take all the digital monsters for training You need to leave some Pokémon and Digimon for everyone to answer questions We haven't seen it during training Look at what the machine sees when it encounters a new Pokemon and Digimon whether it can achieve the correct result Well, over here Let's take a look at humans Whether or not you can correctly distinguish between Pokemon and Digimon Let me ask everyone Do you think this one is a Pokémon or a Digimon? Raise your hand if you think it's a Pokémon Put your hands down Those who think this is a Digimon, raise your hand Alright, there are also some Alright, put your hand down Well, honestly, I forgot that answer. so So you can see this Pokemon is similar to the Digimon It's really hard to distinguish Today, you could consider yourself a human being It's also very hard for you. It's difficult to judge an animal Is it Pokemon or Digimon How does the machine perform? Okay, here is a model thrown together randomly There aren't several layers Train it Wow, Training Accuracy 98.9% is incredibly high But don't celebrate too early This may just be overfitting Maybe the machine just takes the training data Just take note Because after all, there aren't many training data Digital Monsters and Pokémon have only a few thousand images each So maybe overfitting So, how about images not seen in the test data The accuracy is 98.4 This is unbelievable The mighty machine learning This is something even humans can't discern The difference between Pokémon and Digimon But machines can And there's a 98.4% accuracy rate Okay, now I'm curious Just want to know What kind of rules does the machine rely on? How do you differentiate between Pokémon and Digimon? So I decided to draw a Saliency Map There are several animals here What are they? They are digital monsters These are digital monsters Next, I'm drawing a Saliency Map on these images Let the machine tell me Why it thinks these few are digital monsters The answer the machine gave me is like this Here's a bright spot It indicates that it considers it more important This is a bit strange Seems like bright points are all distributed in the four corners I don't know what happened Next, I will analyze Pokemon This situation is more obvious You find that the machine feels the important point is Basically, they all avoid the essence of Pokémon They're all set against the backdrop of the image. Why is that Because I found out later All Pokemons are in PNG format Digital monsters are all JPEG files After loading the PNG file The background is all black So the machine just needs to watch the background You'll know if a picture is a Pokemon or a Digimon ends like this Alright So this example tells us Explainable AI is a very important technology You might think the example I just gave is a bit absurd Perhaps this wouldn't happen in normal usage But will it really not happen? There's a real-life example There is a Benchmark Corpus It's called PASCAL VOC 2007 There are all kinds of objects inside The machine needs to learn image classification The machine sees this picture It recognizes the picture as a horse But if you draw a Saliency Map You discovered that this is the result Just think the bottom left corner is the most important for the horse Why Because there's a string of English in the lower left corner The pictures of horses in this library Many are from a certain website The lower left corner all have the same English. So the machine looks at this line of English in the bottom left corner Then you would know it's a horse It doesn't need to know what a horse looks like So in this real application today On the Benchmark Corpus Similar situations can occur So, this tells us This kind of Explainable Machine Learning This technology is very important Okay, is there any method Get Explainable Machine Learning How can we improve the Saliency Map? The first method It's the SmoothGrad mentioned by the teaching assistant What does it mean This picture represents a gazelle What you expect to say When you are making the Saliency Map today The machine will put its main effort Focused on the gazelle So if you use the method we just discussed If you were to directly plot a Saliency Map The results you might get could look like this Indeed, today on Indeed, there are more bright points around the gazelle But there is also some noise in other places It makes people feel a bit uncomfortable Hence, the method of SmoothGrad was developed SmoothGrad will make your Saliency Map The noise on top is less If it is in this example You will find that most of the highlights It really focuses on the gazelle. How does the SmoothGrad method work? It's very simple In reality, it's not worth anything This is when you put it on your picture Added with various kinds of noise. Then adding different noises is different pictures On each picture is calculating the Saliency Map So you added 100 types of noise There are 100 Saliency Maps On average Get the result of SmoothGrad And it's over Of course, some might ask Hey, how do you know about this SmoothGrad Such results are definitely better than the original ones. Perhaps for the machine It really deems these grass important It really thinks the sky is important It really thinks this background is very important Maybe As I mentioned earlier The most important goal of Explainable Machine Learning The aim is to make people feel impressed after they see it You drew this picture Your boss might get pissed off He will feel this way Wow, this model is a bit rubbish. This model seems to have low interpretability so you will depict it as a SmoothGrad And then telling others that Look at this model As expected, it knows the gazelle is most important So this is Yes, this model is not bad Then this The method of Explainable Machine Learning is not bad either Well, however, Just looking at the Gradient, It cannot fully reflect the importance of a Component How should I put it Here's an example for everyone's reference Okay, this horizontal axis represents the elephant's nose The length of the nose of a specific creature The vertical axis represents the possibility that this organism is an elephant We all know the characteristics of an elephant It's about the long nose So, an organism Its nose is getting longer and longer The more likely it is an elephant But when its nose reaches a limit make it a bit longer It will not look more like an elephant The elephant with a long nose It's just an elephant with a particularly long nose So when the trunk of an elephant elongates, When it grows beyond a range You won't think it looks more like an elephant either So, the nose's The length of an animal's nose and the possibility that it is an elephant Their relationship Perhaps at first, when the length is shorter, As the length continues to increase The possibility of today's creature being an elephant is increasing But when the length of the nose reaches a certain extent Even if it is longer It also won't become more like an elephant At this moment If you calculate the length of the nose Yes, in terms of the partial differentiation of the possibility of the elephant You got a partial derivative from here It may tend to 0, So if you just look at the Gradient Just looking at the Saliency Map You might come to a conclusion The length of the nose It is not important whether it is an elephant or not The length of the nose is not an indicator to determine if it's an elephant or not Because of the change in the length of the nose Yes, the possibility of being an elephant is changing It's approaching 0 So it's not the nose at all The important criteria to judge if it's an elephant Is that really the case? In fact, you know this is not the case So just looking at the Gradient Looking just at the result of the partial derivative It might not be able to tell us completely The importance of a component So there are other methods There is a method called Integrated Gradient Its abbreviation is IG And on this side I'm not going to go into detail about how IG operates. We will leave the document here The teaching assistant's program also includes an IG implementation If you are interested You can research how IG works If you're not interested Anyway, you just press Enter The analysis results of IG has been generated. Well, we just looked at the Network We just observed an input Which parts of it are more important The next question we need to ask is When we show an input to the network How exactly does it process this input? How exactly does it process inputs? And then get the final answer Okay, there are different methods The first method is the most intuitive It's about human perspective. What exactly happened in the network today That's in the homework It wants you to see what happened in BERT It's related to text The example given in the lesson We take the example of speech Inside Homework Two You have already trained a Network This Network takes a small segment of sound as an input Judging by this sound Belongs to which phoneme Which KK phonetic symbol does it belong to And then, Assume your first layer has 100 neurons The second layer also has 100 neurons The output of the first layer It can be seen as a 100-dimensional vector. The output of the second Layer It can also be seen as a 100-dimensional vector By analyzing these vectors Then maybe we can understand inside a network What happened? But a vector of 100 dimensions It's not easy to see, observe, or analyze So what should we do? You have many methods You can convert the 100-dimensional vector Reduce it to two dimensions Then it doesn't matter what method is used, We won't go into detail here In short, there are a whole bunch of methods to use Reducing from 100 dimensions to two Then you can draw on the picture Then you can observe it carefully See what phenomena you can observe The following The example given is about voice This example is from a paper published in 2012 You'll realize Hinton This father of deep learning, Also the author of this article What does this article do This article To be honest This article is your second assignment, you know It's exactly the same as the data you used for Assignment 2 So suppose you travel back in time to ten years ago Show your Homework Two results to Hinton. He was startled like that You can also tell him This is just one of our 15 assignments It really startles him You can also tell him that Oh, this one I only trained for an hour and I'm done At that time, you need to train something similar It probably needs to be trained for over a week And then Hinton will be surprised like this So when looking at these previous articles All I can really say is Wow, how times have changed How troublesome was it to train the network before? The times have really changed And actually, the Deep Belief Network was used at that time, Deep Belief Network Is it a Deep Neural Network? It's not like that What is this thing then We won't discuss this because nobody is using this thing now Alright, but this is the result it got It is well worth our time to look at it today. Actually, you are in Assignment Two You should also be able to observe similar results Well, what are we doing here What is being done here is First, we input the model That's the Acoustic Feature That is, taking out the MFCC Is reduced to two dimensions Drawn on a two-dimensional plane On this graph, Each point represents a short sound signal Each color Representing a specific Speaker Someone who is speaking Actually, the data we feed into this Network many sentences are repetitive Some people say A said 'How are you' B also said 'How are you' C also said how are you Many people have said the same thing. But you can't decipher anything from this diagram. you will see from the Acoustic Feature that Even if different people read the same sentence The content is the same But we can't tell from the Acoustic Feature The words spoken by the same person are more alike Even if different people say the same sentence You also won't be able to see They are aligned together So from this result People would think, wow, this This voice recognition is too difficult Voice recognition can't be done, The same person says no Different people saying the same things It looks like this feature is lacking so much. How is this voice recognition possible The question is, can it be done? But when we take a look at the Network The result is different This is the output of the 8th layer Network What will you find You will notice that these have become individual lines Every line does not have a specific color What does each line represent here Each one represents the same content in a sentence So you'll find that Different people saying the same content It's not discernible on the MFCC After it has passed through 8 layers of network The machine knows that these words are the same content. Even though the sound signals don't seem to match Spoken by different people But they are the same content It can present the same content Sentences spoken by different people Align them together So, we finally get accurate classification results Okay, what we just discussed was about directly using the output of Neuron For analysis purposes You too can analyze this Attention Layer. Self-Attention is widely used now You can also look at the results of Attention Decides what the network learns today Then, in our homework Also asking everyone to look at BERT's Attention But when you use Attention There are still things that need attention Our intuition tells us that Attention should be very explanatory From one vocabulary 'Attent' to another Of course, this means these two words are related and so on That's in the assignment We also chose examples that have a clear relationship Let's put it into practice for everyone Everyone should answer the questions But in fact You can find such literature in the references Attention is not Explanation. Attention is not always explainable Of course, some people have also proposed Attention is not not Explanation in this way So you know this This research is progressing very rapidly Someone might act on it quickly Attention is definitely not an Explanation, So, this thing Whether Attention can be explained or not What situations can be explained What situations cannot be explained This is still a topic under investigation Other than observing with the human eye There's another technique called Probing Probing essentially means using a probe It's about you inserting a probe into this network Let's see what happened For instance Assuming you want to know about a certain layer of BERT What exactly has been learned? Besides observing with the naked eye, But there are limits to what the naked eye can observe There may be many phenomena you haven't noticed And you can't view large amounts of data at once So what should we do? You can train a probe Your probe is actually a classifier For example You train a classifier This classifier is based on a feature Determining the current term based on a vector Its POS Tag Which is what part of speech it is You just drop BERT's Embedding Throw it into the POS Classifier You're just training a POS Classifier It attempts to base on these Embeddings Decide that these are the current Embeddings Originates from which part of speech If the accuracy of this POS Classifier is high This implies that these Embeddings within There's a lot of information on parts of speech If its accuracy is low It represents what's in these embeddings There's no information about the parts of speech Or should I say, you learn an NER Classifier of Name Entity Recognition Then It considers these features Decide which category the vocabulary we see now belongs to Refers to a person's name or place's name Or is it not a proper noun, Then, through this NER Classifier, you know the accuracy From these features, we can understand that Is there a name? Do you have this address? Do you have information such as names and so on? But when using this technique You have to be a little careful What should you be wary of? Beware of the strength of the Classifier you are using Why Because assume today you found your classifier's accuracy is very low Indeed, we must guarantee the input of these Features Which is BERT's Embedding Don't we have the information we need to classify Not necessarily Why It might be due to the poor training of your classifier. Right? We all have a lot of experience with training networks You cannot guarantee 100 percent The classifier you train is bound to be good You might just end up training a Classifier Its accuracy rate is very low It's not because these features are inside. There's no information we need Simply because you didn't adjust the Learning Rate well If you haven't adjusted something properly So it's difficult to train Could it possibly be like this? It might look like this So when using the Probing Model Be careful not to jump to conclusions too quickly Sometimes you will come to some conclusions It's just that your classifier was not trained well Or trained too well Causing the accuracy of your Classifier Cannot be used as the basis for judgment Okay, I know the class is about to end soon Time really flies We just finished discussing a special example of voice Probing Let's end the class Probing doesn't necessarily have to be a Classifier Let me give you a specific example here. Probing has various possibilities For example Our lab has made a trial Train a speech synthesis model The general speech synthesis model takes a piece of text Generate the corresponding sound signal The model we use for voice synthesis doesn't simply process a chunk of text It feeds on the network output's embedding It uses the embedding of Network Output as input And attempt to output an audio signal. That is, you are in Assignment 2 You've trained a classifier Next, a Phoneme Classifier was trained Next, we'll take out your network Then, take the output from a certain layer Throw it into the TTS model Then we train this TTS model Our training goal Is hoping for a TTS model can reproduce the input of the Network The input to the network is this sound signal Hoping that after these layers This has led to the generation of Embedding After throwing it into TTS Can restore the original sound signal So, what is the use of such analysis? You might be wondering We trained this TTS to generate the original sound signal Doesn't that generate the original sound signal The exact same sound signals Just the one that was inputted What makes it compelling to watch? An interesting aspect here is Assume what this Network is doing Is to remove, for example, the speaker's information In terms of this TTS model The output of Layer 2 here There is no information of any speaker, No matter how hard it tries Cannot fully represent the speaker's characteristics Even though the content says 'Hi', Then there's a male voice You will find that After maybe a few layers into the TTS model, it The sound it produces. The content will also become 'Hi' But you can't tell who's speaking Then you can know that Hey, about this network A speech recognition model During the training process, Really learned to erase the characteristics of the speaker Only retaining the content part Only keep the content of the audio signal Alright, following is the real example We will end the class after this example Well, the example is like this Here we have a 5-layer Bi-directional LSTM It takes audio signals as input The output is text It is a voice recognition model Alright, Let's now input an audio signal to it It's a girl's voice Next, let's play another one for it The boy speaks something different It sounds like this, Next, we process these voice signals Thrown into this Network And then embed this network Use TTS model to restore the original sound signal Let's see what we hear Here are the results of going through the first layer of LSTM You will notice a bit of distortion in the audio signal But essentially, it's somewhat similar to the original This is what a male voice sounds like It's pretty much the same as before But what happens after going through 5 layers of Lstm? The sound signal becomes like this So, the sentence was originally spoken by a male A sentence is spoken by a girl After going through 5 layers of LSTM You can't tell who's speaking It combines the voices of two people They all become the same Then you might say Hey, this isn't 10 years ago Does Hinton already know about it? Through Visualization What's so amazing about this research? His strength is his trendiness, you know This is how we can translate sound We can hear the sound of the Network Here is the last example The input sound signal is noisy There's the sound of a piano Okay, we have a few layers of CNN in front of our network now How many layers of Bi-directional Lstm are there at the back? after going through the first layer of CNN, The audio signal has become like this, Okay, you can still hear the piano sound Okay, finally, Before entering the last layer of Lstm The sound signal is like this You can still hear the sound of the piano But after passing through the first layer of LSTM It would be different It sounds like this You would find out The sound of the piano suddenly became much quieter So you know The sound of this piano, this noise Beyond the sound signal Where was the static noise filtered out? In the first layer of the LSTM Starting to get filtered out The previous CNN It seems not to have served to filter out the noise So this is what the analysis can tell us Okay, let's pause here as we have reached the end of this part Let's end the class quickly then If anyone has questions, they can stay behind for a discussion Thank you all, thanks 