好 那 我 們 就 開 始 上 課 吧 那 等 一 下 的 規 劃 是 這 樣 我 們 先 把 rl 講 到 一 個 段 落 然 後 再 請 助 教 公 布 作 業 好 那 上 一 次 rl 的 部 分 我 們 講 說 我 們 要 learn 一 個 actor 那 這 一 次 啊 我 們 要 learn 另 外 一 個 東 西 這 個 東 西 叫 做 critic 那 我 會 先 解 釋 critic 是 什 麼 然 後 我 們 再 來 講 說 這 個 critic 對 learn actor 這 個 東 西 有 什 麼 樣 的 幫 助 好 我 們 先 看 critic 是 什 麼 critic 是 什 麼 呢 critic 是 它 要 拿 它 是 它 的 工 作 啊 是 要 來 評 估 一 個 actor 的 好 壞 就 你 現 在 已 經 有 一 個 actor 它 的 參 數 叫 θ 那 critic 的 工 作 就 是 它 要 評 估 說 如 果 這 個 actor 它 看 到 某 個 樣 子 的 observation 看 到 某 一 個 遊 戲 畫 面 接 下 來 它 可 能 會 得 到 多 少 的 reward 那 critic 有 好 多 種 不 同 的 變 形 有 的 critic 是 只 看 遊 戲 畫 面 來 判 斷 有 的 critic 是 說 採 取 某 看 到 某 一 個 遊 戲 畫 面 接 下 來 又 發 現 actor 採 取 某 一 個 action 在 這 兩 者 都 具 備 的 前 提 下 那 接 下 來 會 得 到 多 少 reward 那 這 樣 講 呢 還 是 有 點 抽 象 所 以 我 們 講 的 更 具 體 一 點 我 們 直 接 介 紹 一 個 我 們 等 一 下 會 真 的 被 用 上 你 在 作 業 裡 面 真 的 派 得 上 用 場 的 這 個 critic 叫 做 value function 那 這 個 value function 我 們 這 邊 用 大 寫 的 vθ(s) 來 表 示 那 它 的 輸 入 是 什 麼 它 的 輸 入 是 s 也 就 是 現 在 遊 戲 的 狀 況 比 如 說 遊 戲 的 畫 面 那 這 邊 要 特 別 注 意 一 下 v 它 是 有 一 個 上 標 θ 的 這 個 上 標 θ 代 表 什 麼 意 思 呢 代 表 這 個 v 呢 它 觀 察 的 對 象 是 θ 這 個 actor 它 觀 察 的 這 個 actor 呢 它 的 參 數 是 θ 那 這 個 v 呢 vθ 就 是 一 個 function 它 的 輸 入 是 s 那 輸 出 是 一 個 scalar 這 邊 用 vθ(s) 來 表 示 這 一 個 scalar 那 這 個 scalar 呢 這 個 數 值 有 什 麼 樣 的 含 義 呢 這 個 數 值 的 含 義 是 這 一 個 actor θ 放 在 上 標 的 這 個 actor θ 它 如 果 看 到 observation s 如 果 看 到 輸 入 的 這 個 s 的 遊 戲 畫 面 接 下 來 它 得 到 的 discounted cumulated reward 是 多 少 你 還 記 得 這 個 discounted cumulated reward 是 什 麼 嗎 記 不 記 得 我 們 之 前 說 在 評 估 某 一 個 action 好 壞 的 時 候 你 不 能 單 看 那 個 action 執 行 完 的 reward 你 要 把 那 個 action 執 行 完 的 reward 加 上 接 下 來 所 有 的 reward 得 到 一 個 cumulated reward 叫 g 這 樣 才 能 夠 評 估 在 某 一 個 state 執 行 某 一 個 action 的 好 壞 的 程 度 但 是 我 們 又 說 你 把 所 有 的 r 從 執 行 某 一 個 action 開 始 到 遊 戲 結 束 所 有 的 r 直 接 都 加 在 一 起 並 不 是 一 個 好 的 想 法 你 應 該 乘 上 一 個 discounted 的 factor 叫 做 γ 就 是 今 天 得 到 的 reward 如 果 離 執 行 這 個 某 一 個 action 的 時 間 越 遠 的 話 那 個 reward 就 跟 那 個 action 越 沒 有 關 係 所 以 應 該 乘 上 一 個 discounted 的 factor 叫 做 γ 那 我 們 得 到 g' 這 個 g' 呢 就 是 這 邊 所 謂 的 discounted cumulated reward 那 這 個 的 value function 它 的 工 作 就 是 要 去 估 測 說 對 某 一 個 actor 來 說 如 果 現 在 它 已 經 看 到 某 一 個 遊 戲 畫 面 那 接 下 來 會 得 到 的 discounted cumulated reward 應 該 是 多 少 當 然 discounted cumulated reward 你 可 以 直 接 透 過 把 遊 戲 玩 到 底 就 你 看 到 你 已 經 有 了 actor θ 那 假 設 它 看 到 這 個 state s 那 最 後 它 到 底 會 得 到 多 少 的 這 個 g' 呢 你 就 把 這 個 遊 戲 玩 完 你 就 知 道 了 但 是 這 些 這 個 value function 它 的 能 力 就 是 它 要 未 卜 先 知 未 看 先 猜 遊 戲 還 沒 有 玩 完 只 光 看 到 s 就 要 預 測 這 個 actor 它 可 以 得 到 什 麼 樣 的 表 現 那 這 個 就 是 value function 要 做 的 事 情 舉 例 來 說 呢 假 設 你 給 value function 這 一 個 遊 戲 畫 面 它 就 要 直 接 預 測 說 看 到 這 個 遊 戲 畫 面 接 下 來 應 該 會 得 到 很 高 的 cumulated reward 為 什 麼 因 為 遊 戲 這 個 遊 戲 畫 面 裡 面 還 有 很 多 的 外 星 人 假 設 你 的 這 個 actor 它 很 厲 害 它 是 一 個 好 的 actor 它 是 能 殺 得 了 外 星 人 的 actor 那 接 下 來 它 就 會 得 到 很 多 的 reward 那 像 這 個 畫 面 這 已 經 是 遊 戲 的 終 盤 遊 戲 的 殘 局 遊 戲 快 結 束 了 剩 下 的 外 星 人 沒 幾 隻 了 那 可 以 得 到 的 reward 就 比 較 少 那 這 些 數 值 你 把 整 場 遊 戲 玩 完 你 也 會 知 道 但 是 value function 想 要 做 的 事 情 就 是 未 卜 先 知 在 遊 戲 沒 玩 完 之 前 就 先 猜 應 該 會 得 到 多 少 的 discounted cumulated reward 那 這 邊 有 一 件 要 跟 大 家 特 別 強 調 的 事 情 是 這 個 value function 是 有 一 個 上 標 θ 的 這 個 value function 跟 我 們 觀 察 的 actor 是 有 關 係 的 同 樣 的 observation 同 樣 的 遊 戲 畫 面 不 同 的 actor 它 應 該 要 得 到 不 同 的 discounted cumulated reward 我 剛 才 在 舉 例 子 的 時 候 我 說 假 設 我 們 有 一 個 好 的 actor 看 到 這 個 遊 戲 畫 面 會 有 高 的 value 看 到 這 個 遊 戲 畫 面 會 有 低 的 value 但 是 假 設 你 的 actor 其 實 很 爛 它 很 容 易 被 外 星 人 殺 死 那 也 許 看 到 這 個 畫 面 它 的 value 也 是 低 的 因 為 有 一 堆 外 星 人 它 隨 便 動 兩 下 它 就 被 殺 死 了 它 根 本 得 不 到 reward 這 個 爛 的 actor 在 這 個 畫 面 它 可 能 拿 到 的 v 也 是 低 的 所 以 value function 的 數 值 是 跟 觀 察 的 對 象 有 關 係 的 好 這 個 是 critic 那 在 講 critic 要 怎 麼 被 使 用 在 reinforcement learning 之 前 呢 我 們 來 講 一 下 critic 是 怎 麼 被 訓 練 出 來 的 那 有 兩 種 常 用 的 訓 練 方 法 第 一 種 方 法 呢 是 monte carlo based 的 方 法 這 邊 縮 寫 成 mc 好 那 怎 麼 訓 練 出 這 一 個 value 的 function 呢 這 個 value 的 critic v θ 呢 你 就 如 果 是 用 mc 的 方 法 的 話 非 常 直 覺 你 就 這 樣 做 你 就 把 actor 呢 拿 去 跟 環 境 互 動 互 動 很 多 輪 那 actor 跟 環 境 互 動 以 後 呢 actor 去 玩 這 個 遊 戲 以 後 呢 你 就 會 得 到 一 些 遊 戲 的 記 錄 你 就 會 發 現 說 假 設 actor 看 到 sa 那 因 為 你 已 經 把 遊 戲 玩 完 了 嘛 你 可 能 玩 了 很 多 場 遊 戲 那 就 知 道 說 看 到 state 看 到 observation sa 接 下 來 的 cumulated reward 會 是 ga' 我 這 邊 把 discounted 省 略 掉 了 反 正 你 知 道 我 的 意 思 就 好 了 好 那 這 個 時 候 呢 你 的 value function 就 得 到 一 筆 訓 練 資 料 這 筆 訓 練 資 料 告 訴 它 說 如 果 看 到 sa 作 為 輸 入 它 的 輸 出 啊 這 個 vθ(sa) 應 該 要 跟 ga' 越 接 近 越 好 那 假 設 你 今 天 sample 到 另 外 一 個 observation 看 到 另 外 一 個 遊 戲 畫 面 把 遊 戲 玩 完 之 後 發 現 得 到 的 cumulated reward 是 gb' 那 這 個 時 候 呢 你 的 這 個 value function 呢 輸 入 sb 它 就 應 該 得 到 vθ(sb) 那 這 個 vθ(sb) 就 應 該 跟 gb' 越 接 近 越 好 那 這 個 非 常 直 覺 你 就 去 觀 察 actor 會 得 到 的 cumulated reward 那 觀 察 完 你 就 有 訓 練 資 料 直 接 拿 這 些 訓 練 資 料 來 訓 練 value function 好 這 個 mc 呢 是 一 個 很 直 覺 的 做 法 接 下 來 我 們 來 看 另 外 一 個 沒 有 那 麼 直 覺 的 做 法 這 個 做 法 叫 做 temporal-difference approach 縮 寫 是 td 那 temporal-difference approach 它 希 望 做 到 的 事 情 是 不 用 玩 完 整 場 遊 戲 才 能 得 到 訓 練 value 的 資 料 你 只 要 在 某 一 個 observation st 的 看 到 st 的 時 候 你 的 actor 執 行 了 at 得 到 reward rt 然 後 接 下 來 再 看 到 st+1 這 樣 的 遊 戲 畫 面 光 看 到 這 樣 一 筆 資 料 就 能 夠 訓 練 vπ(s) 了 光 看 到 這 樣 子 的 資 料 就 可 以 拿 來 更 新 vπ(s) 的 參 數 了 那 如 果 光 看 這 樣 一 筆 資 料 就 可 以 更 新 vπ(s) 的 參 數 有 什 麼 樣 的 好 處 呢 它 的 好 處 是 你 想 在 mc 裡 面 你 要 玩 完 整 場 遊 戲 你 才 能 得 到 一 筆 訓 練 資 料 那 有 的 遊 戲 其 實 很 長 啊 甚 至 有 的 遊 戲 也 許 它 根 本 就 沒 有 不 會 結 束 它 永 遠 它 都 一 直 繼 續 下 去 它 永 遠 都 不 會 結 束 那 像 這 樣 子 的 遊 戲 你 用 mc 就 非 常 地 不 適 合 那 這 個 時 候 你 可 能 就 希 望 採 用 td 的 方 法 好 那 怎 麼 只 看 到 這 樣 子 的 資 料 就 拿 來 訓 練 vπ(s) 呢 這 邊 舉 一 個 例 子 啊 我 們 先 來 看 一 下 vθ(st) 跟 vθ(st+1) 它 們 之 間 的 關 係 那 vθ(st) 是 什 麼 我 們 說 vθ(st) 就 是 看 到 st 之 後 的 cumulated reward 所 以 vθ(st) 就 是 rt + γrt+1 + γ²rt+2 以 此 類 推 然 後 vθ(st+1) 就 是 rt+1 + γrt+2 以 此 類 推 那 你 發 現 說 這 兩 個 vθ vθ(st) 跟 vθ(st+1) 它 們 之 間 是 有 關 係 的 什 麼 樣 的 關 係 呢 你 可 以 把 它 寫 成 這 樣 一 個 式 子 把 vθ(st+1) 乘 上 γ 再 加 rt 把 vθ(st+1) 每 一 項 都 乘 γ 再 加 上 rt 就 會 變 成 vθ(st) 所 以 vθ(st) 跟 vθ(st+1) 中 間 有 這 樣 子 的 關 係 我 們 現 在 呢 有 這 樣 一 筆 資 料 以 後 我 們 就 可 以 拿 來 訓 練 我 們 的 value function 希 望 value function 可 以 滿 足 這 邊 我 們 所 寫 的 這 個 式 子 好 那 什 麼 意 思 呢 就 假 設 我 們 現 在 有 這 樣 一 筆 資 料 我 們 就 把 st 代 到 value function 裡 面 得 到 vθ(st) 我 們 有 st+1 代 到 value function 裡 面 得 到 vθ(st+1) 雖 然 我 們 不 知 道 vθ(st) 是 多 少 我 們 也 不 知 道 vθ(st+1) 應 該 是 多 少 我 們 沒 有 這 兩 個 東 西 的 標 準 答 案 但 我 們 知 道 它 們 相 減 應 該 是 多 少 根 據 上 面 這 一 個 式 子 我 們 把 vθ(st+1) 乘 上 γ 然 後 再 去 減 vθ(st) 把 vθ(st) 減 掉 γ 乘 vθ(st+1) 應 該 要 跟 rt 越 接 近 越 好 rt 在 這 邊 我 們 是 有 蒐 集 到 rt 這 一 筆 資 料 的 我 們 又 知 道 vθ(st) 跟 這 個 vθ(st+1) 之 間 的 關 係 所 以 我 們 知 道 vθ(st) 減 掉 γ 乘 上 vθ(st+1) 應 該 跟 rt 越 接 近 越 好 所 以 你 就 有 了 這 樣 子 訓 練 資 料 輸 入 st 輸 入 st+1 它 們 都 通 過 vθ 然 後 把 它 們 相 減 然 後 要 跟 rt 越 接 近 越 好 那 這 個 就 是 td 的 方 法 好 那 所 以 我 們 介 紹 了 兩 個 這 個 訓 練 value function 的 方 法 介 紹 兩 個 訓 練 critic 的 方 法 一 個 叫 mc 一 個 叫 td 那 這 兩 個 方 法 其 實 你 拿 來 計 算 同 樣 的 觀 察 到 的 結 果 同 樣 的 資 料 同 樣 的 θ 你 用 mc 跟 td 來 觀 察 你 算 出 來 的 value function 很 有 可 能 會 是 不 一 樣 的 那 這 邊 呢 就 舉 一 個 例 子 這 個 例 子 是 這 樣 子 的 我 們 觀 察 某 一 個 actor 這 個 actor 呢 跟 環 境 互 動 玩 了 某 一 個 遊 戲 八 次 當 然 這 邊 為 了 簡 化 計 算 我 們 假 設 這 些 遊 戲 都 非 常 簡 單 都 一 個 回 合 就 到 兩 個 回 合 就 結 束 了 所 以 那 個 actor 第 一 次 玩 遊 戲 的 時 候 呢 它 先 看 到 sa 這 個 畫 面 得 到 reware 0 接 下 來 看 到 sb 這 個 畫 面 得 到 reware 0 遊 戲 結 束 接 下 來 呢 這 個 有 連 續 六 場 遊 戲 都 是 看 到 sb 這 個 畫 面 得 到 reward 1 就 結 束 了 最 後 一 場 遊 戲 看 到 sb 這 個 畫 面 得 到 reward 0 就 結 束 了 那 我 們 這 邊 呢 先 無 視 actor 為 了 簡 化 起 見 無 視 actor 我 們 也 假 設 呢 γ 就 等 於 1 也 就 是 沒 有 做 discount 好 那 這 個 sb 應 該 是 多 少 呢 vθ(sb) 應 該 是 多 少 呢 我 們 知 道 這 個 vθ(sb) 它 的 意 思 就 是 這 個 看 到 sb 這 一 個 畫 面 你 會 得 到 的 reward 的 期 望 值 那 sb 這 個 畫 面 呢 我 們 在 這 八 次 遊 戲 中 總 共 看 到 了 八 次 每 次 遊 戲 都 有 看 到 sb 這 個 畫 面 看 到 sb 這 個 畫 面 之 後 會 得 到 多 少 reward 呢 八 次 遊 戲 裡 面 呢 有 六 次 得 到 1 分 兩 次 得 到 0 分 所 以 平 均 是 3/4 分 沒 有 問 題 所 以 vθ(sb) 就 是 3/4 妥 妥 的 沒 有 爭 議 那 vθ(sa) 應 該 是 多 少 呢 你 覺 得 看 到 sa 接 下 來 應 該 要 得 到 多 少 reward 呢 根 據 這 八 筆 訓 練 資 料 看 到 sa 接 下 來 該 得 到 多 少 reward 呢 好 給 大 家 十 秒 鐘 的 時 間 你 把 你 的 答 案 寫 在 留 言 板 上 你 把 你 的 答 案 打 在 留 言 區 上 我 們 趁 著 這 個 機 會 來 回 答 一 下 同 學 們 的 問 題 有 嗎 好 如 果 大 家 有 問 題 的 話 你 就 可 以 打 在 聊 天 室 裡 面 接 下 來 給 大 家 一 點 時 間 想 想 看 你 覺 得 vθ(sa) 根 據 我 們 看 到 的 這 八 筆 訓 練 資 料 它 應 該 是 多 少 呢 把 你 的 答 案 寫 在 聊 天 室 裡 面 我 看 這 個 聊 天 室 到 底 能 不 能 用 可 以 好 我 看 到 了 好 多 答 案 幾 乎 所 有 人 都 說 是 0 幾 乎 所 有 人 都 是 0 有 別 的 答 案 嗎 好 幾 乎 沒 有 其 他 答 案 所 有 人 都 說 是 0 好 多 數 同 學 都 說 是 0 0 是 不 是 一 個 正 確 的 答 案 呢 它 既 對 也 不 對 其 實 還 有 另 外 一 個 可 能 的 答 案 是 3/4 我 看 沒 有 人 寫 3/4 等 一 下 來 解 釋 為 什 麼 有 可 能 算 出 3/4 但 0 也 是 一 個 合 理 的 答 案 為 什 麼 你 會 覺 得 是 應 該 是 0 呢 0 是 用 monte-carlo 的 想 法 得 到 的 為 什 麼 是 0 因 為 我 們 看 到 sa 只 有 一 次 看 到 sa 以 後 會 得 到 多 少 reward 這 是 0 看 到 sa 以 後 得 到 reward 0 再 看 到 sb 得 到 reward 還 是 0 所 以 cumulated reward 就 是 0 所 以 如 果 從 monte-carlo 的 角 度 來 看 我 們 看 到 sa 接 下 來 算 出 來 的 g 應 該 是 多 少 就 是 0 啊 所 以 vθ(sa) 應 該 就 是 0 妥 妥 的 沒 問 題 幾 乎 所 有 同 學 都 得 到 了 正 確 答 案 但 如 果 你 用 td 你 算 出 來 的 可 會 是 不 一 樣 的 結 果 哦 怎 麼 說 呢 因 為 vθ(sa) 跟 vθ(sb) 中 間 有 這 樣 子 的 一 個 關 係 這 個 vθ(sa) 應 該 要 等 於 vθ(sb) 加 上 reward 就 是 你 在 看 到 sa 之 後 得 到 reward 接 下 來 進 入 sb 那 這 個 vθ(sa) 應 該 等 於 vθ(sb) 加 上 這 一 個 reward 這 邊 notation 沒 有 用 的 非 常 好 啦 這 個 r 指 的 是 這 邊 這 個 r 所 以 按 照 這 個 想 法 vθ(sb) 是 多 少 3/4 這 個 r 是 多 少 是 0 但 vθ(sa) 應 該 是 3/4 對 不 對 按 照 td 的 想 法 vθ(sa) 應 該 是 3/4 你 可 能 會 問 說 那 到 底 monte-carlo 跟 td 誰 算 出 來 是 對 的 呢 都 可 以 說 是 對 的 它 們 只 是 背 後 的 假 設 是 不 同 的 對 monte-carlo 而 言 它 就 是 直 接 看 我 們 觀 察 到 的 資 料 sa 之 後 接 sb 得 到 的 cumulated reward 就 是 0 所 以 vθ(sa) 當 然 是 0 但 對 於 td 而 言 它 背 後 的 假 設 是 這 個 sa 跟 sb 是 沒 有 關 係 的 看 到 sa 之 後 再 看 到 sb 並 不 會 影 響 看 到 sb 的 reward 你 現 在 看 這 八 筆 訓 練 資 料 給 你 一 種 錯 覺 覺 得 說 vθ(sa) 應 該 是 0 那 只 是 因 為 你 sample 到 的 資 料 太 少 了 看 到 sb 應 該 可 以 期 望 的 reward 是 3/4 只 是 因 為 今 天 正 好 運 氣 不 好 看 完 sa 以 後 再 看 sb 正 好 r 是 0 但 是 期 望 值 應 該 是 3/4 你 只 是 正 好 運 氣 不 好 看 到 r 是 0 你 才 會 覺 得 sa 是 0 但 是 sb 看 到 sb 以 後 得 到 的 期 望 reward 應 該 是 3/4 所 以 看 到 sa 以 後 你 會 看 到 sb 那 你 得 到 的 這 個 期 望 的 reward 也 應 該 是 3/4 所 以 從 td 的 角 度 來 看 sb 會 得 到 多 少 reward 跟 sa 是 沒 有 關 係 的 所 以 你 應 該 所 以 sa 的 這 個 cumulated reward 應 該 是 3/4 但 對 於 monte-carlo 而 言 它 並 不 覺 得 sa 跟 sb 是 沒 有 關 係 的 也 許 sa 就 是 一 個 帶 賽 的 observation 看 到 sa 以 後 你 就 影 響 了 sb 會 得 到 的 reward 也 許 看 到 sa 以 後 sb 就 是 會 得 到 reward 等 於 0 就 它 們 之 間 互 相 有 影 響 的 看 到 sa 以 後 sb 就 會 等 於 0 那 vθ(sa) 應 該 等 於 0 所 以 總 之 用 mc 來 計 算 用 td 來 計 算 會 有 微 妙 的 差 異 好 我 來 看 看 有 沒 有 同 學 有 問 題 好 目 前 沒 有 助 教 有 統 計 一 下 說 只 有 一 個 同 學 回 答 1 其 他 都 是 0 好 那 這 個 是 mc 跟 td 這 個 是 mc 跟 td 好 那 接 下 來 我 們 就 是 要 看 說 這 個 critic 怎 麼 被 用 在 訓 練 actor 上 面 還 記 不 記 得 我 們 上 一 次 最 後 我 們 講 到 這 個 actor 的 方 法 的 時 候 我 們 說 怎 麼 訓 練 一 個 actor 你 就 先 把 actor 跟 環 境 互 動 得 到 一 些 reward 然 後 你 得 到 一 堆 這 個 observation 跟 這 個 action 的 pair 然 後 你 要 說 欸 這 個 在 s1 執 行 a1 的 時 候 多 好 呢 得 到 一 個 分 數 a1 那 我 們 說 這 個 a1 啊 它 是 cumulative 的 reward 那 上 週 也 有 同 學 問 到 說 難 道 cumulative 的 reward 不 需 要 做 normalization 嗎 需 要 做 normalization 所 以 我 們 說 這 個 減 掉 一 個 b 當 做 normalization 但 這 個 b 的 值 應 該 設 多 少 呢 就 不 好 說 那 我 這 邊 呢 告 訴 大 家 說 一 個 b 合 理 的 設 法 是 把 它 設 成 vθ(s) 假 設 你 現 在 learn 出 了 一 個 critic 就 根 據 這 些 訓 練 資 料 其 實 你 也 可 以 去 learn 一 個 critic 嘛 那 你 現 在 learn 出 這 個 critic 以 後 這 個 critic 給 它 一 個 step 它 就 會 產 生 一 個 分 數 那 你 把 這 個 分 數 啊 當 做 b 你 把 這 個 分 數 當 做 b 所 以 g1' 就 是 要 減 掉 vθ(s1) g2' 就 是 減 掉 vθ(s2) 以 此 類 推 好 那 再 來 的 問 題 就 是 為 什 麼 減 掉 v 是 一 個 合 理 的 選 擇 呢 那 我 們 在 下 一 頁 投 影 片 來 跟 大 家 解 釋 一 下 好 那 現 在 呢 我 們 已 經 知 道 說 這 個 s a 這 個 pair 它 有 多 好 呢 這 個 at 代 表 它 有 多 好 呢 我 們 是 用 g' 減 掉 vθ(st) 來 定 義 這 個 a 好 那 我 們 先 來 看 一 下 這 個 vθ(st) 到 底 代 表 什 麼 意 思 vθ(st) 代 表 什 麼 意 思 呢 vθ(st) 是 看 到 某 一 個 畫 面 st 以 後 接 下 來 會 得 到 的 reward 那 它 其 實 是 一 個 期 望 值 因 為 假 設 你 今 天 看 到 同 一 個 畫 面 接 下 來 再 繼 續 玩 遊 戲 遊 戲 有 隨 機 性 你 每 次 得 到 的 reward 都 不 太 一 樣 的 話 那 vθ(st) 呢 其 實 是 一 個 期 望 值 好 那 在 這 個 時 候 啊 在 看 到 st 的 時 候 啊 你 的 actor 不 一 定 會 執 行 at 這 一 個 action 欸 你 說 為 什 麼 呢 為 什 麼 它 不 一 定 執 行 at 這 個 action 呢 不 要 忘 了 actor 本 身 是 有 隨 機 性 的 在 訓 練 的 過 程 中 我 們 甚 至 鼓 勵 actor 是 有 隨 機 性 的 所 以 同 樣 的 s 你 的 actor 呢 它 會 輸 出 的 這 個 action 不 一 定 是 一 樣 的 我 們 說 actor 的 輸 出 其 實 是 一 個 probability 的 distribution 是 一 個 在 這 個 action 的 space 上 面 的 probability distribution 它 還 給 每 一 個 action 一 個 分 數 你 按 照 這 個 分 數 去 做 sample 有 些 action 被 sample 到 的 機 率 高 有 些 action 被 sample 到 的 機 率 低 但 每 一 次 sample 出 來 的 action 並 不 保 證 一 定 要 是 一 樣 的 喔 所 以 看 到 st 之 後 接 下 來 有 很 多 的 可 能 很 多 的 可 能 所 以 你 會 算 出 不 同 的 cumulative 的 reward 那 當 然 如 果 你 有 discount 的 話 就 是 discounted 的 cumulative reward 那 我 們 這 邊 呢 是 把 discount 這 件 事 情 暫 時 省 略 掉 反 正 大 家 知 道 我 的 意 思 我 這 邊 沒 有 加 我 這 邊 沒 有 加 ' 啦 不 過 大 家 知 道 沒 有 加 上 標 ' 不 過 大 家 知 道 我 的 意 思 就 好 好 那 把 這 些 可 能 的 結 果 平 均 起 來 就 是 vθ(st) 這 是 vθ(st) 這 一 項 的 含 義 好 那 gt' 這 一 項 的 含 義 是 什 麼 呢 gt' 這 一 項 的 含 義 是 在 st 這 個 位 置 在 st 這 個 畫 面 下 執 行 at 以 後 接 下 來 會 得 到 的 cumulative reward 所 以 你 執 行 at 以 後 接 下 來 呢 再 一 路 玩 下 去 你 會 得 到 一 個 結 果 得 到 一 個 reward 就 是 gt' 那 如 果 今 天 at 大 於 0 是 什 麼 意 思 如 果 at 大 於 0 代 表 說 gt' 大 於 vθ(st) 這 個 時 候 代 表 說 呢 這 個 action 是 比 我 們 random sample 到 的 action 還 要 好 的 在 這 邊 得 到 gt' 的 時 候 我 們 確 定 是 執 行 了 at 那 在 st 在 算 這 個 vθ(st) 的 時 候 我 們 不 確 定 我 們 會 執 行 哪 一 個 action 好 所 以 我 們 執 行 action at 的 時 候 得 到 的 reward 大 於 隨 便 執 行 一 個 action 得 到 的 reward 所 以 當 at 大 於 0 的 時 候 代 表 說 at 大 於 隨 便 執 行 的 一 個 action 那 這 個 時 候 這 個 action at 它 就 是 好 的 所 以 我 們 給 它 一 個 大 於 0 的 at 反 之 如 果 at 小 於 0 什 麼 意 思 at 小 於 0 代 表 說 這 個 平 均 的 reward 大 過 執 行 at 得 到 的 reward 你 隨 機 採 取 的 action 按 照 某 一 個 distribution sample 出 來 的 action 得 到 的 這 個 cumulative reward 的 期 望 值 大 過 採 取 at 這 個 action 所 得 到 的 reward 那 這 個 時 候 at 就 是 壞 的 所 要 給 它 負 的 大 at 所 以 這 樣 就 非 常 地 直 覺 為 什 麼 我 們 應 該 把 gt' 減 掉 vθ(st) 但 講 到 這 邊 你 有 沒 有 覺 得 有 一 些 地 方 有 點 違 和 呢 什 麼 地 方 有 點 違 和 呢 這 個 gt' 它 是 一 個 sample 的 結 果 它 是 執 行 at 以 後 一 直 玩 玩 玩 玩 到 遊 戲 結 束 某 一 個 sample 出 來 的 結 果 而 vθ(st) 是 很 多 條 路 徑 很 多 個 可 能 性 平 均 以 後 的 結 果 我 們 把 一 個 sample 去 減 掉 平 均 這 樣 會 準 嗎 也 許 這 個 sample 特 別 好 或 特 別 壞 啊 我 們 為 什 麼 不 是 拿 平 均 去 減 掉 平 均 呢 所 以 我 們 這 一 門 課 要 講 的 最 後 一 個 版 本 就 是 拿 平 均 去 減 掉 平 均 也 就 是 說 我 們 執 行 完 at 以 後 得 到 reward rt 然 後 跑 到 下 一 個 畫 面 st+1 把 這 個 st+1 接 下 來 一 直 玩 下 去 有 很 多 不 同 的 可 能 每 個 可 能 通 通 會 得 到 一 個 reward 把 這 些 reward 平 均 起 來 把 這 些 cumulative 的 reward 平 均 起 來 是 多 少 呢 其 實 就 是 vθ(st+1) 本 來 你 會 需 要 玩 很 多 場 遊 戲 才 能 夠 得 到 這 個 平 均 值 但 沒 關 係 假 設 你 訓 練 出 一 個 好 的 critic 那 你 直 接 代 vθ(st+1) 那 你 就 得 到 你 直 接 得 到 你 直 接 代 vθ(st+1) 你 就 知 道 說 在 st+1 這 個 畫 面 下 接 下 來 會 得 到 的 cumulative reward 的 期 望 值 應 該 多 少 而 接 下 來 呢 你 再 加 上 rt 接 下 來 再 加 上 rt 代 表 說 在 st 這 個 位 置 採 取 at 跳 到 st+1 以 後 會 得 到 的 reward 的 期 望 值 因 為 我 們 已 經 知 道 說 在 st 這 邊 採 取 at 會 得 到 reward rt 再 跳 到 st+1 然 後 st+1 會 得 到 期 望 值 期 望 的 reward 是 vθ(st+1) 所 以 我 們 這 邊 呢 再 給 它 加 上 rt 代 表 說 在 st 這 邊 執 行 at 以 後 會 得 到 的 reward 的 期 望 值 接 下 來 再 把 這 兩 個 東 西 相 減 再 把 rt+vθ(st+1) 減 掉 vθ(st) 也 就 是 我 們 把 g' 換 成 rt+vθ(st+1) 再 減 掉 vθ(st) 我 們 就 知 道 說 採 取 at 這 個 reward 不 是 reward at 不 是 reward 它 是 action 採 取 at 這 個 action 接 下 來 得 到 的 期 望 reward 減 掉 不 採 取 at 而 是 隨 便 sample 一 個 action 根 據 某 個 distribution sample 一 個 action 會 得 到 的 reward 兩 者 的 期 望 值 差 距 有 多 大 那 如 果 rt+vθ(st+1) 比 較 大 就 代 表 at 比 較 好 它 比 隨 便 sample reward 好 rt+vθ(st+1) 小 於 vθ(st) 就 代 表 at 它 是 lower than average 它 比 從 一 個 distribution sample 到 的 action 還 要 差 所 以 今 天 啊 這 個 就 是 大 名 鼎 鼎 的 一 個 常 用 的 方 法 叫 做 advantage actor-critic 在 advantage actor-critic 裡 面 你 是 怎 麼 定 義 at 的 呢 也 就 是 rt+vθ(st+1) 減 掉 rt+vθ(st+1) - vθ(st) 就 是 我 們 的 at 了 好 那 這 邊 呢 有 一 個 訓 練 actor-critic 的 小 技 巧 啦 那 你 在 作 業 裡 面 也 不 妨 使 用 這 個 技 巧 這 個 技 巧 是 什 麼 呢 actor 是 一 個 network critic 也 是 一 個 network actor 這 個 network 是 一 個 遊 戲 畫 面 當 做 輸 入 它 的 輸 出 是 每 一 個 action 的 分 數 critic 是 一 個 遊 戲 畫 面 當 做 輸 入 輸 出 是 一 個 數 值 代 表 接 下 來 會 得 到 的 cumulative 的 reward 這 邊 有 兩 個 network 它 們 的 輸 入 是 一 樣 的 東 西 所 以 這 兩 個 network 它 們 應 該 有 部 分 的 參 數 可 以 共 用 吧 尤 其 假 設 你 的 輸 入 又 是 一 個 非 常 複 雜 的 東 西 比 如 說 遊 戲 畫 面 的 時 候 前 面 幾 層 應 該 都 需 要 是 cnn 吧 要 了 解 這 個 遊 戲 畫 面 需 要 用 的 cnn 也 許 是 差 不 多 的 吧 所 以 actor 跟 critic 它 們 可 以 共 用 前 面 幾 個 layer 所 以 你 今 天 在 實 作 的 時 候 往 往 呢 你 會 把 你 的 actor-critic 設 計 成 這 個 樣 子 actor-critic 呢 它 們 有 共 用 大 部 分 的 network 然 後 只 是 最 後 呢 輸 出 不 同 的 action 就 是 actor 輸 出 一 個 scalar 就 是 critic 好 那 這 是 一 個 訓 練 actor-critic 的 小 技 巧 好 那 其 實 今 天 講 的 啊 並 不 是 reinforcement learning 的 全 部 那 其 實 在 reinforcement learning 裡 面 還 有 一 個 犀 利 的 做 法 是 直 接 採 取 critic 也 就 是 直 接 用 critic 就 可 以 決 定 要 用 什 麼 樣 的 action 那 其 中 最 知 名 的 就 是 deep q network (dqn) 那 不 過 呢 這 邊 我 們 就 不 細 講 dqn 了 如 果 你 真 的 想 知 道 dqn 的 話 可 以 參 考 過 去 上 課 的 錄 影 那 dqn 哇 有 非 常 非 常 多 的 變 形 這 邊 呢 就 是 找 一 個 非 常 有 一 篇 非 常 知 名 的 paper 叫 做 rainbow 裡 面 呢 就 是 試 著 去 嘗 試 了 各 種 dqn 的 變 形 試 了 七 種 然 後 再 把 這 七 種 變 形 集 合 起 來 因 為 有 七 種 變 形 集 合 起 來 所 以 他 說 它 是 一 個 彩 虹 所 以 他 把 它 的 方 法 叫 做 rainbow 那 我 也 把 這 個 paper 留 在 這 邊 給 你 參 考 那 如 果 你 想 知 道 rainbow 裡 面 的 每 一 個 小 技 巧 是 怎 麼 做 的 話 你 就 參 見 上 課 錄 影 過 去 的 課 程 有 把 rainbow 裡 面 的 每 一 個 小 技 巧 都 講 過 一 遍 好 那 講 到 這 邊 呢 正 好 告 一 個 段 落 我 們 先 來 看 看 有 沒 有 同 學 有 問 題 好 那 個 我 來 回 答 一 下 同 學 們 的 問 題 好 有 一 個 同 學 說 sa 後 面 接 的 不 一 定 是 sb 吧 這 樣 怎 麼 辦 這 是 一 個 很 好 的 問 題 sa 後 面 不 一 定 接 sb 那 這 個 問 題 在 剛 才 我 們 看 到 的 那 個 例 子 裡 面 就 沒 有 辦 法 處 理 因 為 在 剛 才 那 個 我 們 看 到 那 個 只 有 8 個 episode 的 例 子 裡 面 sa 後 面 就 只 會 接 sb 所 以 我 們 觀 察 沒 有 觀 察 到 其 它 的 可 能 性 所 以 我 們 沒 辦 法 處 理 這 個 問 題 所 以 這 就 告 訴 我 們 說 啊 在 做 reinforcement learning 的 時 候 sample 這 件 事 情 是 非 常 重 要 的 你 reinforcement learning 最 後 learn 得 好 不 好 跟 你 在 sample 的 時 候 sample 得 好 不 好 關 係 非 常 大 喔 所 以 這 個 reinforcement learning 是 一 個 非 常 吃 人 品 的 方 法 啦 所 以 你 在 作 業 裡 面 你 可 以 體 驗 一 下 就 你 sample 到 的 結 果 對 你 最 後 training 的 結 果 有 非 常 大 的 影 響 啊 然 後 下 一 個 問 題 所 以 每 一 個 v 都 需 要 對 應 到 固 定 的 環 境 發 生 順 序 嗎 欸 我 先 說 一 下 那 個 王 大 華 同 學 其 實 是 助 教 啦 那 這 不 是 他 的 本 名 啦 他 是 但 這 個 王 大 華 同 學 是 助 教 他 是 助 教 然 後 欸 我 看 一 下 喔 所 以 v 每 一 個 v 都 需 對 應 到 固 定 的 環 境 發 生 順 序 嗎 我 沒 有 很 確 定 你 的 問 題 但 是 我 試 著 回 答 一 下 就 是 每 一 個 v 它 不 會 固 定 它 不 會 對 應 到 固 定 的 環 境 發 生 順 序 也 就 是 v(s) 如 果 你 的 遊 戲 有 隨 機 性 的 話 那 v 其 實 是 代 表 了 一 個 期 望 值 它 想 要 算 的 就 是 給 某 一 個 observation 看 到 某 一 個 遊 戲 畫 面 以 後 接 下 來 你 會 得 到 的 cumulative reward 的 平 均 值 它 的 期 望 值 如 果 你 的 遊 戲 有 隨 機 性 的 話 v 代 表 的 是 期 望 值 你 看 到 某 一 個 遊 戲 畫 面 以 後 然 後 接 下 來 會 發 生 什 麼 事 情 不 見 得 是 一 樣 的 但 把 所 有 的 可 能 性 都 平 均 起 來 取 它 的 期 望 值 這 個 就 是 v 所 代 表 的 意 思 後 面 出 現 的 s 應 該 是 不 固 定 的 這 樣 怎 麼 代 公 式 好 那 個 我 想 我 剛 才 應 該 算 是 有 回 答 到 了 後 面 出 現 的 看 到 某 一 個 這 個 observation 後 面 出 現 的 observation 確 實 是 不 固 定 的 那 如 果 有 些 狀 況 某 些 observation 你 沒 觀 察 到 的 話 哇 那 你 真 的 就 沒 辦 法 訓 練 喔 v 當 然 後 有 同 學 問 說 就 是 拿 v 當 一 般 人 的 實 力 超 過 它 就 是 猛 沒 超 過 就 是 爛 嗎 對 就 是 這 樣 v 就 是 平 均 的 實 力 超 過 v 就 是 好 想 請 問 這 個 distribution 要 從 哪 裡 知 道 呢 我 想 你 這 個 distribution 問 的 是 那 個 actor 的 distribution 啦 對 不 對 我 們 說 distribution action 的 distribution action 是 從 某 一 個 distribution sample 出 來 的 那 個 distribution 是 誰 呢 那 個 distribution 是 這 樣 就 是 你 的 actor 不 是 像 是 一 個 classifier 嗎 你 的 actor 像 是 一 個 classifier 然 後 你 把 s 丟 進 去 每 一 個 step 喔 不 是 每 一 個 step 每 一 個 action 都 會 有 一 個 分 數 那 你 把 這 個 分 數 呢 通 過 soft mess 就 做 一 個 normalize 它 就 變 得 像 機 率 一 樣 然 後 按 照 那 個 機 率 去 做 sample 那 這 個 就 是 actor 從 一 個 distribution sample 出 來 的 這 句 話 的 意 思 
Alright, let's begin the class. Here's what we are going to do next. First, let's wrap up the RL topic. Then, we will have the teaching assistant announce the homework. Okay, regarding the last part of RL, we mentioned that we need to learn an Actor. So, this time... We need to learn something else This thing is called Critic Well, I will first explain what Critic is Then we'll talk about How Critic helps the Actor learn What kind of help it provides Okay, let's see what Critic is What is a Critic? Critic is something that needs to be obtained It's its job Its job is to assess the quality of an Actor Now you already have an Actor Its parameter is called θ So, the job of the Critic is It needs to evaluate how much reward the actor might get When it observes a certain pattern or situation In a particular game scene Estimating the upcoming rewards There are many different variations of a critic Some critics judge solely based on the game scene Some critics suggest taking certain actions Seeing a particular game screen Then discovering that the Actor takes a certain Action Given both of these conditions are met Then how much Reward will be received next Why do we talk about this It's still a bit abstract So let's be a little more specific Let's introduce one directly We will really use it later It can be really useful in your tasks This Critic is called Value Function So this Value Function Here we use uppercase Vθ(S) to represent What is its input? Its input is s That is, the current state of the game For example, the game screen Pay special attention to V here It has a superscript θ What does this superscript θ represent? What does this V represent? The object it observes is the Actor θ The Actor it is observing Its parameter is θ Then this V Vθ is a Function Its input is S Then the output is a Scalar Here Vθ(S) is used to represent this Scalar So what is this Scalar? What does this numerical value mean? The meaning of this value is This Actor θ This superscript Actor θ If it sees Observation S If you see the input of this game screen S The next thing it will receive What is the Discounted Cumulated Reward Do you still remember this What is Discounted Cumulated Reward Do you remember what we said before? When evaluating the quality of an action You can't just look at the Reward of the completed Action The Reward you get after completely executing that action Plus all the following rewards Results in a cumulated reward, known as G This is how you can evaluate it In a given state The degree to which an action is good or bad But then we said You take all the R From the start of a certain action to the end of the game All the 'r's are directly added together That's not a good idea You should multiply it by a Discounted Factor called γ That is, the Reward obtained today, if it deviates from execution The farther away the time of a certain action is The Reward has less to do with the Action So we should apply a discounted factor It's called γ Then we receive G' This G' is which is what is claimed here Discounted Cumulated Reward So the job of this Value Function is The goal is to estimate For a certain Actor If by now, it has seen a certain game screen, What will be got next What should be the discounted cumulated reward Of course, Discounted Cumulated Reward You can simply play the game to the end Now as you can see, you already have Actor θ Assume it sees this state s In the end, how much of this G' will it get Once you finish playing this game, you'll understand But these are the Value functions Its ability is to predict the future Guess without seeing. The game has not finished yet Just looking at S, you have to predict this Actor What kind of performance can it achieve That's what the Value Function does For example Suppose you give the Value Function this game screen. It has to directly predict that Looking at this game screen We should expect a high Cumulated Reward next Why? Because of the game There are still many aliens in this game screen. Assuming your Actor is very powerful He is a good actor. It is an Actor that can kill aliens Then it will receive a lot of Rewards Like this screen, for instance This is already the endgame The endgame of the game The game is almost over There are not many aliens left The reward that can be obtained is relatively less These values You would understand if you played the entire game, But what the Value Function wants to do It's foresight Before the game is over Firstly, guess how much we might get. Discounted Cumulated Reward There is something important I need to emphasize This Value Function has a superscript θ This Value Function Is related to the Actor that we observed The same Observation The same game screen. Different actors It should receive something different Discounted Cumulated Reward I just said while giving examples Assuming we have a good Actor Seeing this game screen would have a high Value Seeing this game screen would have a low value But suppose your actor is really bad It can be easily killed by aliens Perhaps, upon seeing this display, Its value is also low Because there are a lot of aliens It gets killed after only a couple of moves It simply can't get any Reward This terrible Actor in this screen The V it might get could also be low Hence, the numbers in the value function Is related to the observed object Alright, this is the Critic Then talking about how to use Critic Before Reinforcement Learning Let's talk about how the Critic was trained There are two common training methods The first method is It's a Monte Carlo-based method Abbreviated as MC here Okay, how do we train this Value Function This value of Critic V θ If you are using the MC method It's very intuitive, just do it that way So, you have this Actor here Take it to interact with the environment There are many rounds of interaction What happens after the Actor interacts with the environment After Actor plays this game You will get some game records You will find that Suppose Actor sees Sa Because you've already finished playing the game You've probably played a lot of games. Then we know that See the State Looking at Observation Sa The cumulative Reward that follows would be Ga' I have omitted 'Discounted' on my side Anyway, as long as you understand what I mean Alright, at this moment Your Value Function will receive a piece of training data This training data tells it that If you see Sa as input Speaking of its output... This Vθ(Sa) should be as close to Ga' as possible Suppose you Sample another Observation today Seeing another game screen Finding out after playing the game The Cumulated Reward obtained is Gb' So, at this time Your Value Function If you input Sb, you should get Vθ(Sb) So this Vθ(Sb) should be as close as possible to Gb' This is very intuitive You observe the Actor The Cumulated Reward that can be obtained Once you have observed, you have training data These training data are used directly to train the Value Function Okay, how about this MC? It's a very intuitive approach Next, let's look at another one Not such an intuitive approach This method is called the Temporal-Difference Approach The abbreviation is TD Then, the Temporal-Difference Approach What it hopes to achieve is No need to play the game to the end To get the training value data You just need to be at a certain 'Observation St', when it sees St, Your actor performed At and received reward rt And then you look at the game screen like St+1 Just by seeing such a piece of data Can train Vπ(S) Just seeing such data can be used to update the parameters of Vπ(S) But if you only look at this data What are the benefits of updating the parameters of Vπ(S)? The advantage of this is that you want it inside the MC You have to play a full game That's when you get a piece of training data Some games are actually quite long Even some games maybe it won't end at all, It just keeps on going indefinitely It will never end. For games like this, You're highly unsuitable when using MC At this point in time You may want to adopt the TD method Okay, why do we only see this kind of data Use it to train Vπ(S) Let's give an example here Let's take a look first The relationship between Vθ(St) and Vθ(St+1) What is Vθ(St) We say Vθ(St) This is the Cumulated Reward after St So, Vθ(St) is rt + γrt+1 + γ²rt+2 and so on And then Vθ(St+1) is rt+1 + γrt+2 and so on Then, you will find these two Vθ Vθ(St) and Vθ(St+1) There is a relationship between them What kind of relationship then? You can write it as such an equation Multiply Vθ(St+1) by γ and then add rt Multiply every term of Vθ(St+1) by γ and add rt it will become Vθ(St) So, between Vθ(St) and  Vθ(St+1) There's such a relation Right now, we Upon having such data, We can use it to train our Value Function Hoping that the Value Function can be satisfied This formula that we wrote here Okay, so what does that mean Let's assume we now have such a piece of data Let's take St Substitute into Value Function to get Vθ(St) We substitute St+1 into the value function You get Vθ(St+1) Even though we do not know the amount of Vθ(St) We also don't know how much Vθ(St+1) should be We don't have the standard answers for these two things But we know what the difference should be According to the above formula We multiply Vθ(St+1) by γ Then subtract Vθ(St) Subtract Vθ (St) by γ times Vθ (St+1) It should be closer to rt RT is over here We have collected the data of rt We also know Vθ(St) The relationship between this and Vθ(St+1) So we know Vθ(St) minus γ times Vθ(St+1) It should get closer and closer to rt So, you have this kind of training data Input St Input St+1 They all passed via Vθ And then subtract them And it’s better the closer it gets to rt This is the method of TD Alright, so we introduced two This method is training the Value Function Introduce two methods of training the Critic One is called MC One is called TD So these two methods In fact, you use it for the same calculation The observed result The same data The same θ You're observing with MC and TD The Value Function you calculated, It's very likely they will be different. What about here? Let's take an example This example is as follows We observe a certain Actor This Actor Played a certain game with the environment eight times Of course, this is simplified for the sake of calculation We assume that these games are all very simple One round for all It ends after two rounds So when the Actor plays the game for the first time It first sees the scenario 'Sa'. Achieving Reware 0 Next, let's look at the Sb screen Get Reward 0, game over Next This has six consecutive games It's all about seeing the Sb screen Once we obtain Reward 1, it ends. The last game Seeing the screen of Sb Ends when Reward 0 is obtained Then, on our end Ignore the Actor for now Ignoring Actor for simplicity's sake Let's also assume γ is equal to 1 Which means no Discount was applied Alright, what should this Sb be What should Vθ(Sb) be We know this Vθ(Sb) Its meaning is what we see in this frame Sb You'll consider the expected value of the reward you'll receive What about this screen, Sb In these eight games we played We've seen this a total of eight times Every game, I see the Sb screen After seeing the state Sb, how much reward will you get? In the eight games Scored 1 point six times Got zero points twice So the average of 3/4 is correct So Vθ(Sb) equals to 3/4 There's absolutely no dispute What should Vθ(Sa) be? How do you feel after seeing Sa how much reward you should get next According to these eight data entries Wondering how much Reward Sa will get next Okay, let's give everyone ten seconds. You write your answer on the message board Post your answer in the comment section Let's take this opportunity to answer that The students' questions Is it? Okay, if anyone has any questions You can type it in the chatroom Give you some time to think about the following. What do you think of Vθ(Sa)? According to the eight training data we have seen So what should it be? Give me your answer Posted in the chat room I'm checking if this chatroom can actually be used Okay Okay, I see many answers Almost everyone says it's 0 Almost everyone is at 0. Are there any other answers? Okay, there's barely any other answers Everyone says it's 0 Right, most students said it's 0 Is 0 the correct answer? It is both right and wrong Actually, there is another possible answer, which is 3/4. I see no one wrote 3/4. I'll explain this in a bit Why could it possibly calculate 3/4? but 0 is a reasonable answer Why do you think it should be 0 0 is obtained through the concept of Monte-Carlo Why is it 0 Because we've seen Sa only once How much Reward you will get after seeing Sa This is 0 Get a Reward of 0 after seeing Sa Further observing that Sb's Reward is still 0 So the Cumulated Reward is 0 So, if we look at it from the perspective of Monte-Carlo, We see Sa Next, what should the calculated G be It's 0 So, Vθ(Sa) should be zero Is absolutely correct. Almost all students got the correct answer But if you use TD What you calculated might be a different outcome How should I put it Because there is a difference between Vθ(Sa) and Vθ(Sb) There is such a relationship This Vθ(Sa) should be equal to Vθ(Sb) plus Reward It’s the Reward you get after seeing Sa Next, enter Sb Then, this Vθ(Sa) It should be equal to Vθ(Sb) plus this reward The notation here hasn't been used very well This 'r' refers to this 'r' over here So according to this idea What is the value of Vθ(Sb)? 3/4 What's the value of this r? It's 0 But Vθ(Sa) should be 3/4, right? Following the thought process of TD Vθ(Sa) should be 3/4 You might be wondering What are Monte-Carlo and TD exactly Who has the correct calculation? You could say that both are correct They just have different assumptions in the background As for Monte-Carlo It just directly observes the data we collected The result of applying Sb after Sa is The Cumulated Reward is 0 So, Vθ(Sa) is naturally 0 But as for TD What is the underlying assumption? This Sa and Sb are unrelated Look at Sa, and then look at Sb Won't affect the reward observed at state Sb You are now looking at these eight training data It gives you an illusion I think Vθ(Sa) should be 0 It's merely because you have too few sampled data Seeing Sb The expected Reward should be 3/4 Just because you're unlucky today Look at Sa first, then Sb Coincidentally, r equals 0 But the expected value should be 3/4 You are just unlucky to see that r is 0 You will think Sa is 0 But for Sb The expected reward after seeing Sb should be 3/4 So, after seeing Sa, you will see Sb then the expected Reward you get should also be 3/4. So from the perspective of TD How much reward will Sb get It has nothing to do with Sa So, you should So the Cumulated Reward for Sa should be 3/4 But for Monte-Carlo It doesn't think that Sa and Sb are unrelated Perhaps Sa is a competition-grade Observation After seeing Sa You have influenced the reward Sb will receive Maybe after seeing Sa, Sb will get a Reward equal to 0 There's mutual influence between them After seeing Sa, Sb will be set to 0 Then Vθ(Sa) should be equal to 0 So in conclusion, we use MC to calculate Calculate with TD There will be subtle differences Alright, let's see if any students have questions Okay, not currently The teaching assistant has made some calculations, Only one student answered 1 Everything else is 0 OK, so this is MC versus TD This is about MC and TD Okay, next we are going to see What does it mean when this Critic is used to train the Actor? Do you still remember what we did last time? Finally, when we talk about this Actor's method We talk about how to train an Actor Just let the Actor interact with the environment first Got some rewards And then you'll get a bunch of these 'Observations'. Along with this action pair Then you should say Eh, how good is it to execute a1 in s1 Received a score of A1 Then we mention this A1 It is a cumulative reward Last week, some students also asked Could it be the Cumulative Reward Is there a need for normalization? Need to go through Normalization So we say Subtracting b as a Normalization But what should the value of b be set to It's hard to say And what I want to tell you is A reasonable way to set b It's set to Vθ(S) Assume you have now learned a Critic Based on these training data Actually, you can also learn a critic. So, after you learn this Critic This Critic gives it a Step It will generate a score Then you consider this score as b You take this score as b So G1' is to subtract Vθ(s1) G2' is subtracting Vθ(s2) And so on Alright, the next question is Why is subtracting V a reasonable decision? We are on the next slide Let's explain to everyone. Ok, now We already know this How good is this s a pair How good is this 'At' supposed to represent? We use G' minus Vθ(St) To define this A Alright, let's first look at this Vθ(St) What does it actually mean? What does Vθ (St) mean? Vθ(St) refers to the scenario after seeing a certain screen St The Reward that will be received next Actually, it's an expected value Because if you see the same scene today Next, continue to play the game The game has randomness If the Reward you receive each time is not quite the same So what about Vθ(St)? It's actually an expected value Okay, at this moment When seeing St Your Actor might not necessarily execute At this Action Hey, why do you say that? Why it doesn't necessarily perform the 'At' action Don't forget that Actor itself is random During the training process We even encourage the Actor to be random So, the same S What about your Actor? The action it outputs may not necessarily be the same We say the output of the Actor Actually, it's a Probability Distribution It is on the Space of this Action Probability Distribution It also gives every action a score You make Samples according to this score Some Actions have a higher probability of being Sampled The probability of some Actions being Sampled is low But the Action that comes out of every Sample It doesn't necessarily have to be the same Oh, so after seeing 'St', Numerous possibilities lie ahead, many possibilities. So you will calculate different Cumulative Rewards Of course, if you have a Discount It's the Discounted Cumulative Reward As for us over here Let's temporarily ignore the discount fact Anyway, you all know what I mean I didn't add anything on my side I didn't add ' here But you know, if we don't add a tag ' But it's enough if you all understand what I mean. Okay, let's average these possible outcomes. It is Vθ(St) This is the meaning of the term 'Vθ(St)'. Well, what does the term Gt' mean? What does 'Gt' term mean here? At this location St, under this scenario St After executing At The Cumulative Reward that will be obtained next So after you execute At Next, just continue playing it through You will get a result, you will get a reward Which is 'Gt' What does it mean if At is more than 0 today If At is greater than 0, it means Gt' is greater than Vθ(St) It represents the fact at this moment This Action is more than Our Random Sample of Action has to be better When you get Gt' here We have indeed executed At When calculating this Vθ(St) We are unsure about which action we will execute OK, so when we execute Action At, The received Reward Greater than the reward obtained from any arbitrary action. So when At is greater than 0, it means At is greater than any executed Action At this time, this Action At is good So we give it an At greater than 0 On the other hand, what does it mean if At is less than 0 At less than 0 means that This average Reward Greater than the Reward obtained by executing At The Action you randomly take According to a certain Distribution The action sampled out The expected value of this Cumulative Reward that is obtained Is greater than the reward received for taking this action At this time, At is bad You have to give it a big negative 'At'. So, this is very intuitive in this way Why should we subtract Gt' from Vθ(St) But speaking of which Do you find any part a bit incongruous? Where does it feel a bit inconsistent? This Gt' is a result of a Sample It is after executing At Keep on playing until the game ends The result of a certain sample And Vθ(St) is a lot of paths, a lot of possibilities The result after averaging We subtract the average from a sample Would this be accurate Perhaps this sample is exceptionally good or bad Why don't we take the average and subtract it from the average? So, the last version we are going to talk about in this class It's about taking the average to subtract from the average That is to say, after performing At, we obtain Reward rt And then run to the next screen St+1 Keep playing this St+1. There are many different possibilities Every possibility will receive a Reward Average these Rewards Average these Cumulative Rewards What is it? It's actually Vθ(St+1) Originally, you would need to play many games To get this average value But it doesn't matter Assuming you've trained a good Critic Then you substitute Vθ(St+1), Then you receive, you directly receive If you directly substitute Vθ(St+1), you will know that Under the screen of St+1 What you will get next is What would be the expected value of the cumulative Reward Next, you add rt Then we add rt next Indicates that taking action at, at position St After jumping to St+1 The expected value of the Reward you will receive Because we already know Acting at St will gain the Reward rt Then jump to St+1 And St+1 will get the expected value The expected Reward is Vθ(St+1) So, over here Add rt to it This means that after executing 'At' in the 'St' stage, The expected value of the Reward obtained Next, subtract these two Subtract Vθ(St) from rt+Vθ(St+1) That is, we change G' to rt+Vθ(St+1) Subtracting Vθ(St) again, That's how we know Claim this reward It's not Reward, not Reward It is Action Take this action at The expected reward to be received next Subtracting the non-adopted at, Instead, you simply Sample an Action According to a certain distribution, sample an action The reward obtained How big is the gap between the expectations of the two If rt+Vθ(St+1) is larger This means at is better It's better than randomly sampling rewards. rt+Vθ(St+1) is less than Vθ(St) Which implies it is lower than average It's better than a Distribution The sampled Action is still lacking So, for today This is the famous commonly used method Called Advantage Actor-Critic Within the context of Advantage Actor-Critic, How do you define 'at'? Which translates to rt+Vθ(St+1) subtracted rt+Vθ(St+1) - Vθ(St) It's our At Alright, how about here, There's a little tip for training Actor-Critic You can also use this technique in your homework What is this technique? Actor is a Network The Critic is also a network This Network, the Actor, As an input from a game screen It outputs the score for each Action The Critic is a game screen taken as an input, The output is a numerical value It implies that the following Cumulative Reward will be obtained There are two networks here Their inputs are the same thing So, these two Networks They should share some parameters, right? Especially if your input is something very complex. For instance, during the game screen The first few layers should probably be CNNs, right? The CNN needed to understand this game screen Maybe they are almost the same So both Actor and Critic They can share the first few Layers So, when you're implementing it often You would design your Actor-Critic like this What about Actor-Critic They share most of the Network And only at the end Output different Actions This is called the Actor Outputs a Scalar It's the Critic Alright, this is a little trick for training the Actor-Critic model Okay, that's actually what we've talked about today It's not all about Reinforcement Learning Actually, in Reinforcement Learning There is another sharp strategy Taking direct action from Critic That is to directly use Critic Then you can decide what kind of Action to use The most famous among them is Deep Q Network (DQN) However, I won't go into details about DQN here If you really want to know about DQN You can refer to the past class recording DQN has many, many variations What we're doing here is to find something incredibly There is a very famous paper called Rainbow Inside, you try to explore various forms of DQN Tried seven types, then combine these seven transformed types together Because there are seven transformations gathered together So, he said it's a rainbow That's why he calls his method Rainbow I will also leave this paper here for your reference If you want to know what's inside the Rainbow How does each trick work You may refer to class videos Past courses Each little trick inside Rainbow Has been mentioned once Okay, so speaking of this Concludes a paragraph Let's first check if any students have questions Okay, let me answer some questions from the students Okay, a student said What follows Sa might not necessarily be Sb What do we do in this case? That's a very good question Sa is not necessarily followed by Sb Regarding this issue In the example that we just saw We just can't handle it Because of what happened just now We see in the example with only 8 Episodes Sa is always followed by Sb We observe without noticing other possibilities so we can't deal with this issue This tells us that... When doing reinforcement learning Sampling this matter is very important You are doing Reinforcement Learning In the end, whether the learning is good or not Whether or not you sampled well during the sampling There's a huge correlation Oh, so this is Reinforcement Learning It's a method that highly depends on luck So you can experience it in your homework It would be the result you obtained from the sample Regarding your final training result, It has a significant influence And the next question So each V Does everything need to correspond to a fixed order of occurrence in the environment? Eh, let me say this first That student, Wang Da Hua, is actually a teaching assistant That's not his real name He is, but this student Wang Dahua is a teaching assistant, he is a teaching assistant And, let me see So for each V Does it need to correspond to a fixed sequence of environmental events? I'm not very sure about your question But let me try to answer Every V is not fixed. It won't correspond to the fixed sequence of environmental occurrences That is V(S) If your game has randomness That V actually represents an expected value What it wants to calculate is Giving an observation After seeing a certain game screen The average value of the Cumulative Reward you will get next Its expected value If your game has randomness V represents the expected value after you see a certain game screen And what will happen next is It's not necessarily the same But considering all possibilities evenly Taking its expected value This is what V represents The S that appears later should be variable How should this formula be substituted? Okay, I think I did answer that just now The one that appears later, seeing this Observation The Observations that appear later are indeed not fixed In some situations Some Observations you did not observe Wow, then you really can't train Oh, when V And then a classmate asked Essentially, we use 'V' to represent the average person's ability. Anything above it is aggressive Is it bad if it doesn't exceed? Right, that's the way it is V is the average strength If it exceeds V, then it's good Where would we know this Distribution from I think the Distribution you asked is which one It's about Actor's distribution, right? We say Distribution of Distribution Action Action is derived from a certain Distribution Sampled out Who is that Distribution? That distribution is like this Isn't your Actor acting like a Classifier? Your Actor is like a Classifier And then you throw S into it For each step Oh, not every Step Every Action will have a score Then, this score Through Soft Mess We normalize it. It becomes like a probability Then proceed according to that probability and sample This is the Actor Coming from a Distribution Sample The meaning of this sentence 