上 次 我 們 還 沒 有 把 self-supervised learning 的 部 分 講 完 我 們 講 完 了 bert 那 除 了 bert 以 外 還 有 下 一 個 也 是 鼎 鼎 有 名 的 模 型 就 是 gpt 系 列 的 模 型 那 gpt 系 列 的 模 型 做 的 是 什 麼 呢 上 次 我 們 有 說 bert 做 的 是 什 麼 bert 做 的 是 填 空 題 gpt 做 的 事 情 是 什 麼 呢 gpt 就 是 改 一 下 我 們 現 在 在 self-supervised learning 的 時 候 要 模 型 做 的 任 務 gpt 要 做 的 任 務 是 預 測 接 下 來 會 出 現 的 token 是 什 麼 舉 例 來 說 假 設 你 的 訓 練 資 料 裡 面 有 一 個 句 子 是 台 灣 大 學 那 gpt 拿 到 這 一 筆 訓 練 資 料 的 時 候 它 會 做 什 麼 樣 的 訓 練 呢 它 做 的 事 情 是 這 樣 你 給 它 bos 這 個 token 然 後 呢 gpt output 一 個 embedded 然 後 接 下 來 呢 你 用 這 個 embedded 去 預 測 下 一 個 應 該 出 現 的 token 是 什 麼 呢 那 在 這 個 句 子 裡 面 根 據 這 筆 訓 練 資 料 下 一 個 應 該 出 現 的 token 是 什 麼 呢 下 一 個 應 該 出 現 的 token 是 台 所 以 你 要 訓 練 你 的 模 型 根 據 第 一 個 token 根 據 bos 給 你 的 embedded 那 它 要 輸 出 台 這 個 token 而 如 果 這 個 部 分 詳 細 來 看 就 是 這 樣 你 有 一 個 embedded 這 邊 用 h 來 表 示 然 後 通 過 一 個 linear transform 再 通 過 一 個 softmax 得 到 一 個 distribution 跟 一 般 你 做 分 類 的 問 題 是 一 樣 的 接 下 來 你 希 望 你 output 的 distribution 跟 正 確 答 案 的 cross entropy 越 小 越 好 也 就 是 你 要 去 預 測 下 一 個 出 現 的 token 是 什 麼 好 那 接 下 來 要 做 的 事 情 就 是 以 此 類 推 了 你 給 你 的 gpt bos 跟 台 它 產 生 embedded 接 下 來 它 會 預 測 下 一 個 出 現 的 token 是 什 麼 那 你 告 訴 它 說 下 一 個 應 該 出 現 的 token 是 灣 好 再 反 覆 繼 續 下 去 你 給 它 bos 台 跟 灣 然 後 預 測 下 一 個 應 該 出 現 的 token 它 應 該 要 預 測 大 你 給 它 台 跟 灣 跟 大 接 下 來 下 一 個 應 該 出 現 的 token 是 學 它 應 該 要 預 測 出 下 一 個 應 該 出 現 的 token 是 學 那 這 邊 呢 是 指 拿 一 筆 資 料 一 個 句 子 來 給 gpt 訓 練 當 然 實 際 上 你 不 會 只 用 一 筆 句 子 你 會 用 成 千 上 萬 個 句 子 來 訓 練 這 個 模 型 然 後 呢 就 沒 有 然 後 了 這 樣 就 這 樣 子 說 完 了 它 厲 害 的 地 方 就 是 用 了 很 多 資 料 訓 了 一 個 異 常 巨 大 的 模 型 然 後 看 看 它 會 有 什 麼 厲 害 的 地 方 那 這 邊 有 一 個 小 小 的 應 該 要 跟 大 家 說 的 地 方 是 說 這 個 gpt 的 模 型 它 像 是 一 個 transformer 的 decoder 我 們 知 道 transformer 有 encoder 有 decoder 對 不 對 這 我 們 上 課 的 時 候 都 有 講 過 模 型 呢 它 的 架 構 像 是 transformer 的 decoder 不 過 拿 掉 bos 的 tension 這 個 部 分 也 就 是 說 你 會 做 那 個 mask 的 tension 就 是 你 現 在 在 預 測 給 bos 預 測 台 的 時 候 你 不 會 看 到 接 下 來 出 現 的 詞 彙 給 它 台 要 預 測 灣 的 時 候 你 不 會 看 到 接 下 來 要 輸 入 的 詞 彙 以 此 類 推 這 個 就 是 gpt 那 這 個 gpt 最 知 名 的 就 是 因 為 gpt 可 以 預 測 下 一 個 token 那 所 以 它 有 生 成 的 能 力 你 可 以 讓 它 不 斷 地 預 測 下 一 個 token 產 生 完 整 的 文 章 所 以 我 每 次 提 到 gpt 的 時 候 它 的 形 象 都 是 一 隻 獨 角 獸 為 什 麼 它 的 形 象 是 一 隻 獨 角 獸 呢 因 為 gpt 系 列 最 知 名 的 一 個 例 子 就 是 用 gpt 寫 了 一 篇 跟 獨 角 獸 有 關 的 新 聞 因 為 他 放 一 個 假 新 聞 然 後 那 個 假 新 聞 裡 面 說 在 安 地 斯 山 脈 發 現 獨 角 獸 等 等 一 個 活 靈 活 現 的 假 新 聞 所 以 大 家 提 到 gpt 的 時 候 都 會 想 到 那 一 則 假 新 聞 好 為 了 讓 你 更 清 楚 了 解 gpt 運 作 起 來 是 什 麼 樣 子 那 這 個 線 上 有 一 個 demo 的 網 頁 叫 做 talk to transformer 就 是 有 人 把 一 個 比 較 小 的 不 是 那 個 最 大 的 gpt 的 模 型 最 大 的 gpt 模 型 不 是 public available 的 有 人 把 比 較 小 的 gpt 模 型 放 在 線 上 讓 你 可 以 輸 入 一 個 句 子 讓 它 會 把 接 下 來 的 其 餘 的 內 容 把 它 補 完 它 這 個 運 作 起 來 看 起 來 像 是 好 這 個 就 是 gpt 系 列 它 可 以 把 一 句 話 補 完 那 把 一 句 話 補 完 怎 麼 把 它 用 在 downstream 的 任 務 上 呢 舉 例 來 說 怎 麼 把 它 用 在 question answering 或 者 是 其 他 的 跟 人 類 語 言 處 理 有 關 的 任 務 上 呢 gpt 用 的 想 法 跟 bert 不 一 樣 其 實 我 要 強 調 一 下 gpt 也 可 以 跟 bert 用 一 樣 的 做 法 大 家 還 記 得 bert 是 怎 麼 做 的 嗎 把 bert model 拿 出 來 後 面 接 一 個 簡 單 的 linear 的 classifier 那 你 就 可 以 做 很 多 事 情 你 也 可 以 把 gpt 拿 出 來 接 一 個 簡 單 的 classifier 我 相 信 也 是 會 有 效 但 是 在 gpt 的 論 文 中 它 沒 有 這 樣 做 它 有 一 個 更 狂 的 想 法 為 什 麼 會 有 更 狂 的 想 法 呢 因 為 首 先 就 是 bert 那 一 招 bert 用 過 了 嘛 所 以 總 不 能 再 用 一 樣 的 東 西 這 樣 寫 paper 就 沒 有 人 覺 得 厲 害 了 然 後 再 來 就 是 gpt 這 個 模 型 也 許 真 的 太 大 了 大 到 連 fine tune 可 能 都 有 困 難 你 想 想 看 我 們 在 用 bert 的 時 候 你 要 把 bert 模 型 後 面 接 一 個 linear classifier 然 後 bert 也 是 你 的 要 train 的 model 的 一 部 分 所 以 它 的 參 數 也 是 要 調 的 所 以 在 剛 才 助 教 公 告 的 bert 相 關 的 作 業 裡 面 你 還 是 需 要 花 一 點 時 間 來 training 雖 然 助 教 說 你 大 概 20 分 鐘 就 可 以 train 完 了 因 為 你 並 不 是 要 train 一 個 完 整 的 bert 的 模 型 bert 的 模 型 在 之 前 在 做 這 個 填 空 題 的 時 候 已 經 訓 練 得 差 不 多 了 你 只 需 要 微 調 它 就 好 了 但 是 微 調 還 是 要 花 時 間 的 也 許 gpt 實 在 是 太 過 巨 大 巨 大 到 要 微 調 它 要 train 一 個 η 可 能 都 有 困 難 所 以 gpt 系 列 有 一 個 更 狂 的 使 用 方 式 這 個 更 狂 的 使 用 方 式 和 人 類 更 接 近 你 想 想 看 假 設 你 去 考 譬 如 說 托 福 的 聽 力 測 驗 你 是 怎 麼 去 考 托 福 的 聽 力 測 驗 的 呢 這 個 托 福 聽 力 測 驗 的 敘 述 是 長 什 麼 樣 子 的 呢 首 先 你 會 看 到 一 個 題 目 的 說 明 告 訴 你 說 現 在 要 考 選 擇 題 請 從 abcd 四 個 選 項 裡 面 選 出 正 確 的 答 案 等 等 然 後 給 你 一 個 範 例 告 訴 你 說 這 是 題 目 然 後 正 確 的 答 案 是 多 少 然 後 你 看 到 新 的 問 題 期 待 你 就 可 以 舉 一 反 三 開 始 作 答 gpt 系 列 要 做 的 事 情 就 是 這 個 模 型 能 不 能 夠 做 一 樣 的 事 情 呢 舉 例 來 說 假 設 要 gpt 這 個 模 型 做 翻 譯 你 就 先 打 translate english to french 就 先 給 它 這 個 句 子 這 個 句 子 代 表 問 題 的 描 述 然 後 給 它 幾 個 範 例 跟 它 說 sea otter 然 後 => 後 面 就 應 該 長 這 個 樣 子 或 者 是 這 個 什 麼 plush giraffe plush giraffe 後 面 就 應 該 長 這 個 樣 子 等 等 然 後 接 下 來 你 問 它 說 cheese=> 叫 它 把 後 面 的 補 完 希 望 它 就 可 以 產 生 翻 譯 的 結 果 不 知 道 大 家 能 不 能 夠 了 解 這 一 個 想 法 是 多 麼 地 狂 在 training 的 時 候 gpt 並 沒 有 教 它 做 翻 譯 這 件 事 它 唯 一 學 到 的 就 是 給 一 段 文 字 的 前 半 段 把 後 半 段 補 完 就 像 我 們 剛 才 給 大 家 示 範 的 例 子 一 樣 現 在 我 們 直 接 給 它 前 半 段 的 文 字 就 長 這 個 樣 子 告 訴 它 說 你 要 做 翻 譯 了 給 你 幾 個 例 子 告 訴 你 說 翻 譯 是 怎 麼 回 事 接 下 來 給 它 cheese 這 個 英 文 單 字 後 面 能 不 能 就 直 接 接 出 法 文 的 翻 譯 結 果 呢 這 個 在 gpt 的 文 獻 裡 面 叫 做 few-shot learning 但 是 它 跟 一 般 的 few-shot learning 又 不 一 樣 所 謂 few shot 的 意 思 是 說 確 實 只 給 了 它 一 點 例 子 所 以 叫 做 few shot 但 是 它 不 是 一 般 的 learning 這 裡 面 完 全 沒 有 什 麼 gradient descent training 的 時 候 就 是 要 跑 gradient descent 嘛 這 邊 完 全 沒 有 gradient descent 完 全 沒 有 要 去 調 gpt 那 個 模 型 參 數 的 意 思 所 以 在 gpt 的 文 獻 裡 面 把 這 種 訓 練 給 了 一 個 特 殊 的 名 字 它 們 叫 做 in-context learning 代 表 說 它 不 是 一 種 一 般 的 learning 它 連 gradient descent 都 沒 有 做 當 然 你 也 可 以 給 gpt 更 大 的 挑 戰 我 們 在 考 托 福 聽 力 測 驗 的 時 候 都 只 給 一 個 例 子 而 已 那 gpt 可 不 可 以 只 看 一 個 例 子 就 知 道 它 要 做 翻 譯 這 件 事 這 個 叫 one-shot learning 還 有 更 狂 的 是 zero-shot learning 直 接 給 它 一 個 敘 述 說 我 們 現 在 要 做 翻 譯 了 gpt 能 不 能 夠 自 己 就 看 得 懂 就 自 動 知 道 說 要 來 做 翻 譯 這 件 事 情 呢 那 如 果 能 夠 做 到 的 話 那 真 的 就 非 常 地 驚 人 了 那 gpt 系 列 到 底 有 沒 有 達 成 這 個 目 標 呢 這 個 是 一 個 見 仁 見 智 的 問 題 啦 它 不 是 完 全 不 可 能 答 對 但 是 正 確 率 有 點 低 相 較 於 你 可 以 微 調 模 型 正 確 率 是 有 點 低 的 那 細 節 你 就 再 看 看 gpt 那 篇 文 章 第 三 代 的 gpt 它 測 試 了 42 個 任 務 這 個 縱 軸 是 正 確 率 這 些 實 線 這 三 條 實 線 是 42 個 任 務 的 平 均 正 確 率 那 這 邊 包 括 了 few shot one shot 跟 zero shot 三 條 線 分 別 代 表 few shot one shot 跟 zero shot 橫 軸 代 表 模 型 的 大 小 它 們 測 試 了 一 系 列 不 同 大 小 的 模 型 從 只 有 0.1 個 billion 的 參 數 到 175 個 billion 的 參 數 那 從 0.1 個 billion 的 參 數 到 175 個 billion 的 參 數 我 們 看 few shot learning 的 部 分 從 20 幾 % 的 正 確 率 平 均 正 確 率 一 直 做 到 50 幾 % 的 平 均 正 確 率 那 至 於 50 幾 ％ 的 平 均 正 確 率 算 是 有 做 起 來 還 是 沒 有 做 起 來 那 這 個 就 是 見 仁 見 智 的 問 題 啦 目 前 看 起 來 狀 況 是 有 些 任 務 它 還 真 的 學 會 了 舉 例 來 說 2 這 個 加 減 法 你 給 它 一 個 數 字 加 另 外 一 個 數 字 它 真 的 可 以 得 到 正 確 的 兩 個 數 字 加 起 來 的 結 果 但 是 有 些 任 務 它 可 能 怎 麼 學 都 學 不 會 譬 如 說 一 些 跟 邏 輯 推 理 有 關 的 任 務 它 的 結 果 就 非 常 非 常 地 慘 好 那 有 關 gpt3 的 細 節 這 個 就 留 給 大 家 再 自 己 研 究 然 後 這 邊 有 一 個 過 去 上 課 的 錄 影 我 把 連 結 放 在 這 邊 給 大 家 參 考 好 剛 才 舉 的 例 子 到 目 前 為 止 我 們 舉 的 例 子 都 是 只 有 跟 文 字 有 關 但 是 你 不 要 誤 會 說 這 種 self-supervised learning 的 概 念 只 能 用 在 文 字 上 在 語 音 在 cv cv 就 是 computer vision 也 就 是 影 像 在 語 音 跟 影 像 的 應 用 上 也 都 可 以 用 self-supervised learning 的 技 術 那 其 實 今 天 self-supervised learning 的 技 術 非 常 非 常 地 多 我 們 講 的 bert 跟 gpt 系 列 它 只 是 三 個 類 型 的 這 個 self-supervised learning 的 方 法 的 其 中 一 種 它 們 是 屬 於 prediction 那 一 類 那 其 實 還 有 其 他 的 類 型 那 就 不 是 我 們 這 一 堂 課 要 講 的 那 接 下 來 的 課 程 你 可 能 會 覺 得 有 點 流 水 帳 就 是 我 們 每 一 個 主 題 呢 就 是 告 訴 你 說 這 個 主 題 裡 面 有 什 麼 但 是 細 節 這 個 更 多 的 知 識 就 留 給 大 家 自 己 來 做 更 進 一 步 的 研 究 所 以 這 些 投 影 片 只 是 要 告 訴 你 說 在 self-supervised learning 這 個 部 分 我 們 講 的 只 是 整 個 領 域 的 其 中 一 小 塊 那 還 有 更 多 的 內 容 是 等 待 大 家 去 探 索 的 好 那 有 關 影 像 的 部 分 呢 我 們 就 真 的 不 會 細 講 我 這 邊 就 是 放 兩 頁 投 影 片 帶 過 去 告 訴 你 說 有 一 招 非 常 有 名 的 叫 做 simclr 它 的 概 念 也 不 難 我 相 信 你 自 己 讀 論 文 應 該 也 有 辦 法 看 懂 它 那 還 有 很 奇 怪 的 叫 做 byol byol 這 個 東 西 呢 我 們 是 不 太 可 能 在 上 課 講 它 為 什 麼 呢 因 為 根 本 不 知 道 它 為 什 麼 會 work 不 是 這 個 是 很 新 的 論 文 這 個 是 去 年 夏 天 的 論 文 那 這 個 論 文 是 假 設 它 不 是 已 經 發 表 的 文 章 然 後 學 生 來 跟 我 提 這 個 想 法 我 一 定 就 是 我 一 定 不 會 讓 他 做 這 不 可 能 會 work 的 這 是 個 不 可 能 會 實 現 的 想 法 不 可 能 會 成 功 的 這 個 想 法 感 覺 有 一 個 巨 大 的 瑕 疵 但 不 知 道 為 什 麼 它 是 work 的 而 且 還 曾 經 一 度 得 到 state of the art 的 結 果 deep learning 就 是 這 麼 神 奇 好 所 以 這 個 呢 我 們 也 就 不 細 講 就 跳 過 去 好 那 在 語 音 的 部 分 你 也 完 全 可 以 使 用 self-supervised learning 的 概 念 你 完 全 可 以 試 著 訓 練 語 音 版 的 bert 那 怎 麼 訓 練 語 音 版 的 bert 呢 你 就 看 看 文 字 版 的 bert 是 怎 麼 訓 練 的 譬 如 說 做 填 空 題 語 音 也 可 以 做 填 空 題 就 把 一 段 聲 音 訊 號 蓋 起 來 叫 機 器 去 猜 蓋 起 來 的 部 分 是 什 麼 嘛 語 音 也 可 以 預 測 接 下 來 會 出 現 的 內 容 講 gpt 就 是 預 測 接 下 來 要 出 現 的 token 嘛 那 語 音 你 也 可 以 叫 它 預 測 叫 模 型 預 測 接 下 來 會 出 現 的 聲 音 訊 號 所 以 你 也 可 以 做 語 音 版 的 gpt 不 管 是 語 音 版 的 bert 語 音 版 的 gpt 其 實 都 已 經 有 很 多 相 關 的 研 究 成 果 了 不 過 其 實 在 語 音 上 相 較 於 文 字 處 理 的 領 域 還 是 有 一 些 比 較 缺 乏 的 東 西 那 我 認 為 現 在 很 缺 乏 的 一 個 東 西 就 是 像 glue 這 樣 子 的 benchmark corpus 在 自 然 語 言 處 理 的 領 域 在 文 字 上 有 glue 這 個 corpus 我 們 在 這 門 課 的 剛 開 頭 這 個 投 影 片 的 剛 開 頭 就 告 訴 你 說 有 一 個 這 個 基 準 的 資 料 庫 叫 做 glue 它 裡 面 有 九 個 nlp 的 任 務 今 天 你 要 知 道 bert 做 得 好 不 好 就 讓 它 去 跑 那 九 個 任 務 在 去 平 均 那 代 表 這 個 self-supervised learning 模 型 的 好 壞 但 在 語 音 上 到 目 前 為 止 還 沒 有 類 似 的 基 準 的 資 料 庫 所 以 我 們 實 驗 室 就 跟 其 他 的 研 究 團 隊 共 同 開 發 了 一 個 語 音 版 的 glue 我 們 叫 做 superb 它 是 speech processing universal performance benchmark 的 縮 寫 你 知 道 今 天 你 做 什 麼 模 型 都 一 定 要 硬 湊 梗 才 行 啦 所 以 這 邊 也 是 要 硬 湊 一 個 梗 把 它 叫 做 superb 那 其 實 我 們 已 經 準 備 了 差 不 多 了 其 實 網 站 都 已 經 做 好 了 只 等 其 他 團 隊 的 人 看 過 以 後 就 可 以 上 線 了 所 以 現 在 雖 然 還 沒 有 上 線 但 是 再 過 一 陣 子 你 應 該 就 可 以 找 得 到 相 關 的 連 結 在 這 個 基 準 語 料 庫 裡 面 包 含 了 十 個 不 同 的 任 務 那 語 音 其 實 有 非 常 多 不 同 的 面 向 很 多 人 講 到 語 音 相 關 的 技 術 都 只 知 道 語 音 辨 識 把 聲 音 轉 成 文 字 但 這 並 不 是 語 音 技 術 的 全 貌 語 音 其 實 包 含 了 非 常 豐 富 的 資 訊 它 除 了 有 內 容 的 資 訊 就 是 你 說 了 什 麼 還 有 其 他 的 資 訊 舉 例 來 說 這 句 話 是 誰 說 的 舉 例 這 個 人 說 這 句 話 的 時 候 他 的 語 氣 是 什 麼 樣 還 有 這 句 話 背 後 它 到 底 有 什 麼 樣 的 語 意 所 以 我 們 準 備 了 十 個 不 同 的 任 務 這 個 任 務 包 含 了 語 音 不 同 的 面 向 包 括 去 檢 測 一 個 模 型 它 能 夠 識 別 內 容 的 能 力 識 別 誰 在 說 話 的 能 力 識 別 他 是 怎 麼 說 的 能 力 甚 至 是 識 別 這 句 話 背 後 語 意 的 能 力 從 全 方 位 來 檢 測 一 個 self-supervised learning 的 模 型 它 在 理 解 人 類 語 言 上 的 能 力 而 且 我 們 還 有 一 個 toolkit 這 個 toolkit 裡 面 就 包 含 了 各 式 各 樣 的 self-supervised learning 的 模 型 還 有 這 些 self-supervised learning 的 模 型 它 可 以 做 的 各 式 各 樣 語 音 的 下 游 的 任 務 然 後 把 連 結 放 在 這 邊 給 大 家 參 考 講 這 些 只 是 想 告 訴 大 家 說 self-supervised learning 的 技 術 不 是 只 能 被 用 在 文 字 上 在 這 個 影 像 上 在 語 音 上 都 仍 然 有 非 常 大 的 空 間 可 以 使 用 self-supervised learning 的 技 術 好 那 這 個 self-supervised learning 的 部 分 呢 這 個 bert 跟 gpt 我 們 就 講 到 這 邊 
Last time we did not finish self-supervised learning part yet We finished discussing BERT Apart from BERT There is another one which is also a very famous model that is the GPT series model What does the GPT series model do We talked about this last time What BERT does BERT is for filling in the blanks What does GPT do? GPT is to modify what we are doing now In the self-supervised learning process The task assigned to the model The task for GPT is Predicting what comes next What kind of token will appear For example Assuming in your training data There is a sentence saying 'Taiwan University' Then when GPT receives this piece of training data What sort of training will it undertake What it does is like this You give it the BOS token And then GPT produces an embedded output. And what happens next? You use this embedded output to predict the next one. What should be the next token to appear? In this sentence, Based on this training data, What should be the next token to appear? The next token that should appear is Tai. So, you need to train your model. Based on the first token According to the embedded given by BOS Then it needs to output this token If we look at this part To go into details, it's like this You have an embedded Here it is represented by h And then it passes through a Linear Transform Followed by a softmax Obtain a distribution It's the same as the general classification problem you deal with Next You hope that the distribution you output And the cross entropy of the correct answer The smaller the better That is, you want to predict What the next appearing token is Alright, the next thing to do is The same logic applies here You provide your GPT With the BOS and the model It generates embedded Then it predicts What the next appearing token is And you tell it The token that should appear next Is 'Bay' Alright, keep repeating the process You feed it BOS, Taiwan, and Bay Then predict the next token that should appear It should predict 'Big' You feed it 'Taiwan', 'Bay' and 'Big' Next The next token that should appear is 'Learn' It should predict The next token that should appear is 'Learn' And what about this side? It's about using one piece of data, one sentence To train GPT Of course, in reality, you wouldn't use just one sentence You would use thousands and thousands of sentences To train this model And then, well, there's no then, that's it So that's the end of that The thing that's powerful about it is I used a lot of data And trained an exceptionally large model Then let's see what impressive aspects it has Here is a little thing That I should mention to everyone It's about this GPT model It is like a transformer's decoder We know the transformer has an encoder And a decoder, right? We have discussed this in our class As for the model Its structure is like the decoder of the transformer But it removes the tension part of the BOS In other words You will perform that mask tension You are predicting for BOS now When predicting the platform You won't see the words that appear next When it is tasked with predicting Taiwan, You won't see the words to be entered next, And so on, this is GPT, The most well-known of which is the GPT, Because GPT can predict the next token, So it has generative capabilities, You can keep it predicting the next token, To generate a complete article, So every time I mention GPT, Its image is a unicorn Why is its image a unicorn? Because one of the most famous examples of the GPT series Is using GPT to write an article About a unicorn-related news Because he posted a fake news And in that fake news it says Unicorns were found in the Andes mountains, etc. A very realistic fake news So when people mention GPT They will think of that fake news Alright, to help you understand better What it's like when GPT works There is a demo webpage online It's called 'Talk to Transformer' Someone has made a smaller Not the biggest GPT model The biggest GPT model It's not publicly available Someone put a smaller GPT model online So you can input a sentence It will fill in the remaining content Complete it This is how it works It looks like Okay, this is the GPT series It can complete a sentence Finish that sentence How to apply it to downstream tasks? For example How to use it in question answering Or other tasks Related to human language processing? The idea that GPT uses is different from BERT I must emphasize that GPT can also use the same method as BERT Does everyone still remember how BERT was implemented? Take out the BERT model Add a simple linear classifier to it Then you can do many things You can also take out GPT Attach a simple classifier I believe it would also be effective But in the GPT paper They didn't do it this way It has an even crazier idea Why would there be a crazier idea? Because, first of all, BERT has used that BERT technique, right? So, we can't keep using the same thing Otherwise, no one would think the paper is impressive Then, the next is The GPT model Maybe it's really too big It's so complex that even fine-tuning could be difficult Think about it, when we use BERT You have to connect a BERT model With a linear classifier at the end And BERT is also a part of The model you need to train So its parameters also need to be adjusted So as mentioned in the assistant's recent announcement Concerning the BERT-related homework You still need to spend some time training Although the teaching assistant says it's probably 20 minutes And then it can be trained. Because you are not training one The full model of BERT The BERT model knew beforehand When doing this fill in the blank test It's almost trained You only need to fine-tune it But finetuning still takes time Perhaps GPT is simply too huge So large it needs to be fine-tuned You need to train an η There might be difficulties So, the GPT series There's an even crazier way to use it This even crazier way to use it Closer to humans Think about it, if you were to take a test Such as the TOEFL listening test How do you approach it Like the TOEFL listening test This is a narrative of the TOEFL listening test What does it look like? First, you will see the instructions for the problem Telling you that now you have to choose multiple choice questions Please choose from the four options, ABCD Choosing the correct answer, etc. Then, I'll give you an example Let me tell you, this is the topic And what is the correct answer And then you come across a new problem You're expected to infer from one example and start answering What the GPT series is supposed to do is Can this model Do the same thing For example, if you want the GPT model to do translation You firstly type 'Translate English to French' First, give it this sentence This sentence represents the description of the problem Then give it a few examples and tell it And then there's the sea otter It should look like this at the back Or this something called plush giraffe Behind the plush giraffe It should look like this, and so on And then You ask it 'cheese' => Call it to complete the rest We hope it will generate the translated results I'm not sure if everyone can understand How crazy this idea is, During the training GPT wasn't taught translation The only thing it has learned is Given the first half of a text Completing the second half Just like the example we just demonstrated for everyone Now we provide it directly with the first half of the text This is what it looks like Tell it that you are going to translate Giving you a few examples Let me explain how translation works Next, give it the English word cheese, Can it be directly connected afterwards? What about the translation result in French? This is in the GPT literature It's called Few-shot Learning But it's different from common Few-shot Learning They are different What Few Shot means is Indeed, only few examples were given to it So it is called Few Shot But it's not ordinary learning There is nothing in it Gradient descent During the training It's about running gradient descent, There's no gradient descent here at all No tuning was done at all The meaning of the parameters in the GPT model So, in the documentation of GPT This training has been given a special name They call it In-context Learning This means that it is not a kind of General learning It hasn't even performed a gradient descent Of course, you can also give GPT a bigger challenge When we're taking the TOEFL listening test They all just give one example Can GPT only look at one example? That it needs to do translation This is called One-shot Learning There's even more crazy stuff It's Zero-shot Learning Give a statement directly We are going to do the translation now. Can GPT understand on its own it automatically knows that it needs to do this translation thing, If that can be achieved, That would be truly amazing The GPT series Did we achieve this goal or not? It's a subjective matter It's not completely impossible to get it right But the accuracy is a bit low Compared to you can fine-tune the model The accuracy rate is a bit low For details, please refer to the GPT paper The third generation of GPT It tested 42 tasks The vertical axis is accuracy rate These solid lines, these three solid lines It's the average accuracy rate of 42 tasks This includes Few Shot One Shot and Zero Shot The three lines respectively represent Few Shot One Shot and Zero Shot The x-axis represents the size of the model. They tested a series of models of different sizes Starting from just 0.1 billion parameters up to 175 billion parameters Then from 0.1 billion parameters To 175 billion parameters We look at the part of Few Shot learning From approximately 20% accuracy, the average accuracy Managed to maintain an average accuracy rate of over 50% As for the average accuracy rate of over 50% Does it perform, or does it not This is indeed a matter of different opinions Currently, it seems like It did learn some tasks For example, this addition and subtraction You take one number and add it to another It can really achieve it The correct result of adding two numbers But there are some tasks It might never learn no matter how hard it tries Like tasks related to logical reasoning Its results are very, very poor Alright, about the details of GPT3 I will leave this for everyone to research on their own. And here's a recorded video from a past class I will leave the link here for everyone's reference. Ok, the example I just gave The examples we have given so far It's all related to text. But don't misunderstand me The concept of self-supervised learning. Can only be used on text In speech, in CV CV means Computer Vision That is, the image It can also be applied to audio and image The technique of self-supervised learning Actually, today techniques of self-supervised learning A whole lot, really a lot We're talking about the BERT and GPT series It's just one of the three types The method of self-supervised learning One type of They belong to the prediction category Actually, there are other types This is not what we are going to discuss in this lesson Then, the upcoming lessons You might find it a bit monotonous It's our each topic It's about telling inside this topic What's there, but the details require further knowledge. Leave it to everyone to do further research So these slides I just want to tell you In the area of self-supervised learning. What we're discussing is just a small part of the whole field But there's more content It's waiting for everyone to explore Okay, what about the part about images? We really won't go into detail All I did was send over two slides Let me tell you, there is a very famous trick Called SimCLR The concept is not difficult I believe you read the paper yourself You should also be able to understand it And there are strange ones It's called BYOL This thing called BYOL It’s unlikely we will go into this during the lecture. Why is that? Because we have no idea why it would work No, this is a very new paper This was a paper from last summer So, this paper is about Assuming it's not an already published article Then a student came up with this idea I must be I will definitely not let him do it This can't possibly work This is an idea that's impossible to implement It's impossible to succeed This idea seems to have a huge flaw But I don't know why it works And it has once achieved State-of-the-art results Deep learning is so incredible Okay, so this is So we won't go into details and skip it Okay, for the part about language You can also completely use it The concept of self-supervised learning You can certainly try to train The voice version of BERT So how to train a speech version of BERT? you could look into the text version of BERT. How it's trained Such as doing fill-in-the-blank exercises You can also fill in the blanks with audio It covers up a segment of sound signals Ask the machine to guess what the covered part is Speech can also predict the content that will appear next Speaking of GPT, it's about prediction The token that will appear next Then you can also ask it to predict speech Predict the sound signals that will appear next with the model So you can also create a voice version of GPT No matter it's the speech version of BERT The voice version of GPT In fact, there have already been many related research achievements. But actually, in terms of voice Compared to the field of text processing There are still some things that are rather lacking I think what is missing right now is It's just like GLUE Benchmark corpus In the field of natural language processing There is a GLUE corpus in text At the beginning of this course The beginning of this slide Let me tell you there's one This benchmark database is called GLUE It contains nine NLP tasks Today, you need to know if BERT is performing well Let it run those nine tasks and then average them It represents self-supervised learning The good and bad of the model But so far in speech There is no similar benchmark database yet So our lab is just like other research teams Co-developed a voice version of GLUE We call it SUPERB It is Speech processing Universal The abbreviation of Performance Benchmark Do you know what model you're working on today Always need to forcefully make puns So here is also to force a joke Call it SUPERB We have pretty much prepared In fact, the website has already been built Just waiting for other team members to review it It can go online So even though it's not online yet But after a while You should be able to find the relevant links, In this benchmark corpus Including ten different tasks Voice actually has many different aspects Many people talk about speech-related technology They only recognize turning voice into text But this isn't the full picture of speech technology Speech actually contains a lot of rich information, Apart from the information of the content, Whatever you said And other information For instance, who said this sentence Take, for example, when this person says this sentence What's his tone like? There's also the meaning behind this sentence What kind of semantics does it possess So we have prepared ten different tasks This task includes different aspects of voice This includes testing a model. It has the ability to recognize content The ability to identify who is speaking The ability to discern how he says it Or even the ability to understand the meaning behind this sentence That examines from all angles models of self-supervised learning Its ability to understand human language And we also have a Toolkit This Toolkit contains A variety of A model of self-supervised learning And these The model of self-supervised learning What it can do The downstream task of all kinds of speech And put the link here for everyone to refer to All these are just to tell you The technique of self-supervised learning Not just applicable to text In this image, in speech There is still a lot of room to be utilized. The technique of self-supervised learning Okay, this one Regarding the part of self-supervised learning That will be all for BERT and GPT 