※ 本文是否可提供臺大同學轉作其他非營利用途？（須保留原作者 ID）
（是／否／其他條件）： 是
哪一學年度修課：
108-2
ψ 授課教師 (若為多人合授請寫開課教師，以方便收錄)
陳縕儂
λ 開課系所與授課對象 (是否為必修或通識課 / 內容是否與某些背景相關)
電機資訊學院 資訊工程學研究所
δ 課程大概內容
(03/03) Introduction
(03/10) Neural Network Basics
(03/17) Word Representation & Recurrent Neural Network
(HW1: Summarization)
(03/24) Attention Mechanism
(03/31) Word Embeddings, Contextual Word Embeddings
(04/07) Transformer and BERT
(HW1 Due)
(HW2: 中文QA w/ bert)
(04/14) More BERT
(04/28) DRL and Q-Learning
(HW2 Due)
(05/05) Policy-Gradient & Actor-Critic
(05/12) Natural Language Generation
(05/19) Generative Adversarial Network
(05/26) Beyond Supervised Learning
(HW3 Due)
(Final Project:Transfer Learning or 自選)
(06/02) Towards Conversational AI
(06/16) Robustness & Scalability
Ω 私心推薦指數(以五分計) ★★★★★
有DL基礎: ★★★★
甜度(沒停修的話): ★★★★★
Overall: 3.5
η 上課用書(影印講義或是指定教科書)
老師的投影片
μ 上課方式(投影片、團體討論、老師教學風格)
投影片 去年因為疫情的關係都改成線上
每週老師會把錄好的影片上傳到Cool 和 Youtube
原本的時段改成TA hour
另外每週會有助教額外的影片補充論文新知
σ 評分方式(給分甜嗎？是紮實分？)
個人作業(20%)*3
Final Project (3~4人一組)
Video presentation(10%)
Report(20%)
Participation(10%)
作業都有一些加分題 所以每次滿分可能會超過20分
如果沒有停修的話最後給分超級甜
ρ 考題型式、作業方式
個人作業都是程式+report 交到NTU Cool
助教會跑code測有沒有過baseline 沒有kaggle
HW1:Summarization
Extrative, seq2seq, seq2seq+Attention
HW2:Bert for Chinese QA
HW3:Reinforcement Learning
Policy gradient, DQN
Final Project: 分自選 or Shared Task Challenge
Shared challenge 為 Document Information Extraction(日文)
ω 其它(是否注重出席率？如果為外系選修，需先有什麼基礎較好嗎？老師個性？
加簽習慣？嚴禁遲到等…)
我覺得這堂課的內容本身還ok 但是作業和課程的規劃應該有一些可以改進的空間
由上面的課程大綱可以知道 在做hw1的時候
老師一直到deadline前一週才把hw1會用到的內容(word embedding)教完
導致許多同學來不及吸收並完成作業
另外老師在一開始也說這堂課的基礎只需要微積分和線代
因此可能有很多只有數學基礎 但對DL不太熟的同學來修
要在一個月內弄懂基礎DL到RNN再到Seq2seq+attention
再用pytorch或tensorflow實作出來 我覺得可能有點太硬了
而且助教也沒有提供sample code
至少我有問到的人都停修了Q_Q 實際停修比率不太確定 但應該不少
我的話是因為之前已經有一些DL基礎 所以作業一公佈就差不多可以開始寫了
如果以一個有DL基礎的角度來看 其實這樣的課程安排是可以的
但是因為我實在問到太多人都中途停修了XDD 所以還是要講一下
hw2則是用bert做中文QA問答
同樣沒有sample code 所以也是要花一些時間
hw3的RL就比較簡單了
是以助教提供sample code然後挖空的形式
整體來說3次作業花的時間是 1>2>>3
另外final project分為自選或是做Cinnamon AI提供的dataset(日文NLP)
自選的部分好像只要主題跟DL有關就好 也允許直接用其他堂課的project
加簽的話要先寫hw0 然後過kaggle的baseline
很簡單 只要複製貼上+改幾個參數就過了 所以沒什麼篩選的功用
還要填一個表單 包含系級、修過的課之類的
最後篩選條件未知 有聽過同系級但是有人選上有人沒上的
Ψ 總結
這堂課我比較推薦給有一些DL背景的同學
如果有修過108-1以前電機系開的機器學習
我覺得這堂課算是個還不錯的銜接
如果是修過108-2機器學習得同學
由於李宏毅老師在這學期的課程幾乎把所有主題都講過了
因此如果你每個作業都有做完 那其實已經跟這堂課有很多重疊的部分
我覺得就不一定要修 (大概只有多bert的部分而已)
對於沒有DL背景的同學 我覺得可能太硬了
不過以這學期的經驗 我推測可能作業不用全部做出來
最後都可以A+ 因為給分太甜了XDD
另外這堂課雖然叫深度學習之應用
不過大部分還是偏重NLP方面 可能也跟老師本身的研究領域有關
如果主要是想學其他領域的同學可能要注意一下
不小心拖太久才發心得文 如果有漏掉的地方還請其他幫忙同學補充了