[分享] 如何取消正在執行的工作任務 (用 Go 語言實作 MQ)

作者: appleboy46 (小惡魔)   2023-01-01 09:39:03
文字教學: https://bit.ly/3jFMwvS
教學影片: https://bit.ly/3WI0Wdx
範例程式: https://bit.ly/3Z0U6Bt
系統架構圖: https://i.imgur.com/VZyfv0M.png
本篇來聊聊『如何取消正在執行的工作任務』,當系統內有需要處理比較久或較多資源的
任務,肯定會將這些任務丟到其他機器再執行,執行過程如果需要取消,會經過如上圖幾
個步驟。先假設中間的過程不透過 Message Queue 機制,而是兩個服務進行溝通透過
RESTful 或 gRPC 方式。
## 使用情境
可以看到步驟一是 worker 會先發請求到後端服務,詢問目前正在執行的任務是否取消,
這邊可以用一個長連接持續 30 秒或 1 分鐘才斷線。步驟二是 User 從 Web UI 端按下
取消的按鈕。步驟三是後端服務接受到取消任務的請求,就回覆 Worker 到請求執行取消
任務。
大家可以想看看此情境該如何設計流程,先不考慮多台後端服務的情境,也不考慮使用
Message Queue 的方式來實作。也許大家有想到一種方式,就是當使用者按下取消時 (到
步驟三),後端服務將此任務的狀態改成取消。而 Worker 每次來詢問狀態 (步驟一),後
端就再查詢一次就可以了 (步驟四),這方式也沒有不對,只是即時性效果比較差,如果
是每 30 秒輪詢一次,就有可能 30 秒後才能取消任務,輪詢時間設定很短,又會造成過
多不必要的連線請求。除了這種方式外,還有沒有其他方式可以不需要查詢資料庫就可以
即時讓 Worker 知道目前任務狀態。
目前先講單機版解法,非常適用於要將服務部署在不同團隊內。
## 心得
本篇最主要是要用 Go 語言的 Channel 特性來處理兩個服務之間的溝通機制,大家可能
想到的解法就是用 Message Queue 來處理,但是有時候把架構想的更簡單一點,用 Go
語言的特性來處理,那就減少一個服務的維運,未來要將此架構轉換到其他平台就會更簡
單,其他部門有需求會是將整套服務架設在不同團隊內,這時候架構越簡單,除錯時間會
越短。
作者: loadingN (sarsaparilla)   2023-01-01 10:12:00
mq夠簡單了吧... 要轉換到其他地方也不難
作者: ddoll288 (風兒卿卿)   2023-01-01 10:58:00
火山表示___
作者: alan3100 (BOSS)   2023-01-01 12:01:00
..哪個語言沒內建mq
作者: LincolnBoy   2023-01-01 13:01:00
樓上那篇怎麼刪文了
作者: alan3100 (BOSS)   2023-01-01 14:17:00
mq外部化可以讓上下游達到statelesssubscriber每個語言都有 不太會自己實作多少秒觀察一次
作者: TSW (翹班帝國)   2023-01-02 06:56:00
感覺只是為了寫而寫....
作者: Murasaki0110 (麥當勞歡樂送)   2023-01-02 09:48:00
語言dependent又不scalable,算什麼系統設計?隨便哪個mq維護成本也比維護這土炮架構好
作者: lance70176 (十三夜)   2023-01-03 07:46:00
MQ 設計好多了吧
作者: appleboy46 (小惡魔)   2023-01-04 11:50:00
用 MQ 處理長時間的任務,可能會遇到底下問題1. 如何取得目前任務的狀態?2. 如何設定任務超時機制?3. 如何跨服務取消任務?4. 當 Worker 失去連線或不正常關閉,該如何讓 Task可以重新執行?5. 當有多台 Server + 多台 Worker 時,該如何配送任務及取消任務?
作者: alan3100 (BOSS)   2023-01-04 22:12:00
..你沒用過mq吧 不然應該不會問4&5別說task派送和取消了 現在還有跨服務交易但不綁連線可以查saga pattern.
作者: peter98 (新兵)   2023-01-04 23:31:00
原po需要好好了解系統設計 人家如果問你"如何取消正在執行的工作任務" 你在面試中會被炮到你完全無法講答案因為你回答的不是系統設計*你在面試中"這樣答"會被炮到你完全無法講答案你這題答案所對應的問題是: 如何實作一個MQ來實現基本的工作任務取消" 多注意點就好 感覺你沒面試過系統設計題目 或者你面試的公司比較low 不知道甚麼是系統設計另外有認真做過碩論的話 不應該發生妳這樣的問題就是你的標題跟本文如果對應到碩論題目跟本文(這邊不論這東西是否適合作為一個碩論題目) 你早就被教授炮到台上回家哭也不是 不哭也不是。。。百分之百被炮的
作者: leolarrel (真.粽子無雙)   2023-01-05 10:59:00
現在刷leet code 才是高手保證.系統設計? 那是啥
作者: w0005151 (藍廳)   2023-01-05 14:01:00
其實除了那幾間大公司,現在考leetcode沒那麼普遍senior以上都還滿注重系統設計的
作者: appleboy46 (小惡魔)   2023-01-05 15:21:00
了解了,我在把標題定義清楚些感謝 @peter98 及 @alan3100 建議
作者: lovdkkkk (dk)   2023-01-06 00:07:00
上述 12345 MQ, 純 http, 純 socket, 純 channel 或混用應該都做得到, 只是實作花的時間跟運行成本可能有差它們都只是通訊手段, 只是有的單向有的雙向, 有的幫你排好序, 有的提供端點識別或方便的廣播, 或自動重送重試需要實現的其實也只有 1. 對特定 server/worker 發送2. 廣播, 3. 針對特定 task 下指令 三件事系統設計是很多方法都做得到再去做取捨, 如果很明確只有特定方法才做得到的事情就不用設計了, 反正沒得選
作者: appleboy46 (小惡魔)   2023-01-06 09:49:00
公司內部特定環境,沒辦法使用 MQ 等相關 Component所以才有了這些方法跟機制來實現。
作者: ma721 (UndeadJ)   2023-01-09 17:06:00
ctrl alt del

Links booklink

Contact Us: admin [ a t ] ucptt.com