覺得小遊戲查表好麻煩，做了一個查表器
附上人權


# 實驗成果
v1
https://youtu.be/IcirpEYB2lY
v2,感謝小精靈改scrcpy
https://youtu.be/Nb9cCh4DmgY
# source code
aHR0cHM6Ly9wYXN0ZWJpbi5jb20vajhNY3F4RGE=
# 實驗環境
- Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz
- 12G RAM
- MX500 SSD
- Ubuntu 19.10
# 辨識九宮格圖示
OpenCV提供大量函式，為此我們使用了 `matchTemplate` 辨識圖示，整體流程如下
1. 切割原始圖片成單張圖示(icon)，大小為106x106px
2. 調整大小至78x78px
3. 用 `matchTemplate` 比對148張既有圖示，排序 `min_val`，找出最大值所對應的圖
示和ID
得益於Profiling工具的日新月異，我用cProfile分析單執行緒的 python script，發現
最耗時的地方位於`templateMatching`，足足佔了整體執行時間97%‧
```bash
~$ python3 -m cProfile -s tottime ./tmp.py
0.7606322765350342
325680 function calls (318751 primitive calls) in 1.289 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
1287 0.741 0.001 0.741 0.001 {matchTemplate}
28/17 0.162 0.006 0.240 0.014 {built-in method
_imp.create_dynamic}
280 0.045 0.000 0.045 0.000 {built-in method marshal.loads}
2 0.041 0.020 0.041 0.020 {imread}
```
### 全彩轉灰階
試著將全彩圖示轉換成灰階再進行比對
```bash
~$ python3 -m cProfile -s tottime ./tmp.py
0.2725179195404053
326034 function calls (319105 primitive calls) in 0.811 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
1287 0.256 0.000 0.256 0.000 {matchTemplate}
```
看的出 maximum overhead 還是在`templateMatch`，但總執行時間足足少了65%‧
### 縮小圖示再比對
將兩邊要比對的78x78px縮小至26x26px，於是`matchTemplate`讓出寶座，整體執行時間
更是來到 0.05s(-80%)，圖示辨識率也還是維持100%。
```
0.05796694755554199
326071 function calls (319142 primitive calls) in 0.613 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
28/17 0.153 0.005 0.234 0.014 {built-in method
_imp.create_dynamic}
280 0.046 0.000 0.046 0.000 {built-in method marshal.loads}
2 0.043 0.022 0.043 0.022 {imread}
1287 0.042 0.000 0.042 0.000 {matchTemplate}
1175/1120 0.021 0.000 0.073 0.000 {built-in method
builtins.__build_class__}
```
為了減少執行時間，我們也測試圖片大小和辨識準確率關係，程式有做一些改動(印出正
確率、存測試資料)，下方數據只是作為 Image size 的選取依據並非實際執行時間。測
試腳本如下
```bash
for i in `seq 78 -2 1`;do icon_size=$i python3 tmp.py; done;
```
只用一張遊戲畫面圖片做測試
icon size | elapsed time (sec)| accurate rate %）

看不懂你在幹嘛 但好像很厲害 推一下

我做研究都沒那麼認真 跪了

你的指導教授知道你在作這種東西嗎?

這技術用在遊戲上，我只能跪了謝謝大大造福群眾

三小= =

不好意思請教一下，你在辨識九宮格圖示部分，是使用螢

?

我今天流量夠了 該睡覺了

看起來很厲害的樣子

很好 明天來上班

三小。。

先推，免得其他人以為我看不懂

嗯嗯我也是這麼想的

偶先推

所以是螢幕辨識+按鍵精靈嗎

先推，裝懂

看不懂你在幹嘛 不過你之後要去so-net?

這不就外掛...

科技的力量

看不懂

先推

請問可以把py檔放github嗎 想clone下來好好研究一下

sonet：你要來我這裡報到了嗎

不懂，先推再說

太神啦

有沒有打算放在 github 開源

哇靠 文組看不懂啊

用 numba 會比較快嗎 <-出張嘴

科技始終來自人性

推 如果能找想要的押韻就更猛了

我覺得你在做壞事 但我看不懂

姆咪

現在打電動都要這麼硬派寫實喔

.......看不懂但先跪再說

你的指導教授知道這件事嗎

這算外掛嗎XD

先推免得

上次是連點這次是小遊戲腳本 某人要高潮了嗎

這跟去so-net沒一點關係，原po應該會去做影像辨識的公司吧

這就是外掛啊

推

第1行不就是寫查表器了

我只是想打手槍，你給我看這個= =

我也是這麼想的

跟我想得差不多

窩不知道 你再說蛇某

現在玩公連這麼硬的嗎

太強啦

我需要git網址 為了研究

玩公連先學影像辨識

嗯嗯 跟我當初想的一樣 謝謝付諸行動

嗯嗯跟我想的差不多

IOTA凸了木有發錢辣

這山小...

嗯嗯 跟我當初想的一樣

你的got hub勒

講中文可以嗎

python。ai辨識

source code 呢？ (敲碗

說人話

請問有哪些教授有在做upscale的嗎？滿有興趣的

請問paper哪裡可以找到

我需要網址，為了研究用途。

...我竟然看的懂 推有心去寫 又有心分享成果

scale前可以把邊界剪掉 外面那一圈白框對辨識沒幫助

瑟瑟發抖

有看有推

感覺會被當外掛 還好我打玩了

求github XD

私！

你贏了...

果然等著就有神人，太猛了，求站內codeXD

太神拉 要是我會還是懶得做

電腦白痴的我 連怎樣弄和用都不知道

傻眼