在robots.txt中，會有許多Disallow或Allow path的設定
e.g.
Disallow: /dir/myfile.html
Allow: /dir/
(在/dir/目錄下只允許存取/dir/myfile.html)
我現在處理robots.txt的方式是逐條將Disallow或Allow的設定轉成regex,
並分別存在Disallow與Allow的array中。
每次有URL需要進行處理時，先逐條比對Disallow中的regex然後在比對Allow中的regex
想請問是否有其他比較妥當的處理方式？
我目前看到規定最多的是維基百科的robots.txt, 約有700條設定
還不確定這對fetch url效能上的影響有多大...
謝謝指教