Przeglądaj źródła

[mod] robots.txt update

asciimoo 11 lat temu
rodzic
commit
692c0bf5f0
1 zmienionych plików z 1 dodań i 0 usunięć
  1. 1
    0
      searx/webapp.py

+ 1
- 0
searx/webapp.py Wyświetl plik

226
 Allow: /
226
 Allow: /
227
 Allow: /about
227
 Allow: /about
228
 Disallow: /stats
228
 Disallow: /stats
229
+Disallow: /engines
229
 """, mimetype='text/plain')
230
 """, mimetype='text/plain')
230
 
231
 
231
 
232