User-agent: StackRambler
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /board/

User-Agent: *
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /_php/
Disallow: /_random_end/
Disallow: /_random_include/
Disallow: /_random_verh/
Disallow: /_str/
Disallow: /_str_cena/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /_str_plus/
Disallow: /autec/
Disallow: /autecst/
Disallow: /BBB/
Disallow: /board/
Disallow: /board1/
Disallow: /l/
Disallow: /kran/
Disallow: /kranzavod/
Disallow: /kranzavod_produkt/
Disallow: /mail/
Disallow: /opros/
Disallow: /oproslist/
Disallow: /soft/
Disallow: /st/
Disallow: /tali/
Disallow: /talisk/
Disallow: /test/
Disallow: /tokopodvod/
Disallow: /addurl.php
Disallow: /banner.htm
Disallow: /banner1.htm
Disallow: /banner2.htm
Disallow: /ban_katalog.htm
Disallow: /board-q/
Disallow: /board-w/
Disallow: /board-e/
Disallow: /board-r/
Disallow: /board-t/
Disallow: /board-y/
Disallow: /board-u/
Disallow: /board-i/
Disallow: /board-o/
Disallow: /board-p/
Host: www.tali-sk.ru