Оглавление файла ( /LYNX/WEBMASTER/robots-faq.txt )



  • The Web Robots FAQ

  • Несколько слов о том, как работают роботы (spiders) поисковых машин

  • Стандарт исключений для роботов
    • Size: 43399 bytes
    Last-modified: Thu, 28 May 1998 14:14:26 GMT

    И кусочками по 40Кб: [1][2]