Оглавление файла ( /LYNX/WEBMASTER/robots-faq.txt )


  • The Web Robots FAQ
  • Несколько слов о том, как работают роботы (spiders) поисковых машин
  • Стандарт исключений для роботов

  • Size: 43399 bytes
    Last-modified: Thu, 28 May 1998 14:14:26 GMT

    И кусочками по 40Кб: [1][2]