Универсальный robots.txt для IP.Board 2.x

Для того, чтобы улучшить эффективность индексации контента форума, закрыть дубли, служебные страницы, страницы с сессиями важно использовать правильный файл robots.txt.
Кроме того, для уменьшения вреда от спам-регистраций важно закрыть от индексации профили пользователей и список участников форума, если вы не хотите запрещать гостям их просмативать.

robots.txt для форума без ЧПУ (подойдет и для форума с ЧПУ, но потребуются дополнения, о которых можно спросить в разделе о SEO оптимизации IPB)
Создайте в корне вашего домена (форум может быть как в корне, так и в папке) файл robots.txt с содержанием: Читать продолжение записи »