robots.txt для IPB :: Invision по-русски

Универсальный robots.txt для IP.Board 2.x

Написано Май 12th, 2009 Fisana 12 комментариев

Для того, чтобы улучшить эффективность индексации контента форума, закрыть дубли, служебные страницы, страницы с сессиями важно использовать правильный файл robots.txt.
Кроме того, для уменьшения вреда от спам-регистраций важно закрыть от индексации профили пользователей и список участников форума, если вы не хотите запрещать гостям их просмативать.

robots.txt для форума без ЧПУ (подойдет и для форума с ЧПУ, но потребуются дополнения, о которых можно спросить в разделе о SEO оптимизации IPB)
Создайте в корне вашего домена (форум может быть как в корне, так и в папке) файл robots.txt с содержанием:
User-agent: *
Disallow: /*lofiversion
Disallow: /*setlanguage
Disallow: /*?s=
Disallow: /*ptopic
Disallow: /*act=SF&s=&f
Disallow: /*s0
Disallow: /*pid=
Disallow: /*?start=
Disallow: /*Print
Disallow: /*print
Disallow: /*CP&CODE
Disallow: /*js
Disallow: /*style_images
Disallow: /*java
Disallow: /*cache
Disallow: /*?showuser
Disallow: /*showuser
Disallow: /*?Showuser
Disallow: /*?act=act=attach
Disallow: /*?act=act=Attach
Disallow: /*aboutme&mid
Disallow: /*?act=calendar
Disallow: /*?act=Calendar
Disallow: /*?act=login
Disallow: /*?act=Login
Disallow: /*?act=post
Disallow: /*?act=reg
Disallow: /*?act=Reg
Disallow: /*?act=online
Disallow: /*?act=Online
Disallow: /*?act=members
Disallow: /*?act=Members
Disallow: /*?act=help
Disallow: /*?act=Help
Disallow: /*?act=search
Disallow: /*?act=Search
Disallow: /*?act=forward
Disallow: /*?act=Forward
Disallow: /*?act=mail
Disallow: /*?act=Mail
Disallow: /*?act=report
Disallow: /*?act=chat
Disallow: /*?act=msg
Disallow: /*?act=usercp
Disallow: /*?act=Usercp
Disallow: /*?act=profile
Disallow: /*?act=track
Disallow: /*?act=stats
Disallow: /*?act=Stats
Disallow: /*?act=attach
Disallow: /*?act=legends
Disallow: /*?act=mmod
Disallow: /*?act=warn
Disallow: /*?act=task
Disallow: /*?act=findpost
Disallow: /*?act=paysubs
Disallow: /*view=getnewpost$
Disallow: /*view=getlastpost$
Disallow: /*view=old$
Disallow: /*view=new$
Disallow: /*view=getfirst$
Disallow: /*view=getprevious$
Disallow: /*view=getnext$
Disallow: /*view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*?p=
Disallow: /*&gopid=
Disallow: /*?gopid=
Disallow: /*&hl=
Disallow: /*?hl=
Disallow: /*&cal_id
Host: сайт.ru

Вместо сайт.ru пропишите url основного зеркала вашего домена.

Все ненужные адреса запрещаются по маске, поэтому дополнительно дописывать вместо звездочки путь не нужно. Этот robots.txt действительно подойдет всем как основа. Если на форуме работают дополнительные модули и компоненты со своими url, список запретов robots.txt понадобится просто дополнить.

Еще статьи:
1. Сервис генерации sitemap Индексация в поисковых системах Яндекс, Google и других на данный момент имеет большое значение на развитие любого форума. Хорошо проиндексированный форум ежедневно получает большое количество посетителей с поисковых систем, часть из которых будет регистрироваться на нём и общаться, что развивает...
Поисковая оптимизация robots, seo, Поисковая оптимизация, создание форума
12 responses to “Универсальный robots.txt для IP.Board 2.x”
- Александр Август 14th, 2009 в 12:16
  
  Большая просьба переделать стандартный робот ТХТ для ЧПУ…. Спасибо.
- Fisana Август 14th, 2009 в 13:17
  
  Он подойдет и для ЧПУ. Нужны будут только небольшие добавки.
  
  Disallow: /*User
  Disallow: /*user
  
  И можно разом отсечь все дубли без ЧПУ
  
  Disallow: /*index.php
- Armanx64 Август 19th, 2009 в 10:18
  
  Не подскажете, как добавить робот Bing?
  В инете искал, но везде молчат
- Fisana Август 19th, 2009 в 14:00
  
  В роботс не надо его добавлять. Зачем?
  А в списке роботов он есть, так как это бывший msn.
  В 3.0 вылезает в онлайн-списке как bing/msn
- booolka Август 19th, 2009 в 22:44
  
  А если у меня форум на _www.site.ru/forum/ ? То надо хост писать _www.site.ru или _www.site.ru/forum/ ?
  
  Ведь если судить по маске, то она должна дописывать Хост вместо \\
- Fisana Август 20th, 2009 в 02:49
  
  Хост прописываем по имени домена, а именно, по имени основного зеркала. В Вашем случае _www.site.ru.
  По маске звездочка куда надо приведет, независимо от того, в корне форум или во внутренней папке.
- Иван Сентябрь 13th, 2009 в 00:30
  
  Здравствуйте. Подскажите пожалуйста вот что:
  Как узнать у меня форум с ЧПУ или нет?? И если у меня адрес форума вот такой forum.site.ru то в хосте его так и написать?
  Спасибо
- Fisana Сентябрь 13th, 2009 в 16:34
  
  Если с чпу, внутренние url имеют вид псевдостатических с html, а не php.
  Да, в хосте пропишите forum.site.ru.
- Мухомор Декабрь 10th, 2009 в 12:20
  
  Прикольно спасибо за информацию! Раскрутка идёт на моём форуме stels-forym.ru.Если что заходите на досуге!
- Мухомор Декабрь 10th, 2009 в 12:24
  
  А что потом делать? Я поставил на свой форум stels-forym.ru
- Охрана труда Март 2nd, 2010 в 09:54
  
  а работает ли этот robots.txt с ipb3?
- Fisana Март 3rd, 2010 в 00:29
  
  Нет. В ipb3 прилагается роботс. + Надо его самостоятельно настраивать в зависимости от кастомных настроек friendly url.
Оставить реплику

Имя (обязательно)

E-mail (не публикуется) (обязательно)

Сайт

Впишите в строку 5 символов с картинки, содержащей цифры от 0 до 9, а также латинские буквы от A до F, и нажмите кнопку "Отправить".

Я не могу прочесть символы на картинке. Пожалуйста, сгенерируйте