Для того, чтобы улучшить эффективность индексации контента форума, закрыть дубли, служебные страницы, страницы с сессиями важно использовать правильный файл robots.txt.
Кроме того, для уменьшения вреда от спам-регистраций важно закрыть от индексации профили пользователей и список участников форума, если вы не хотите запрещать гостям их просмативать.
robots.txt для форума без ЧПУ (подойдет и для форума с ЧПУ, но потребуются дополнения, о которых можно спросить в разделе о SEO оптимизации IPB)
Создайте в корне вашего домена (форум может быть как в корне, так и в папке) файл robots.txt с содержанием:
User-agent: *
Disallow: /*lofiversion
Disallow: /*setlanguage
Disallow: /*?s=
Disallow: /*ptopic
Disallow: /*act=SF&s=&f
Disallow: /*s0
Disallow: /*pid=
Disallow: /*?start=
Disallow: /*Print
Disallow: /*print
Disallow: /*CP&CODE
Disallow: /*js
Disallow: /*style_images
Disallow: /*java
Disallow: /*cache
Disallow: /*?showuser
Disallow: /*showuser
Disallow: /*?Showuser
Disallow: /*?act=act=attach
Disallow: /*?act=act=Attach
Disallow: /*aboutme&mid
Disallow: /*?act=calendar
Disallow: /*?act=Calendar
Disallow: /*?act=login
Disallow: /*?act=Login
Disallow: /*?act=post
Disallow: /*?act=reg
Disallow: /*?act=Reg
Disallow: /*?act=online
Disallow: /*?act=Online
Disallow: /*?act=members
Disallow: /*?act=Members
Disallow: /*?act=help
Disallow: /*?act=Help
Disallow: /*?act=search
Disallow: /*?act=Search
Disallow: /*?act=forward
Disallow: /*?act=Forward
Disallow: /*?act=mail
Disallow: /*?act=Mail
Disallow: /*?act=report
Disallow: /*?act=chat
Disallow: /*?act=msg
Disallow: /*?act=usercp
Disallow: /*?act=Usercp
Disallow: /*?act=profile
Disallow: /*?act=track
Disallow: /*?act=stats
Disallow: /*?act=Stats
Disallow: /*?act=attach
Disallow: /*?act=legends
Disallow: /*?act=mmod
Disallow: /*?act=warn
Disallow: /*?act=task
Disallow: /*?act=findpost
Disallow: /*?act=paysubs
Disallow: /*view=getnewpost$
Disallow: /*view=getlastpost$
Disallow: /*view=old$
Disallow: /*view=new$
Disallow: /*view=getfirst$
Disallow: /*view=getprevious$
Disallow: /*view=getnext$
Disallow: /*view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*?p=
Disallow: /*&gopid=
Disallow: /*?gopid=
Disallow: /*&hl=
Disallow: /*?hl=
Disallow: /*&cal_id
Host: сайт.ru
Вместо сайт.ru пропишите url основного зеркала вашего домена.
Все ненужные адреса запрещаются по маске, поэтому дополнительно дописывать вместо звездочки путь не нужно. Этот robots.txt действительно подойдет всем как основа. Если на форуме работают дополнительные модули и компоненты со своими url, список запретов robots.txt понадобится просто дополнить.
Теги: robots, seo, Поисковая оптимизация, создание форума
Большая просьба переделать стандартный робот ТХТ для ЧПУ…. Спасибо.
Он подойдет и для ЧПУ. Нужны будут только небольшие добавки.
Disallow: /*User
Disallow: /*user
И можно разом отсечь все дубли без ЧПУ
Disallow: /*index.php
Не подскажете, как добавить робот Bing?
В инете искал, но везде молчат
В роботс не надо его добавлять. Зачем?
А в списке роботов он есть, так как это бывший msn.
В 3.0 вылезает в онлайн-списке как bing/msn
А если у меня форум на _www.site.ru/forum/ ? То надо хост писать _www.site.ru или _www.site.ru/forum/ ?
Ведь если судить по маске, то она должна дописывать Хост вместо \\
Хост прописываем по имени домена, а именно, по имени основного зеркала. В Вашем случае _www.site.ru.
По маске звездочка куда надо приведет, независимо от того, в корне форум или во внутренней папке.
Здравствуйте. Подскажите пожалуйста вот что:
Как узнать у меня форум с ЧПУ или нет?? И если у меня адрес форума вот такой forum.site.ru то в хосте его так и написать?
Спасибо
Если с чпу, внутренние url имеют вид псевдостатических с html, а не php.
Да, в хосте пропишите forum.site.ru.
Прикольно спасибо за информацию! Раскрутка идёт на моём форуме stels-forym.ru.Если что заходите на досуге!
А что потом делать? Я поставил на свой форум stels-forym.ru
а работает ли этот robots.txt с ipb3?
Нет. В ipb3 прилагается роботс. + Надо его самостоятельно настраивать в зависимости от кастомных настроек friendly url.
а можно выложить для ipb 3 форума, где при типе URL «Путь» адреса будут иметь вид /index.php/forum/2-news/.
спасибо
Пока не могу выложить, потому что мой основной форум пока что на 2.3.
Когда придет время и разберусь с этим, обязательно поделюсь.
просто нет совсем — я не нахожу, в принципе на 3 версию. а в основной дан только для форума без чпу
спасибо, подкорректировал свой файлик
ммм а критично добавлять /*index.php ?
Disallow: /*?showuser
Disallow: /*showuser
Disallow: /*?act=Members
Это если я не хочу профили пользователй индексировать?
Не совсем понятно,что вот это закрывает, если кто знает, в кратце, пожалуйста)
Disallow: /*?s=
Disallow: /*ptopic
Disallow: /*act=SF&s=&f
Disallow: /*s0
Disallow: /*pid=
Disallow: /*?start=
Disallow: /*&p=
Disallow: /*?p=
Disallow: /*&gopid=
Disallow: /*?gopid=
Disallow: /*&hl=
Disallow: /*?hl=
Disallow: /*&cal_id
1. Профили и список пользователей в случае, если они не запрещены для просмотра гостям..
2. Закрывает сессии, страницы для печати, результаты поиска, ссылки на отдельные посты, повторы ссылок на страницы, на новые посты, перенаправления…
Если не закрыть, будут ошибки и масса нечетких дублей, на которые размажется вес основного адреса страницы.
А как быть если у меня Joomla в корне а форум сайт.ру/foum? У Joomlа свой robots.txt имеется. Просто дописать туда из топика выше? или создать новый robots.txt в папке форума?
Дописать
Ну как там с ipb3 с robots.txt есть подвижки?
Правило /*js закроет в корне сайта все новости, где в названии будут вхождения js, например:
_http://сайт.ру/nazvanie_stranicy_js.html
_http://сайт.ру/nazvaniejs_stranicy_js.html
_http://сайт.ру/nazvanie_stranicy_js.php
_http://сайт.ру/jsnazvanie_stranicy
Вобщем в любой комбинации и со всеми вышеперечисленными вхождениями.
Тем у кого форум поддоменом на сайте и стоит этот недороботс.тикст срочно удалить или привести к нормальному виду
На форуме IPB2 без ЧПУ в принципе не бывает приведенных Вами страниц или подобных. Этот роботс только для IPB2 и подходит для него. Если он мешает сайту в корне (генерирующем такие страницы) или на форуме имеется ЧПУ с использованием транслитерации, разумеется, надо корректировать, если есть конфликты.
Когда даются готовые решения, как бы предполагается, что у пользователя имеется немнога мозга, чтобы доделать под себя.
Fisana, для форума IPB2.x без ЧПУ, где форум поддоменом (*Тем у кого форум поддоменом на сайте…*), а основным доменом, например DLE.
При транслитерации заголовков для основного домена при генерации ссылки на новость будут частенько встречаться вхождения js:
_http://сайт.ру/id-house-djs-session.html
_http://сайт.ру/id-memuary-gejjshi.html
_http://сайт.ру/id—ix-vserossijjskijj-festival-piva-more-piva-v.html
Ну и так далее…
>Когда даются готовые решения, как бы предполагается, что у пользователя имеется немнога мозга, чтобы доделать под себя.
Так я и пишу для тех, у кого не немного мозга, а недостаточно знаний в данной области
У меня ничего не транслитерировалось при выводе на сайт
Несколько лет подобный роботс использовала. Новости на сайт выводила, но со ссылками вида *topic Все зависит от движка сайта, вариантов масса.
В комбинации IPB 2.x (-/ЧПУ) + DLE all (ЧПУ тип 2: http://site.ru/категор...../id-имя новости.html) данный robots.txt, тот, что выше, приведёт к множеству исключенных страниц из индекса.
Прошу прощения, дополнение к каменту выше: DLE all с ЧПУ любого типа.