robots.txt для 3.x

[ciiz1]

Попробую Вашу конструкцию. &e а что это такое, ни разу не видел. Как бы ещё /index.php?sid запихнуть.

[Kuskow]

e=1 - это приходит в письмах на e-mail с уведомлениями о новых сообщениях в теме. Конкретно вот сейчас пришло на эту тему:
https://www.phpbbguru.net/community/viewtopic.php?f=42&t=47609&e=1&view=unread#unread
Я перешёл по этой ссылке в Chrome (Яндекс.Браузер) - Яндекс запомнил её для себя и пошёл по ней посмотреть, что там такое интересное, на котором я уже 5 минут зависаю.

А некоторые пользователи копируют ссылку прямо из письма и вставляют в свои соцсети, например.

[Kuskow]

В очередной раз решил "оптимизировать" свой robots.txt. И дооптимизировался до того, что инструмент проверки Google показывает, что форум индексироваться не будет. А Яндекс-вебмастер говорит, что всё нормально - подлежит индексации. Что не нравится Гуглу?
(в примере оставил только User-agent и Diallow, чтоб не отвлекать внимание на остальное)

Код: Выделить всё

User-agent: *
Disallow: /

User-agent: Google
User-agent: Yandex
User-agent: Bing
Disallow: /adm
Disallow: /mcp
Disallow: /ucp
Disallow: /posting
Disallow: /report
Disallow: /app.php
Disallow: /search
Disallow: /google
Disallow: /viewonline
Disallow: /faq
Disallow: /help

[Siava]

User-agent: Google

Сама строка эта точно верная? Не Googlebot ли там надо прописывать?
P.S.
https://developers.google.com/search/do ... lers?hl=ru

[Kuskow]

Да, точно, поменял на Googlebot - всё заработало. Спасибо.

А вообще идея была такая:

ещё заблокируйте мусорных ботов (Ahrefs, Semrush) и будет полное счастье

Заблокировал всех ботов, кроме Google, Яндекс, bing. Получилось вполне лапидарно.

[forumchik]

robots.txt, sitemap.xml как сделать на форуме?

[ronim]

forumchik,
robots.txt нужно создать самому и затем расположить в корне форума
что касается sitemap.xml
то что в этом теме будут ответы
Карта сайта для ботов (phpBB3 SEO Sitemap)

[forumchik]

файл создать понятно .. но что открывать и закрывать?
что по карте сайта как ее создать?

Отправлено спустя 23 минуты 49 секунд:
https://www.phpbb.com/customise/db/exte ... o_sitemap/
Это расширение пойдет?

[Sheer]

Поиск по конференции: robots.txt

[DENS]

Подскажите пожалуйста правильный robots.txt для версии 3.3.4. Движок чистый, без сторонних дополнений. Поиск дал устаревшую информацию.

[Siava]

Поиск дал устаревшую информацию.

Давайте для каждого релиза новую тему создавать? Ничего не изменилось с тех пор.

[DENS]

Давайте для каждого релиза новую тему создавать? Ничего не изменилось с тех пор.

Не у каждого чистый движок. Мне надо именно для чистого

[Rock777]

Добрый день.
Подскажите пожалуйста, что можно сделать в моем случае ?
Форум на phpbb3 3.2.7

В Яндекс Вебмастере появилось критическое предупреждение:
Найдены страницы-дубли с GET-параметрами
Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров).
Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary.
Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.
Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска.

Если я допишу в robots.txt эти параметры, этого будет достаточно ?
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

[Tugus]

Аналогичная ситуация и аналогичный вопрос. Что прописать в робортсе, чтобы индексирующая система не "спотыкалась" о подобные дубли?

[Sff]

Привет, подскажите пожалуйста как мне отредактировать файл robots.txt точнее в каком пункте, что то я вообще не могу найти этот пункт или может через FTP надо зайти и там отредактировать. Огромное спасибо