Нашел еще авторитета... У меня все старые боты от гугла работают по прежнему как и три года назад. Ничего не поменялось у них.
Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.
Как добавить бота
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ).
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ).
- Пчелкин
- phpBB 3.3.0
- Сообщения: 11234
- Стаж: 14 лет 2 месяца
- Откуда: fotovideoforum.ru
- Благодарил (а): 1782 раза
- Поблагодарили: 1340 раз
- Контактная информация:
Re: Как добавить бота
NIKON-D90, AF-S 18-105, AF-S 14-24, AF-S 24-70
Фотовидеофорум ; Форум Кировского района ; Форумы Калдина-Клуба ; Форум Japan Navigation Group
Фотовидеофорум ; Форум Кировского района ; Форумы Калдина-Клуба ; Форум Japan Navigation Group
- SashaMinsky
- phpBB 1.4.4
- Сообщения: 114
- Стаж: 11 лет 1 месяц
- Благодарил (а): 8 раз
- Поблагодарили: 14 раз
Re: Как добавить бота
Я вот думаю, если нет нужды разделять доступ для ботов и гостей, то может вообще Яндекс-бота лучше удалить?
Или тогда он будет цеплять ненужные параметры sid ко многим страницам? Если есть параметр canonical, то вроде не должен цеплять, или все равно будет? Или есть еще какие-то причины, чтобы бота отличать от гостя?
Просто столкнулся с пессимизацией со стороны яндекса за якобы "клоакинг", когда поскрывал от него ненужные ему ссылки. При этом гугл никакого клоакинга не диагностировал, но вот яндекс в этом вопросе оказался более придирчив. Может проще его удалить?
Или тогда он будет цеплять ненужные параметры sid ко многим страницам? Если есть параметр canonical, то вроде не должен цеплять, или все равно будет? Или есть еще какие-то причины, чтобы бота отличать от гостя?
Просто столкнулся с пессимизацией со стороны яндекса за якобы "клоакинг", когда поскрывал от него ненужные ему ссылки. При этом гугл никакого клоакинга не диагностировал, но вот яндекс в этом вопросе оказался более придирчив. Может проще его удалить?
-
- Former team member
- Сообщения: 1965
- Стаж: 14 лет
- Благодарил (а): 67 раз
- Поблагодарили: 799 раз
- Контактная информация:
Re: Как добавить бота
Есть два случая и нужно сначала разобраться какой из них клоакинг.
1. Содержимое скрыто от гостей и доступно ботам.
2. Содержимое доступно гостям и скрыто от ботов.
Думаю 2 случай считается корректным. Скажем у нас есть контактные данные, личные и мы не хотим что бы попали они в поиск, ни при какой ситуации.
Может быть кто помнит как номера мобильных и сообщения одного известного оператора попали в поиск..
1. Содержимое скрыто от гостей и доступно ботам.
2. Содержимое доступно гостям и скрыто от ботов.
Думаю 2 случай считается корректным. Скажем у нас есть контактные данные, личные и мы не хотим что бы попали они в поиск, ни при какой ситуации.
Может быть кто помнит как номера мобильных и сообщения одного известного оператора попали в поиск..
- SashaMinsky
- phpBB 1.4.4
- Сообщения: 114
- Стаж: 11 лет 1 месяц
- Благодарил (а): 8 раз
- Поблагодарили: 14 раз
Re: Как добавить бота
У меня пожалуй был именно этот случай. Я просто поскрывал от ботов все ссылки, ведущие в профили и в список участников, чтобы они зазря там не лазили. После чего трафик с Яндекса резко пошел вниз, хотя с Гугла не изменился. Вернул эти ссылки - и Яндекс снова полюбил наш сайт
Возможно, это было исключение - я скрыл что-то, чего лучше было не скрывать. Но с этим Яндексом угадывать, что ему понравится, а что нет - задача непростая и забирающая месяцы времени. Поэтому пока уравнял ботов и гостей в правах на 100%. И в итоге задался вопросом, а нужна ли вообще группа для ботов?
Возможно, она уже не так и нужна, кроме случаев с личными данными, которые имеют значение только для некоторых сайтов... или будет вылазить еще и проблема с лишними параметрами сессий?
Re: Как добавить бота
У нас в ПА во вкладке "Поисковые боты" есть Megaindex, и он иногда заходил и отображался в строке пользователей на Главной, под своим именем. Но недавно появился Гость, у которого, если посмотреть стр. "Кто сейчас на конференции", тоже написано , что он Megaindex. Но он почему-то отображается среди Гостей. Как сделать, чтобы он отображался на Главной тоже как бот и почему он не воспринимается таковым, хотя в списке ботов уже есть?
Извините, что написала в этой теме, потому что она относится к форумам 3.0, а у нас уже 3.1 . Но для ботов наверное одно и то же. Или есть ли подобная тема для форумов 3.1 ?..
Извините, что написала в этой теме, потому что она относится к форумам 3.0, а у нас уже 3.1 . Но для ботов наверное одно и то же. Или есть ли подобная тема для форумов 3.1 ?..
- Sumanai
- phpBB 3.0.0 RC5
- Сообщения: 1668
- Стаж: 9 лет 4 месяца
- Благодарил (а): 267 раз
- Поблагодарили: 216 раз
- Контактная информация:
Re: Как добавить бота
Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)
Написано там, где у пользователей обычно пишется устройство, с которого они выходят.
Послежу... сейчас снова только зарегистрированный бот заходит. А то заходил ещё один как гость, с такой же записью об устройстве. Он почему-то не определялся системой как такой же бот.
Написано там, где у пользователей обычно пишется устройство, с которого они выходят.
Послежу... сейчас снова только зарегистрированный бот заходит. А то заходил ещё один как гость, с такой же записью об устройстве. Он почему-то не определялся системой как такой же бот.
- LONER
- phpBB 3.0.0 RC1
- Сообщения: 1486
- Стаж: 8 лет 2 месяца
- Благодарил (а): 164 раза
- Поблагодарили: 247 раз
Re: Как добавить бота
Не забывайте, что бывают и спам боты, а то и их по добавляете.
Правильно заданный вопрос и описание проблемы - 70% их решения...
- Sumanai
- phpBB 3.0.0 RC5
- Сообщения: 1668
- Стаж: 9 лет 4 месяца
- Благодарил (а): 267 раз
- Поблагодарили: 216 раз
- Контактная информация:
- LONER
- phpBB 3.0.0 RC1
- Сообщения: 1486
- Стаж: 8 лет 2 месяца
- Благодарил (а): 164 раза
- Поблагодарили: 247 раз
Re: Как добавить бота
Я это понимаю так, может быть, не совсем правильно, что спам боты никак себя не отмечают, в своих данных. И у них пишутся обычные устройства, с которых они выходят, как у обычных пользователей. С такими ничеготнельзя сделать, их никак не выделишь от обычных гостей, которые по делу просматривают форум.
А вот те, которые в разделе устройство пишут о себе свой useragent, их можно добавить в боты , дать им имя , и тогда видишь, сколько ботов просматривает форум и сколько Гостей (но среди них могут быть и спам боты, как уже сказала).
Кроме того, если не записать useragent в ПА, то они могут просматривать форум с нескольких ip адресов, и получится неверная информация о просмотре. А будучи зафиксированными как бот, почему-то просматривают только с одного адреса, что хорошо. И поэтому удивилась, когда этот megaindex начал просматривать с двух ip, один как бот, другой как гость. Но ip у них кажется различались несильно или даже совпадали, поэтому мне кажется идея. ,что там может быть а русское, не подходит...
А вот те, которые в разделе устройство пишут о себе свой useragent, их можно добавить в боты , дать им имя , и тогда видишь, сколько ботов просматривает форум и сколько Гостей (но среди них могут быть и спам боты, как уже сказала).
Кроме того, если не записать useragent в ПА, то они могут просматривать форум с нескольких ip адресов, и получится неверная информация о просмотре. А будучи зафиксированными как бот, почему-то просматривают только с одного адреса, что хорошо. И поэтому удивилась, когда этот megaindex начал просматривать с двух ip, один как бот, другой как гость. Но ip у них кажется различались несильно или даже совпадали, поэтому мне кажется идея. ,что там может быть а русское, не подходит...
- Sumanai
- phpBB 3.0.0 RC5
- Сообщения: 1668
- Стаж: 9 лет 4 месяца
- Благодарил (а): 267 раз
- Поблагодарили: 216 раз
- Контактная информация:
Re: Как добавить бота
Название бота:
Используется исключительно для вашего сведения.
Просто пишешь yandex [bot]
Соответствие агенту:
Строка, полностью или частично совпадающая с агентом (User-Agent) бота.
yandex
Используется исключительно для вашего сведения.
Просто пишешь yandex [bot]
Соответствие агенту:
Строка, полностью или частично совпадающая с агентом (User-Agent) бота.
yandex
Re: Как добавить бота
Подскажите пожалуйста, почему гугл бот не хочет сканировать форум? Яндекс и прочие сканируют а гугл ни в какую.