Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

Группа поисковых ботов

Проблемы с установкой или работой phpBB 3.3.x? Получите помощь здесь!
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Группа поисковых ботов

Сообщение romeo_piter »

При отключении в админке поискового бота, например, яндекса - все страницы для него отваливаются и сервер начинает отдавать 403 ошибку.
Так задумано движком? В чем логика? Получается, что если какого-то сильно импортного или нового бота нет в списке ботов, то он не сможет проиндексировать контент?
Почему ему нельзя отдавать данные как гостю?
Это поведение можно изменить?
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5360
Стаж: 19 лет 10 месяцев
Откуда: Питер
Благодарил (а): 192 раза
Поблагодарили: 828 раз

Re: Группа поисковых ботов

Сообщение Siava »

romeo_piter, логика в том, чтобы не отключать бота, а удалять его. Отключить значит забанить. Это наверное фича, я даже не знал о такой :) можно взять на вооружение кстати.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Я тоже не знал. Чем слегка себя обломал, т.к. не подозревал такой подставы. Отключение и удаление действуют совершенно одинаково. Нет бота - 403 ответ.
Это не фича, это баг, удаленный бот должен стать гостем, но тут вместо этого блокируется контент.

Можно как-то подобное поведение изменить?
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5360
Стаж: 19 лет 10 месяцев
Откуда: Питер
Благодарил (а): 192 раза
Поблагодарили: 828 раз

Re: Группа поисковых ботов

Сообщение Siava »

romeo_piter писал(а): 10.06.2024 23:14 удаленный бот должен стать гостем, но тут вместо этого блокируется контент
romeo_piter писал(а): 10.06.2024 21:13 При отключении в админке поискового бота
Вы там определитесь, отключаете или удаляете?
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

romeo_piter писал(а): 10.06.2024 23:14 Отключение и удаление действуют совершенно одинаково
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5360
Стаж: 19 лет 10 месяцев
Откуда: Питер
Благодарил (а): 192 раза
Поблагодарили: 828 раз

Re: Группа поисковых ботов

Сообщение Siava »

romeo_piter, дабы проверить зашёл на свой форум как новый бот.
Затем создал бота соответствующему этому user-agent. Гость стал отображаться как бот)
Scr-4723.png
Затем ОТКЛЮЧИЛ его. Бот стал гостем как до создания. Никаких 403.
Затем УДАЛИЛ его. Всё то же самое, что и выше.
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Ничего не понял из ваших манипуляций. Сделайте проще, удалите или отключите бот яндекса или гугла, Затем зайдите в соответствующий вебмастер и проанализируйте любую страницу, она отдаст 403. Я ради этого даже с саппортом яндекса списывался, когда у меня за сутки посыпались тысячи 403-х. Ну или вот тут под конкретным ботом смотрите: https://bertal.ru/
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16700
Стаж: 18 лет 6 месяцев
Откуда: Красноярск
Благодарил (а): 558 раз
Поблагодарили: 1848 раз

Re: Группа поисковых ботов

Сообщение rxu »

romeo_piter, не будет такого. При удалении бота он становится просто гостем безо всяких HTTP 403. Та же история и с их отключением - отключённый просто считается не ботом, а обычным гостем. Если у вас такое есть, значит, и обычные гости получают 403, разбирайтесь с установленными расширениями и/или внесенными модификациями ядра. Кстати, учетную запись гостя не удаляли случаем?
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

rxu писал(а): 11.06.2024 4:50 romeo_piter, не будет такого
Но, увы, оно есть...
Началось с этого: Карта сайта для ботов (phpBB3 SEO Sitemap)
Это я уже позже осознал, что единственной манипуляцией до ошибки было удаление ботов и sitemap перестает быть доступным после удаления или отключения конкретного бота. Т.е. это прослеживается однозначно. Отключаем яндекс бота, идем в вебмастер, проверям карту, она с ошибками. Включаем - опять нормально читается.
rxu писал(а): 11.06.2024 4:50 обычные гости получают 403
Нет, если смотреть под другим юзер-агентом, то всё ок, т.е. отключаем яндекс-бота - 403 идет только под ним.
rxu писал(а): 11.06.2024 4:50 Кстати, учетную запись гостя не удаляли случаем?
Нет, гости мне как раз не мешают. А ботов изначально удалил как раз исходя из логики что они станут гостями - мне так удобнее. Тем более гостям и ботам отдается почти одинаковый интерфейс.
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16700
Стаж: 18 лет 6 месяцев
Откуда: Красноярск
Благодарил (а): 558 раз
Поблагодарили: 1848 раз

Re: Группа поисковых ботов

Сообщение rxu »

Отключите это расширение и другие, которые могут повлиять, и проверьте. Этого поведения нет в ядре.
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Отключил почти всё. Правки в основном косметические или добавление условий. Ничего касательно сессий точно не трогал.
Главная страница после отключения бота нормально отдает 200, а все вьюфорумы и вьютопики отдают 403.
Примерно такой ответ:

Код: Выделить всё

Код статуса HTTP403 Forbidden
Время ответа сервера154мс
КодировкаUTF-8(unicode-1-1-utf-8, UTF8)
Referrer-Policy: strict-origin-when-cross-origin
Content-Type: text/html; charset=UTF-8
Expires: Tue, 11 Jun 2024 03:30:36 GMT
X-Powered-By: PHP/8.1.2-1ubuntu2.14
X-Phpbb-Is-Bot: yes
Date: Tue, 11 Jun 2024 03:30:36 GMT
Server: nginx/1.24.0
Cache-Control: private, no-cache="set-cookie"
Strict-Transport-Security: max-age=31536000
Отправлено спустя 12 минут 13 секунд:
Полностью всё отключено, но проблема сохраняется. Расширения не виноваты.

Отправлено спустя 9 минут 14 секунд:
Переключение стилей тоже ес-но ничего не дает.
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Может это хоть как-то подскажет, куда копать?
Html, который отображают страницы тем с ошибкой 403 выглядит так:

Код: Выделить всё

<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>640</b>: <b>Trying to access array offset on value of type bool</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>650</b>: <b>Undefined array key "user_id"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>1334</b>: <b>Undefined array key "user_type"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>65</b>: <b>Undefined array key "user_permissions"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>424</b>: <b>Undefined array key "user_type"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>119</b>: <b>Undefined array key "user_lang"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>120</b>: <b>Undefined array key "user_dateformat"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>121</b>: <b>Undefined array key "user_timezone"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/ext/tatiana5/profilesideswitcher/event/listener.php</b> on line <b>98</b>: <b>Undefined array key "allow_pss_left"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>653</b>: <b>Undefined array key "user_timezone"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>417</b>: <b>Undefined array key "user_allow_viewonline"</b><br />
	<!DOCTYPE html>
<html dir="ltr" lang="ru"
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16700
Стаж: 18 лет 6 месяцев
Откуда: Красноярск
Благодарил (а): 558 раз
Поблагодарили: 1848 раз

Re: Группа поисковых ботов

Сообщение rxu »

Какая версия phpBB и что у вас в этой строке? [ROOT]/phpbb/session.php</b> on line <b>640 В 3.3.12 там пусто. В других строках в 3.3.12 тоже нерелевантный код.
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1368
Стаж: 15 лет 8 месяцев
Благодарил (а): 171 раз
Поблагодарили: 21 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

3.3.10

640-650:
640-650.jpg
1334:
1334.jpg
auth.php 65:
65.jpg
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16700
Стаж: 18 лет 6 месяцев
Откуда: Красноярск
Благодарил (а): 558 раз
Поблагодарили: 1848 раз

Re: Группа поисковых ботов

Сообщение rxu »

Что-то не то с кодом, массив $user->data[] пустой, т.е. выборка из таблицы пользователей нулевая и возвращает false. Перезаливать session.php пробовали? Плюс физическая очистка кэша не помешала бы.
Изображение
Перенесено из форума phpBB-пространство в форум Поддержка phpBB 3.3.x 11.06.2024 12:54 модератором rxu

Вернуться в «Поддержка phpBB 3.3.x»