Группа поисковых ботов

[romeo_piter]

При отключении в админке поискового бота, например, яндекса - все страницы для него отваливаются и сервер начинает отдавать 403 ошибку.
Так задумано движком? В чем логика? Получается, что если какого-то сильно импортного или нового бота нет в списке ботов, то он не сможет проиндексировать контент?
Почему ему нельзя отдавать данные как гостю?
Это поведение можно изменить?

[Siava]

romeo_piter, логика в том, чтобы не отключать бота, а удалять его. Отключить значит забанить. Это наверное фича, я даже не знал о такой можно взять на вооружение кстати.

[romeo_piter]

Я тоже не знал. Чем слегка себя обломал, т.к. не подозревал такой подставы. Отключение и удаление действуют совершенно одинаково. Нет бота - 403 ответ.
Это не фича, это баг, удаленный бот должен стать гостем, но тут вместо этого блокируется контент.

Можно как-то подобное поведение изменить?

[Siava]

удаленный бот должен стать гостем, но тут вместо этого блокируется контент

При отключении в админке поискового бота

Вы там определитесь, отключаете или удаляете?

[romeo_piter]

Отключение и удаление действуют совершенно одинаково

[Siava]

romeo_piter, дабы проверить зашёл на свой форум как новый бот.
Затем создал бота соответствующему этому user-agent. Гость стал отображаться как бот)

Scr-4723.png

Затем ОТКЛЮЧИЛ его. Бот стал гостем как до создания. Никаких 403.
Затем УДАЛИЛ его. Всё то же самое, что и выше.

[romeo_piter]

Ничего не понял из ваших манипуляций. Сделайте проще, удалите или отключите бот яндекса или гугла, Затем зайдите в соответствующий вебмастер и проанализируйте любую страницу, она отдаст 403. Я ради этого даже с саппортом яндекса списывался, когда у меня за сутки посыпались тысячи 403-х. Ну или вот тут под конкретным ботом смотрите: https://bertal.ru/

[rxu]

romeo_piter, не будет такого. При удалении бота он становится просто гостем безо всяких HTTP 403. Та же история и с их отключением - отключённый просто считается не ботом, а обычным гостем. Если у вас такое есть, значит, и обычные гости получают 403, разбирайтесь с установленными расширениями и/или внесенными модификациями ядра. Кстати, учетную запись гостя не удаляли случаем?

[romeo_piter]

romeo_piter, не будет такого

Но, увы, оно есть...
Началось с этого: Карта сайта для ботов (phpBB3 SEO Sitemap)
Это я уже позже осознал, что единственной манипуляцией до ошибки было удаление ботов и sitemap перестает быть доступным после удаления или отключения конкретного бота. Т.е. это прослеживается однозначно. Отключаем яндекс бота, идем в вебмастер, проверям карту, она с ошибками. Включаем - опять нормально читается.

обычные гости получают 403

Нет, если смотреть под другим юзер-агентом, то всё ок, т.е. отключаем яндекс-бота - 403 идет только под ним.

Кстати, учетную запись гостя не удаляли случаем?

Нет, гости мне как раз не мешают. А ботов изначально удалил как раз исходя из логики что они станут гостями - мне так удобнее. Тем более гостям и ботам отдается почти одинаковый интерфейс.

[rxu]

Отключите это расширение и другие, которые могут повлиять, и проверьте. Этого поведения нет в ядре.

[romeo_piter]

Отключил почти всё. Правки в основном косметические или добавление условий. Ничего касательно сессий точно не трогал.
Главная страница после отключения бота нормально отдает 200, а все вьюфорумы и вьютопики отдают 403.
Примерно такой ответ:

Код: Выделить всё

Код статуса HTTP403 Forbidden
Время ответа сервера154мс
КодировкаUTF-8(unicode-1-1-utf-8, UTF8)
Referrer-Policy: strict-origin-when-cross-origin
Content-Type: text/html; charset=UTF-8
Expires: Tue, 11 Jun 2024 03:30:36 GMT
X-Powered-By: PHP/8.1.2-1ubuntu2.14
X-Phpbb-Is-Bot: yes
Date: Tue, 11 Jun 2024 03:30:36 GMT
Server: nginx/1.24.0
Cache-Control: private, no-cache="set-cookie"
Strict-Transport-Security: max-age=31536000

Отправлено спустя 12 минут 13 секунд:
Полностью всё отключено, но проблема сохраняется. Расширения не виноваты.

Отправлено спустя 9 минут 14 секунд:
Переключение стилей тоже ес-но ничего не дает.

[romeo_piter]

Может это хоть как-то подскажет, куда копать?
Html, который отображают страницы тем с ошибкой 403 выглядит так:

Код: Выделить всё

<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>640</b>: <b>Trying to access array offset on value of type bool</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>650</b>: <b>Undefined array key "user_id"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>1334</b>: <b>Undefined array key "user_type"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>65</b>: <b>Undefined array key "user_permissions"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>424</b>: <b>Undefined array key "user_type"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>119</b>: <b>Undefined array key "user_lang"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>120</b>: <b>Undefined array key "user_dateformat"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>121</b>: <b>Undefined array key "user_timezone"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/ext/tatiana5/profilesideswitcher/event/listener.php</b> on line <b>98</b>: <b>Undefined array key "allow_pss_left"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>653</b>: <b>Undefined array key "user_timezone"</b><br />
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/user.php</b> on line <b>417</b>: <b>Undefined array key "user_allow_viewonline"</b><br />
	<!DOCTYPE html>
<html dir="ltr" lang="ru"

[rxu]

Какая версия phpBB и что у вас в этой строке? [ROOT]/phpbb/session.php</b> on line <b>640 В 3.3.12 там пусто. В других строках в 3.3.12 тоже нерелевантный код.

[romeo_piter]

3.3.10

640-650:

640-650.jpg

1334:

1334.jpg

auth.php 65:

65.jpg

[rxu]

Что-то не то с кодом, массив $user->data[] пустой, т.е. выборка из таблицы пользователей нулевая и возвращает false. Перезаливать session.php пробовали? Плюс физическая очистка кэша не помешала бы.