Группа поисковых ботов

Проблемы с установкой или работой phpBB 3.3.x? Получите помощь здесь!
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Файл не изменен. Полностью совпадает с файлом из установочного пакета 3.3.10, и в 3.3.11 тоже самое.
В 3.3.12 есть незначительные изменения, но они далеко от тех мест, где есть ошибки
Кэш очищал всеми возможными способами.
((((
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

Чудеса. Ни с того, ни с сего не могло такое появиться.
В includes/constants.php строка define('ANONYMOUS', 1); никуда не делась?
В БД в таблице пользователей user_id у анонимуса точно равен 1?

Отправлено спустя 9 минут 27 секунд:
romeo_piter писал(а): 11.06.2024 0:26 или вот тут под конкретным ботом смотрите: https://bertal.ru/
Это попробовал на Гуру, всё работает корректно.
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

rxu писал(а): 11.06.2024 9:45 Чудеса. Ни с того, ни с сего не могло такое появиться.
Удалил всех ботов - после этого всё началось. До этого не было проблем точно, потому что при проблемах с sitemap сразу и яша и гугл шлют предупреждение. А с ней та же ошибка, что и с остальным.
rxu писал(а): 11.06.2024 9:45 В includes/constants.php строка define('ANONYMOUS', 1); никуда не делась?
Есть. Строка 37.
rxu писал(а): 11.06.2024 9:45 у анонимуса точно равен 1?
Да.

Все файлы в папке includes сравнил с исходниками, там только 2 небольшие правки в functions. Но они ни на что не влияют. На всякий откатил, проверил.
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

rxu писал(а): 11.06.2024 9:54 Это попробовал на Гуру, всё работает корректно.
Я пришлю вам ссылку в ЛС на этот анализатор заголовков, посмотрите, плз. Там видно, что у меня идет 200 по яндексу и бингу, а по всем остальным 403 с ошибками.

И, кстати, прослеживается однозначная логика, яндекс и бинг уже заходили на форум после того как я их вернул в список ботов, а остальные нет. Т.е. у тех ботов кто уже заходил ошибки нет, а у тех кто ещё не заходил - ошибка. В коде sessions 640-650 строки как раз был last visit - может что-то с этим связано?
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

Посмотрел код, при удалении ботов не удаляются их записи из таблицы сессий. Попробуйте удалить оттуда все записи с session_user_id из диапазона ботов (штатно - c 3 по 57 включительно). Например:
DELETE FROM phpbb_sessions WHERE session_user_id IN (3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57);
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Сделал.
Удалено 0 строк.
Не помогло.

Отправлено спустя 1 минуту 22 секунды:
Только сейчас у ботов другие id
Ради интереса выполнил скуль для нового id бота - ничего не изменилось
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

Таблица phpbb_bots что содержит? Результат запроса select b.user_id from phpbb_bots b, phpbb_users u where u.user_id = b.user_id; что-то выдаст?
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

В таблице phpbb_bots есть все старые боты, которых я удалил. И новые, которых добавил руками. При этом в админке в группе и в системе видны только новые :facepalm:

По скулю выводится 10 новых ботов, введенных руками.

Отправлено спустя 4 минуты 58 секунд:
В таблице phpbb_users удаленные боты отсутствуют, введенные руками присутствуют.
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

Удалите из таблицы ботов всех старых, оставьте только те 10, которые выдает запрос. Очистите кэш.
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Еще дополнение. Вдруг важно.
В таблице сессий для ботов, которые выдают нормальный отклик 200 - присутствует запись.
Для ботов, которые выдают 403 - ничего нет.

Сделал. Ура. Спасибо. Везде заголовки отдают 200.
Я правильно понимаю, что движок некорректно удаляет ботов, что и вызвало мою проблему?

И теперь к главному вопросу. Если я удалю нового добавленного бота сначала руками, а затем из таблицы физически - он всё же станет гостем? А то чет я уже очкую что-то с ними делать вообще. :D
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

romeo_piter писал(а): 11.06.2024 11:23 движок некорректно удаляет ботов, что и вызвало мою проблему
Пока не готов сказать, судя по коду ядра, всё должно быть корректно.
romeo_piter писал(а): 11.06.2024 11:23 Если я удалю нового добавленного бота сначала руками, а затем из таблицы физически - он всё же станет гостем
Да. Хотя физическое удаление из БД не должно потребоваться. Возможно, произошла какая-то проблема с транзакцией SQL, там в одной пакет из 3-х запросов на удаление данных.
Изображение
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

romeo_piter, тип таблиц какой - MyISAM?
Изображение
Перенесено из форума phpBB-пространство в форум Поддержка phpBB 3.3.x 11.06.2024 12:54 модератором rxu

romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

В основном да.
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16947
Стаж: 18 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 549 раз
Поблагодарили: 1700 раз

Re: Группа поисковых ботов

Сообщение rxu »

В смысле - они разные?
Изображение
romeo_piter
phpBB 2.0.22
Сообщения: 1369
Стаж: 16 лет
Благодарил (а): 163 раза
Поблагодарили: 20 раз

Re: Группа поисковых ботов

Сообщение romeo_piter »

Да, у некоторых расширений почему то innoDB, сам не понимаю почему о_О

Отправлено спустя 3 минуты 51 секунду:
Untitled-3.jpg
А внизу под таблицами приписка: InnoDB - тип таблиц данного MySQL сервера устанавливаемый по умолчанию.
Я тут не очень соображаю, сервер настраивал Нурлан, а по всем сложным проблемам с БД обращаюсь к Татьяне (репарсинги и т.д.).
Не должны быть разные типы? Это на что-то влияет?
У вас нет необходимых прав для просмотра вложений в этом сообщении.

Вернуться в «Поддержка phpBB 3.3.x»