Ошибка в Вебмастер гугл

[COB16]

Пришло такое письмо сегодня: Google detected a significant increase in the number of URLs we could not access. It is likely that your server had an internal error or was busy when attempting to process these requests.

и ошибки:

123.JPG

я так понимаю это из-за роботс?

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /toplist.php*
Disallow: /thankslist.php
Disallow: /search.php*
Disallow: /memberlist.php
Disallow: /viewonline.php*
Disallow: /topiclist.php
Disallow: /app.php*
Disallow: /thankslist
Disallow: /rules
Disallow: /ucp.php*
Host: golf2mania.ru
Sitemap: http://golf2mania.ru/sitemap.xml

[Alecto]

ошибка 500- внутренняя ошибка сервера.
возможно, когда бот гулял по сайту, на сервере были проблемы?
в том списке что ты выложил нет пути к расширениям.

Отправлено спустя 1 минуту 29 секунд:
да и зачем боту лазить по папкам с раширениями? запрети

Код: Выделить всё

Disallow: /ext/*

[COB16]

Alecto, гулял сегодня он. Проблем вроде не было. Вобще папку с экстами надо закрывать от ПС?

[Alecto]

ну а зачем ее сканировать? там ведь нет никаких данных? только служебные скрипты и изображения.
не вижу в этом никакого криминала.

гулял сегодня он.

дело в том, что боту не надо много времени.
сайт, например, мог быть недоступен всего несколько минут, ты мог не заметить, а бот пока лазил - попал на ошибку и уведомил тебя об этом.
конечно, возможна и другая причина, но судя по скрину - она все равно является ошибкой 500, можешь погуглить, что это.
у меня закрыты расширения от индексации ботами, да и многие другие служебные папки и некоторые пути, которые создаются расширениями.

[COB16]

Alecto, подправил роботс, спасибо

[staiki]

да и многие другие служебные папки и некоторые пути, которые создаются расширениями.

А подронее? Что ещё нужно запретить кроме ext?

[владимир1983]

Alecto, там лежит файл index.htm.

[Alecto]

тогда, если гугл туда добрался, значит у Стрелка его нет.

[romaamor]

сайт, например, мог быть недоступен всего несколько минут, ты мог не заметить, а бот пока лазил - попал на ошибку и уведомил тебя об этом.

У меня иногда бывает такое при резком наплыве посетителей. Сайт вырубается. Но при этом я сразу получаю СМС на мобильник и почту от поисковика что проблемы с доступностью сайта. Но при этом не каких сообщений в Вебмастер гугл нету.

[Alecto]

Но при этом не каких сообщений в Вебмастер гугл нету.

значит ботов именно в этом момент не было.
они же не живут на сайте.

[romaamor]

значит ботов именно в этом момент не было.

Нет, наоборот. Бот зашёл на сайт, нет доступа, мне пришло сообщение. Тут просто наверно метод уведомления другой. Я выбрал СМС.
Та и посутся они у меня постоянно. Bing bot тот вообще прописался.

[COB16]

romaamor, у меня VPS. Сбоев не было еще никогда, никаких уведомлений не было до этого дня

[romaamor]

у меня VPS.

Ну для меня это дорого. Хотя постоянно хостинг предлагает перейти на VPS.

никаких уведомлений не было до этого дня

Может просто сбой был, или тех. работы ?

[COB16]

romaamor, обычно пишут в тикет если что то было, тем более твитер мониторю ихний

[romaamor]

обычно пишут в тикет

Не факт. ...
Кстати, просмотрел,. Тикеты есть. Аж два штуки.
И все предуприждение о перебор почтовой рассылки. Дают 500 в день. Кстати, есть расширение рассылка сообщений. Я лимит использовал. Сказали что я спамер.