Поисковики дают слишком большую нагрузку

[Admin_777]

Приветствую.
Последнее время поисковики заваливают на форум всей толпой, что сразу нагружает сервер так, что сайт начинает еле открываться.
Как-то можно им немного умерить аппетиты?

[MAzZY]

Забанить в htaccess ненужные поисковики по User-Agent

[Admin_777]

Простите, но мне не нужно банить. Мне нужно, чтобы они чуть менее активно работали.
Ну может сессий много открывают слишком или еще что...

[Kostelano]

Admin_777
Если ваш сервер очень сильно перегружен и не успевает отрабатывать запросы на закачку, то воспользуйтесь директивой "Crawl-delay". Она даёт возможность подсказать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.

Для почти каждого User-agent в robots.txt добавь строку непосредственно после директив "Disallow" ("Allow"):

Код: Выделить всё

Crawl-delay: 10 # задает таймут в 10 секунд

Или же, если ты используешь общую маску для всех поисковых роботов User-agent: *, то добавить эту строку только там. Проблема может быть в том, что не все поисковые роботы будут понимать запись.

[MAzZY]

Admin_777, кроме гугла и яндекса поисковики не нужны. Ими никто не пользуется. Можно еще Рамблер оставить для ретроградов. Остальные бесполезны чуть больше, чем полностью. Да еще и вред приносят

[Admin_777]

Спасибо за ответы. Буду пробовать.
Где-то давно читал, что поисковик открывает максимальное количество сессий, которые только разрешены.
Если это так, то можно ему этого не разрешать, а ограничить (скажем) 10-20 ?

Добавлено спустя 1 час 51 минуту 32 секунды:
Сделал пока так, надеюсь правильно?

Код: Выделить всё

User-agent: *
Crawl-delay: 10
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

User-agent: Yandex
Crawl-delay: 10
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

[Kostelano]

Admin_777
Нормально. Для Яши можешь задать еще и хост:

Код: Выделить всё

Host: Site.net.ua