Как добавить бота

[Pittro]

Вы бы robots.txt нормальный написали, да запретили бы ходить по ссылкам на ucp.php и прочие сервисные ссылки.

а может где-то есть уже написанный? я в этом совсем никак.

[Alek$]

Pittro
Можно даже с этого форума взять:

Код: Выделить всё

User-agent: *
Crawl-delay: 0.5
Disallow: /community/go.php
Disallow: /community/faq.php
Disallow: /community/group
Disallow: /community/member
Disallow: /community/index.php?c=
Disallow: /community/ucp.php
Disallow: /community/memberlist.php
Disallow: /community/post
Disallow: /community/mcp.php
Disallow: /community/adm
Disallow: /community/cron.php
Disallow: /community/posting.php
Disallow: /community/search.php
Disallow: /community/style.php
Disallow: /community/viewonline.php
Disallow: /community/viewtopic.php
Disallow: /community/viewforum.php

[eric]

Уважаемые, а как мне сделать так, чтобы мой файлик robots.txt не могли просматривать другие пользователи. Скажем, набирая ссылкой _http://www.muforum.ru/robots.txt любой юзер сможет увидеть к камим директориям я закрыл доступ, мне бы не оч хотелось))))
Предполагаю, что в файле .htaccess, но как бы это грамотнее сделать, чтобы видели роботы, а люди нет???

[crash]

eric
а при чем здесь тема "как добавить бота"?

[eric]

Извиняюсь, crash! Просто обсуждение шло о файле robots.txt

[crash]

разрешите доступ к robots.txt только ботам. Подозреваю, что вы замучаетесь прописывать их.

[eric]

разрешите доступ к robots.txt только ботам.

как?

[crash]

почитайте про .htaccess. Вам надо указать с каких ip разрешаете доступ к файлы

[eric]

Все, теперь понял, лучше не стану связыватся, слишком долго это и нудно будет)))))

[RIELTOR]

Вопрос по ботам:
Форум у меня проиндексировался, например в майле, получается бот посетил форум.
У меня в списке ботов майл не посещал. Получается бот не добавлен, но проиндексировал.
Боты могут сами регистрироваться на форуме, если да то как это сделать?
И как можно проследить следующее посещение форума ботом чтобы не упустить его и записать в список ботов

Вопрос может быть и глупый, но я не нашел на него ответа

[Rayden]

Боты могут сами регистрироваться на форуме

нет

И как можно проследить следующее посещение форума ботом

никак

У меня в списке ботов майл не посещал.

Значит не тот бот заходил, или неправильно прописан.

[Sheogorath]

Pittro
Можно даже с этого форума взять:

Код: Выделить всё

User-agent: *
Crawl-delay: 0.5
Disallow: /community/go.php
Disallow: /community/faq.php
Disallow: /community/group
Disallow: /community/member
Disallow: /community/index.php?c=
Disallow: /community/ucp.php
Disallow: /community/memberlist.php
Disallow: /community/post
Disallow: /community/mcp.php
Disallow: /community/adm
Disallow: /community/cron.php
Disallow: /community/posting.php
Disallow: /community/search.php
Disallow: /community/style.php
Disallow: /community/viewonline.php
Disallow: /community/viewtopic.php
Disallow: /community/viewforum.php

Только не забывайте, что у вас нет папки community и для всех стандартный robots.txt будет выглядеть так:

Код: Выделить всё

User-agent: *
Crawl-delay: 0.5
Disallow: /go.php
Disallow: /faq.php
Disallow: /group
Disallow: /member
Disallow: /index.php?c=
Disallow: /ucp.php
Disallow: /memberlist.php
Disallow: /post
Disallow: /mcp.php
Disallow: /adm
Disallow: /cron.php
Disallow: /posting.php
Disallow: /search.php
Disallow: /style.php
Disallow: /viewonline.php
Disallow: /viewtopic.php
Disallow: /viewforum.php

Поправьте, если я неправ.
кстати почему

Код: Выделить всё

Disallow: /index.php?c=

Что это за префикс ?с=

[Sheogorath]

Я тут новенький, прошу не банить.

[crash]

Sheogorath
категория

[Sheogorath]

Sheogorath
категория

А мне тоже этот префикс ставить? Стоит seo mod rewrite.