Доступ Googlebot к нежелательному контенту.

[bender67]

Здравствуйте!
Подскажите, как мне заставить бот Гугла не сканировать то, что я не хочу вытаскивать в поиск? Есть конфиденциальная информация на форуме. С Яндексом проблем нет, проверяю закрытые адреса -- они недоступны в поиске Яндекса. С Гуглом всё сложнее. Любые закрытые адреса при проверке в консоли оказываются доступны (Гугл так пишет).
Вот файл robots.txt

Код: Выделить всё

# Группа 1
User-agent: * 
Disallow: /viewtopic.php?f=9&t=46
Disallow: /adm/ 
Disallow: /faq.php 
Disallow: /mcp.php 
Disallow: /index.php? 
Disallow: /memberlist.php 
Disallow: /posting.php 
Disallow: /report.php 
Disallow: /search.php 
Disallow: /style.php 
Disallow: /ucp.php 
Disallow: /viewonline.php 
Disallow: /*&st=* 
Disallow: /*&sk=* 
Disallow: /*&sd=* 
Disallow: /*&hilit=* 
Disallow: /*&view=* 
Disallow: /viewforum.php?f=9
Disallow: /view*&start=0$ 

# Google Image 
User-agent: Googlebot-Image 
Disallow: /viewtopic.php?f=9&t=46

И еще небольшой вопрос по теме, раз уж все-таки спросил об этом. Получается, инструмент управления индексированием админпанели phpBB 3 не работает (когда я отмечаю "нет" в пункте "Включить поисковое индексирование")?

[rxu]

Любые закрытые адреса при проверке в консоли оказываются доступны (Гугл так пишет).

Так оно и будет. Бот в любом случае сканирует всё, но в теории не показывает в поисковой выдаче то, что исключено настройками.

как мне заставить бот Гугла не сканировать то, что я не хочу вытаскивать в поиск

Вообще не показывать ему соджержимое. Запретите в правах ботов доступ к конфиденциальным форумам.

Получается, инструмент управления индексированием админпанели phpBB 3 не работает

Работает. Это об индексировании внутреннего поиска по конференции, а не о поиске в интернете.

[bender67]

Это об индексировании внутреннего поиска

Вон как. Спасибо за разъяснение, я не знал, что имеется ввиду внутренний поиск.

сканирует всё, но в теории не показывает

Хотелось бы знать, как часто теория у него расходится с практикой

Запретите в правах ботов доступ к конфиденциальным форумам

Вроде нашел где и установил права. Спасибо!