Как добавить бота

[GSC]

А обязательно, и для чего создавать robots.txt?
Спасибо

[crash]

для чего создавать robots.txt?

прочтите на яндексе. В кратце вы разрешаете индексировать то, что не прописано в этом файле.

А обязательно

это вам решать.

[GSC]

Следующие вопросы по использованию ботов...
Ко мне поселился Rambler [Bot] я этому рад, он первый кто проиндексировал половину тем.
1)Когда я ввожу в поисковике например название темы поисковик (рамблер) не находит её, хотя эта темы точно проиндексирована, а когда вводишь название темы и UI-Game тогда без проблем...В чем причина?
2)Название темы в поисковике выглядит так "• Просмотр темы - BioShock 2: Sea of Dreams"
Вопрос, что за "•"-из-за чего он?
Заранее спасибо.

[Berk]

мой форум тоже рамблер с • проиндексировал
ну и бог с ним
все равно 95% посещений с яндекса и гугл

[GSC]

Я всё же жду обьяснений.

[rxu]

Первого вопроса вообще не понял.
По второму - поисковик не преобразовывает html сущности (в данном случае - буллеты) в визуальную форму, его проблема.

[GSC]

Вот, SITEMAP у меня работает нормально, обновляется каждые сутки.

2.png

А про индексирована только главная старница

1.png

Почему?

[rxu]

Это к Яндексу вопрос, а не к нам.

[Gisher]

а что за бот и какой user-agent у него?

662b91e2f018.jpg

[Alek$]

Gisher
Гугль легко ответит на ваш вопрос: Поиск Google: renlifang

[rxu]

какой user-agent у него?

http://www.phpbbguru.net/community/topi ... ml#p245936

[Lela-la]

Список ботов можно посмотреть на http://www.user-agents.org/

[m3tra]

у меня такая проблема: раньше у меня сайт был недоступен для поисковых ботов, так как стоял в локальной сети, при перенесении его "во внешку" у меня возникла потребность прописать ботов, но посмотрев в админке-не нашёл ни одного. прочитал всю эту тему, сделал себе файл роботс, как у вас на конференции(настроил под себя). посмотрел в пхпадминс-там таблица ботов пустая-не могли бы вы дать SQL запрос, чтобы автоматом закинуть всех ботов, а то ручками сильна долго. и ещё проверял свой сайт валидатором, вылезла ошибка-прилепил во вложении, что это может означать? в общем помогите настроить ботов=))

[Gemini_13]

m3tra, просто экспортировал в phpMyAdmin:

Код: Выделить всё

--
-- Структура таблицы `phpbb_bots`
--

CREATE TABLE IF NOT EXISTS `phpbb_bots` (
  `bot_id` mediumint(8) unsigned NOT NULL auto_increment,
  `bot_active` tinyint(1) unsigned NOT NULL default '1',
  `bot_name` varchar(255) collate utf8_bin NOT NULL default '',
  `user_id` mediumint(8) unsigned NOT NULL default '0',
  `bot_agent` varchar(255) collate utf8_bin NOT NULL default '',
  `bot_ip` varchar(255) collate utf8_bin NOT NULL default '',
  PRIMARY KEY  (`bot_id`),
  KEY `bot_active` (`bot_active`)
) ENGINE=MyISAM  DEFAULT CHARSET=utf8 COLLATE=utf8_bin AUTO_INCREMENT=52 ;

--
-- Дамп данных таблицы `phpbb_bots`
--

INSERT INTO `phpbb_bots` (`bot_id`, `bot_active`, `bot_name`, `user_id`, `bot_agent`, `bot_ip`) VALUES
(1, 1, 'AdsBot [Google]', 2004, 'AdsBot-Google', ''),
(2, 1, 'Alexa [Bot]', 2005, 'ia_archiver', ''),
(3, 1, 'Alta Vista [Bot]', 2006, 'Scooter/', ''),
(4, 1, 'Ask Jeeves [Bot]', 2007, 'Ask Jeeves', ''),
(5, 1, 'Baidu [Spider]', 2008, 'Baiduspider+(', ''),
(6, 1, 'Exabot [Bot]', 2009, 'Exabot/', ''),
(7, 1, 'FAST Enterprise [Crawler]', 2010, 'FAST Enterprise Crawler', ''),
(8, 1, 'FAST WebCrawler [Crawler]', 2011, 'FAST-WebCrawler/', ''),
(9, 1, 'Francis [Bot]', 2012, 'http://www.neomo.de/', ''),
(10, 1, 'Gigabot [Bot]', 2013, 'Gigabot/', ''),
(11, 1, 'Google Adsense [Bot]', 2014, 'Mediapartners-Google', ''),
(12, 1, 'Google Desktop', 2015, 'Google Desktop', ''),
(13, 1, 'Google Feedfetcher', 2016, 'Feedfetcher-Google', ''),
(14, 1, 'Google [Bot]', 2017, 'Googlebot', ''),
(15, 1, 'Heise IT-Markt [Crawler]', 2018, 'heise-IT-Markt-Crawler', ''),
(16, 1, 'Heritrix [Crawler]', 2019, 'heritrix/1.', ''),
(17, 1, 'IBM Research [Bot]', 2020, 'ibm.com/cs/crawler', ''),
(18, 1, 'ICCrawler - ICjobs', 2021, 'ICCrawler - ICjobs', ''),
(19, 1, 'ichiro [Crawler]', 2022, 'ichiro/2', ''),
(20, 1, 'Majestic-12 [Bot]', 2023, 'MJ12bot/', ''),
(21, 1, 'Metager [Bot]', 2024, 'MetagerBot/', ''),
(22, 1, 'MSN NewsBlogs', 2025, 'msnbot-NewsBlogs/', ''),
(23, 1, 'MSN [Bot]', 2026, 'msnbot/', ''),
(24, 1, 'MSNbot Media', 2027, 'msnbot-media/', ''),
(25, 1, 'NG-Search [Bot]', 2028, 'NG-Search/', ''),
(26, 1, 'Nutch [Bot]', 2029, 'http://lucene.apache.org/nutch/', ''),
(27, 1, 'Nutch/CVS [Bot]', 2030, 'NutchCVS/', ''),
(28, 1, 'OmniExplorer [Bot]', 2031, 'OmniExplorer_Bot/', ''),
(29, 1, 'Online link [Validator]', 2032, 'online link validator', ''),
(30, 1, 'psbot [Picsearch]', 2033, 'psbot/0', ''),
(31, 1, 'Seekport [Bot]', 2034, 'Seekbot/', ''),
(32, 1, 'Sensis [Crawler]', 2035, 'Sensis Web Crawler', ''),
(33, 1, 'SEO Crawler', 2036, 'SEO search Crawler/', ''),
(34, 1, 'Seoma [Crawler]', 2037, 'Seoma [SEO Crawler]', ''),
(35, 1, 'SEOSearch [Crawler]', 2038, 'SEOsearch/', ''),
(36, 1, 'Snappy [Bot]', 2039, 'Snappy/1.1 ( http://www.urltrends.com/ )', ''),
(37, 1, 'Steeler [Crawler]', 2040, 'http://www.tkl.iis.u-tokyo.ac.jp/~crawler/', ''),
(38, 1, 'Synoo [Bot]', 2041, 'SynooBot/', ''),
(39, 1, 'Telekom [Bot]', 2042, 'crawleradmin.t-info@telekom.de', ''),
(40, 1, 'TurnitinBot [Bot]', 2043, 'TurnitinBot/', ''),
(41, 1, 'Voyager [Bot]', 2044, 'voyager/1.0', ''),
(42, 1, 'W3 [Sitesearch]', 2045, 'W3 SiteSearch Crawler', ''),
(43, 1, 'W3C [Linkcheck]', 2046, 'W3C-checklink/', ''),
(44, 1, 'W3C [Validator]', 2047, 'W3C_*Validator', ''),
(45, 1, 'WiseNut [Bot]', 2048, 'http://www.WISEnutbot.com', ''),
(46, 1, 'YaCy [Bot]', 2049, 'yacybot', ''),
(47, 1, 'Yahoo MMCrawler [Bot]', 2050, 'Yahoo-MMCrawler/', ''),
(48, 1, 'Yahoo Slurp [Bot]', 2051, 'Yahoo! DE Slurp', ''),
(49, 1, 'Yahoo [Bot]', 2052, 'Yahoo! Slurp', ''),
(50, 1, 'YahooSeeker [Bot]', 2053, 'YahooSeeker/', '');

[rxu]

и ещё проверял свой сайт валидатором, вылезла ошибка

Причем тут настоящая тема?