robots.txt для 3.x

[aleksndr]

Я считаю правильным мой вариант.

Спасибо, попробую.

[Beer]

В панели управления -
Текст вместо заблокированных url: Сайт в черном списке.

Как сделать выводимому тексту в сообщении Сайт в черном списке. свой стиль?

[ciiz1]

А это нормально что переход на станицу подтверждения работает только если в .htaccess есть такая строчка ErrorDocument 403 /404.
до этого игрался с редиректами, нечего толкового не получилось, строчку ErrorDocument 403 /404 удаляю, На страницу /link/ переходит но она пустая с ошибкой 403
phpbb 3.2 (сто раз переустановил, всё чистил)
в .htaccess еще от 6G FIREWAL строчки прописаны

[Татьяна5]

403 это Forbidden, запрещено
Что-то с правами на файлы/папки, скорей всего, не так

[ciiz1]

403 это Forbidden, запрещено это я знаю, в CRM - я так сказать ещё сопля зелёная, на хостинге когда форум заливал практический все файлы с правами 600, а папки с правами 700 стали, но всё работает решил не трогать, расширений около 15 тоже работают. Стоит ли искать корень проблемы если всё работает? (думаю нет ли какого нибудь зацикливания из за редиректа?

[ciiz1]

Код: Выделить всё

# перенаправление робот тхт
<IfModule mod_alias.c>
	RedirectMatch 301 (?<!^)/robots.txt$ /robots.txt
</IfModule>

# 6G FIREWALL/BLACKLIST
# @ perishablepress.com/6g/

# 6G:[QUERY STRINGS]
<IfModule mod_rewrite.c>
	RewriteEngine On
	RewriteCond %{QUERY_STRING} (eval\() [NC,OR]
	RewriteCond %{QUERY_STRING} (127\.0\.0\.1) [NC,OR]
	RewriteCond %{QUERY_STRING} ([a-z0-9]{2000,}) [NC,OR]
	RewriteCond %{QUERY_STRING} (javascript:)(.*)(;) [NC,OR]
	RewriteCond %{QUERY_STRING} (base64_encode)(.*)(\() [NC,OR]
	RewriteCond %{QUERY_STRING} (GLOBALS|REQUEST)(=|\[|%) [NC,OR]
	RewriteCond %{QUERY_STRING} (<|%3C)(.*)script(.*)(>|%3) [NC,OR]
	RewriteCond %{QUERY_STRING} (\\|\.\.\.|\.\./|~|`|<|>|\|) [NC,OR]
	RewriteCond %{QUERY_STRING} (boot\.ini|etc/passwd|self/environ) [NC,OR]
	RewriteCond %{QUERY_STRING} (thumbs?(_editor|open)?|tim(thumb)?)\.php [NC,OR]
	RewriteCond %{QUERY_STRING} (\'|\")(.*)(drop|insert|md5|select|union) [NC]
	RewriteRule .* - [F]
</IfModule>

# 6G:[REQUEST METHOD]
<IfModule mod_rewrite.c>
	RewriteCond %{REQUEST_METHOD} ^(connect|debug|move|put|trace|track) [NC]
	RewriteRule .* - [F]
</IfModule>

# 6G:[REFERRERS]
<IfModule mod_rewrite.c>
	RewriteCond %{HTTP_REFERER} ([a-z0-9]{2000,}) [NC,OR]
	RewriteCond %{HTTP_REFERER} (semalt.com|todaperfeita) [NC]
	RewriteRule .* - [F]
</IfModule>

# 6G:[REQUEST STRINGS]
<IfModule mod_alias.c>
	RedirectMatch 403 (?i)([a-z0-9]{2000,})
	RedirectMatch 403 (?i)(https?|ftp|php):/
	RedirectMatch 403 (?i)(base64_encode)(.*)(\()
	RedirectMatch 403 (?i)(=\\\'|=\\%27|/\\\'/?)\.
	RedirectMatch 403 (?i)/(\$(\&)?|\*|\"|\.|,|&|&?)/?$
	RedirectMatch 403 (?i)(\{0\}|\(/\(|\.\.\.|\+\+\+|\\\"\\\")
	RedirectMatch 403 (?i)(~|`|<|>|:|;|,|%|\\|\s|\{|\}|\[|\]|\|)
	RedirectMatch 403 (?i)/(=|\$&|_mm|cgi-|etc/passwd|muieblack)
	RedirectMatch 403 (?i)(&pws=0|_vti_|\(null\)|\{\$itemURL\}|echo(.*)kae|etc/passwd|eval\(|self/environ)
	RedirectMatch 403 (?i)\.(aspx?|bash|bak?|cfg|cgi|dll|exe|git|hg|ini|jsp|log|mdb|out|sql|svn|swp|tar|rar|rdf)$
	RedirectMatch 403 (?i)/(^$|(wp-)?config|mobiquo|phpinfo|shell|sqlpatch|thumb|thumb_editor|thumbopen|timthumb|webshell)\.php
</IfModule>

# 6G:[USER AGENTS]
<IfModule mod_setenvif.c>
	SetEnvIfNoCase User-Agent ([a-z0-9]{2000,}) bad_bot
	SetEnvIfNoCase User-Agent (archive.org|binlar|casper|checkpriv|choppy|clshttp|cmsworld|diavol|dotbot|extract|feedfinder|flicky|g00g1e|harvest|heritrix|httrack|kmccrew|loader|miner|nikto|nutch|planetwork|postrank|purebot|pycurl|python|seekerspider|siclab|skygrid|sqlmap|sucker|turnit|vikspider|winhttp|xxxyy|youda|zmeu|zune) bad_bot
	
	# Apache < 2.3
	<IfModule !mod_authz_core.c>
		Order Allow,Deny
		Allow from all
		Deny from env=bad_bot
	</IfModule>

	# Apache >= 2.3
	<IfModule mod_authz_core.c>
		<RequireAll>
			Require all Granted
			Require not env bad_bot
		</RequireAll>
	</IfModule>
</IfModule>

# 6G:[BAD IPS]
<Limit GET HEAD OPTIONS POST PUT>
	Order Allow,Deny
	Allow from All
	# uncomment/edit/repeat next line to block IPs
	# Deny from 123.456.789
</Limit>

# блокировать ботов
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Acunetix [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]
# Abuse bot blocking rule end

# ErrorDocument 400 /errors/badrequest.html
# ErrorDocument 401 /errors/authreqd.html
ErrorDocument 403 /404
ErrorDocument 404 /404
# ErrorDocument 500 /errors/serverr.html

#чтобы видеоиграло
AddType audio/ogg   ogg oga
AddType video/ogg   ogv
AddType audio/webm  webma
AddType video/webm  webm webmv
AddType audio/mp4   m4a
AddType video/mp4   mp4 m4v
AddType audio/opus  opus
AddType audio/flac  flac
AddType audio/aac   aac
AddType audio/mpeg  mp1 mp2 mp3 mpg mpeg
AddType audio/wav   wav

Спасибо, спасибо, спасибо разобрался, что то тут мешает

[Vlad__]

В теме смотрю примеры файлов robots.txt и у всех включены в список исключений самые разные директории форума: files, download, adm...... Какова логика их включения и не будет ли правильным или ошибкой прописать все? И как правильно писать /files/ или /files/* ?

[Татьяна5]

files и download могут запретить индексировать вложения, а adm и без того не индексируется

[Sheer]

Так files закрыт .htaccess, разве там что-то может индексироваться?

[Vlad__]

У Анвара во втором посту темы download и adm закрываются. Правильно? Короче, какие всё-таки папки нужно закрывать?

[Татьяна5]

Sheer, напрямую в папках вообще ничего не индексируется, но, в то же время, закрытие includes в robots.txt приводило к проблемам в отображении форума (не помню только для какого поисковика)

[Vlad__]

Всё-таки какие папки нужно закрывать? Я так вижу общего мнения нет.

[Татьяна5]

Короче, какие всё-таки папки нужно закрывать?

Свои какие-нибудь, куда сами контент, не предназначенный для индексации, загрузили
А в robots во-первых запретите доступ плохим ботам (тот же Ahrefs bot), и во-вторых ограничьте время обращений для остальных. Остальное можно настроить правами доступа, для гостей и ботов одновременно

[Vlad__]

Как правильно писать /директория/ или /директория/* ? Или это одно и то же?

[aleksndr]

Блин, не знаю, как бороться?
Вот прописи в роботе

705f00b903c0.png

Вот результат по прошествию 5-6 апов,яша всё равно их хавает

06c0d2178ce4.png

5e51c380229a.png

А при открытии робота через браузер - этих изминений нет почему то

b0367d66ecbe.png