Заголовки

JavaScript отключён. Чтобы полноценно использовать наш сайт, включите JavaScript в своём браузере.

robots.txt - Инструкции и секреты настройки

Автор Sadorimatsu
Опубликовано Опубликовано Сегодня в 01:16

Обзор Обсуждение

Sadorimatsu добавил(а) новый ресурс:

robots.txt - Инструкции и секреты настройки - Пособие для чайников по настройке robots.txt на XenForo 2+

В этом мануале дам все доступные варианты и наработки по шаблонам robots.txt и на каждом будет расписаны варианты настроек и предложений.

Базовые термины: (С чем работаем)

Краулер (Crawler) / Робот (Bot):
Программа поисковой системы, которая сканирует страницы сайта и переходит по ссылкам. Примеры...

Нажмите для раскрытия...