Як скласти правильний robots.txt?

Вітаю, друзі! Robots.txt — це дуже важливий файл, який впливає на індексацію сторінок сайту пошуковими роботами. Багато становлять його неправильно, забороняючи індексування потрібних сторінок і дозволяючи індексування тих сторінок, які не повинні потрапляти в індекс.

Що таке Robots.txt?

Robots.txt — це файл, що містить список правил, які дозволяють і забороняють індексування певних сторінок і категорій сайту окремих пошукових систем. Для кожної пошукової системи правила індивідуальні, хоча в чомусь вони схожі.

Як скласти правильний Robots.txt?

Не потрібно винаходити велосипед, всі можливі варіанти написання robots.txt опубліковані в інтернеті. Писати, як правильно скласти robots не має сенсу. Хочу лише зазначити, що у цьому файлі потрібно заборонити всі адреси, пов'язані з CMS) сайту WordPress, Joomla, DLE і т. д.) і з файлами теми або шаблону. Також слід заборонити індексацію стандартних посилань CMS, щоб не було дублів в індексі пошукових систем.
Отже, у файлі robots.txt забороняють індексування файлів CMS і теми, коментарів, rss стрічки і трекбека. Як я вже говорив, в інтернеті можна знайти готові файли robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Host: itstatti.in.ua
Sitemap: http://itstatti.in.ua/index.php?option=com_osmap&view=xml&id=1

Інші можна знайти на просторах інтернету. P. S. не забудьте змінити адресу сайту та адресу карти сайту.

Як заборонити або дозволити індексацію певної сторінки сайту?

Щоб заборонити індексацію певної сторінки потрібно написати відповідне правило. Зразок: Disallow: /адреса сторінки або категорії
Якщо потрібно дозволити індексацію, то слід написати: Allow: /адреса сторінки або категорії

Де знаходиться і як завантажити Robots.txt на сайт?

Файл Robots.txt знаходиться за адресою ваш_сайт.ru/robots.txt. Завантажувати його треба в корінь сайту. Зробити це можна з допомогою FTP-клієнта або вбудованого завантажувача в панелі хостинг-компанії. Особисто для мене зручний перший варіант, так як не вимагає особливих знань не потрібно авторизовуватись через адміністративну панель.
От і все! Тепер ви знаєте, яким повинен бути правильний файл robots.txt і як його скласти.

Відео