Чому сайт не індексується

Здрастуйте, шановні читачі блогу ITstatti.in.ua. 

Отже, Ви створили сайт, наповнили його унікальним контентом, після чого додали цей сайт в найбільш популярні пошукові системи, такі як Bing і Google, але сайт чомусь погано індексується або не індексується взагалі. У даній статті я розповім Вам про основні причини поганої індексації сайту, а також дам кілька порад, які можуть прискорити процес потрапляння сторінок сайту в пошукові системи.

Перш ніж впадати в паніку, давайте з'ясуємо, як довго може індексуватися сайт після додавання його в пошукових системах, і, коли потрібно починати нервувати.

У більшості випадків сайт починає індексуватися десь через 2-4 тижні. Буває і швидше (навіть на наступний день!). Якщо ж сайт не індексується довше ніж місяць, то тут вже треба починати вживати заходів щодо усунення причин, які перешкоджають індексації сайту. Краще, звичайно, спочатку подбати про те, щоб даних перешкод не було...

Чому сайт не індексується

Для початку, давайте розглянемо основні причини, по яким індексація сайту може бути утруднена:

Неунікальний контент. Статті на сайті повинні бути унікальними, тобто вони не повинні зустрічатися на інших сайтах. Особливо пошукові системи не люблять сайти з неунікальним контентом, які торгують посиланнями. Такі сайти рано чи пізно (а останнім часом це дуже часто відбувається) потрапляють під фільтр ПС, з якого практично неможливо вибратися і сторінки таких сайтів назавжди зникають з пошуку. Якщо ж сайт мав неунікальний контент, але посилання з нього не продавалися, то є шанс, що сайт буде нормально індексуватися і ранжируватися, після того, як на Вашому сайті з'являться унікальні статті.

Переоптімізація, переспам. Не варто зловживати кількістю ключових фраз у статті, а також тегами <strong>, <em> <i>, <b> і т. д. Все повинно виглядати природно і невимушено.

Неякісний контент. Думаю, що не треба пояснювати, що таке неякісний контент. Кожен з нас знає, яку він написав статтю — для людей або для пошукових роботів...

Сайт є дзеркалом іншого сайту. Тут мається на увазі ситуація, коли існує сайт з абсолютно унікальним контентом, але за змістом і структурою він повністю або частково копіює інший сайт. Такі сайти також можуть потрапити під фільтр пошукових систем. Принаймні, Гугл такі сайти не дуже любить і, якщо помічає, «склеює» їх з «головним дзеркалом» всіх сайтів.

Індексація сайту заборонена у файлі robots.txt. Буває так, що веб майстер випадково може заборонити індексацію сайту в файлі robots.txt. Так що в першу чергу перевіряйте саме цей файл. Якщо Ви не знаєте, що таке robots.txt, то в розділі «Використання robots.txt» від сервісу «Гугл Вебмастер», все дуже добре розписано.

Індексація сайту заборонена у мета тегах. Перевірте обов'язково HTML-код сторінки сайту. Якщо в коді присутня код <meta name="robots" content="noindex,nofollow" />, то це означає, що пошуковим роботам заборонено індексувати сторінку, про що говорить команда noindex, і переходити по посиланнях на сторінці (команда nofollow). Існує аналогічний мета тег <meta name="robots" content="none"/>. Даний мета тег також забороняє індексувати текст і переходити по посиланнях на сторінці.

Продаж ссилок з сайту.Гугл не проти того, щоб власник сайту трохи (або багато) заробив на продажу ссилок зі свого сайту. Але, якщо Ви продаєте занадто багато ссилок (а скільки, це «занадто багато», відомо тільки Гуглу), то це може спричинити за собою масове випадання сторінок з індексу. Також Ви повинні розуміти, що якщо Ви хочете заробляти на сайті за рахунок продажу ссилок, то цей сайт повинен бути дійсно корисним для користувачів Інтернету (ну або хоча б трохи корисним), ну і, звичайно ж, сайт повинен мати унікальні статті. На рахунок Гугла таке сказати не можу. Взагалі пошукова система Google намагається індексувати все що можна і що не можна — такий собі монстр індексування (буває, що Google індексує навіть ті сторінки, які заборонені для індексації у файлі robots.txt, якщо на них стоять ссилки), але не всі сторінки він добре ранжує (враховує). Також є думка, що вага сторінки втрачається, якщо на ній занадто багато зовнішніх ссилок — це ще один привід для того, щоб НЕ перетворювати сайт на лінк смітник.

Ссилковий вибух. Якщо в один прекрасний день на невідомий сайт почнуть посилатися відразу тисячі ресурсів, то це може спричинити за собою жорсткі санкції з боку пошукових систем, як по відношенню до сайту, на який посилаються, так і до ссилаючихся сайтів. Загалом, постраждають всі!

Хостинг блокує роботів пошукових систем. На жаль, буває і таке. Так що, користуйтеся послугами перевірених хостингів, які мають хорошу репутацію.

Домен, який Ви купили, був раніше забанений (заблокований) пошуковими системами. Якщо є можливість вивчити історію купується домену, то обов'язково вивчіть її.

Сайт помилково потрапив під фільтр ПС. Таке буває не так часто, але буває (приблизно в 1-2% випадків). Якщо Ви впевнені, що Ваш сайт відповідає всім вимогам стандарту якості пошукових систем, то можна написати їм листа, і через якийсь час (можливо після довгої переписки) Ваш сайт проіндексується.

Багато інші причини, яких так багато, що в одну статтю все просто не поміститься. Вмикайте логіку, аналізуйте сайт, і Ви самі зможете виявити причини, які перешкоджають індексації сайту в ПС.

Як прискорити індексацію сайту

Якщо Ви впевнені, що Ваш сайт не порушує правила гри (назвемо це так), але він все одно не індексується досить тривалий час, то можливо пошукові роботи просто-напросто не можуть знайти Ваш сайт. Ну не можуть вони і все тут! У цьому випадку Вам потрібно допомогти пошукової системи знайти сторінки Вашого сайту, про що ми і поговоримо далі.

Отже, як прискорити індексацію сайту в пошукових системах Гугл:

Крок 1-й: Додайте сайт в «центрі веб-майстрів Google», якщо Ви ще цього не зробили. Іноді цього достатньо, щоб сайт нормально індексувався, але не завжди...

Крок 2-й: Налаштуйте правильно файл robots.txt. Закрийте від індексації всі сторінки та папки, які не потрібно індексувати. Навіть, якщо деякі файли немає посилань зі сторінок сайту, то пошукова система все одно може їх проіндексувати. Полегшите роботу пошуковим роботам і пошукові системи обов'язково це оцінять. Для кожного движка є свої рекомендовані налаштування файлу robots.txt, які легко можна знайти в Інтернеті. Але перш ніж використовувати готові рішення, потрібно чітко розуміти, що Ви робите, і, які сторінки закриваєте від індексації, тому я настійно рекомендую Вам все-таки вивчити розділ «Використання robots.txt».

Крок 3-й: Вкажіть файл Sitemap всі сторінки, які потрібно проіндексувати. Багато веб майстри нехтують цим файлом, вважаючи його не настільки значним у процесі індексації сайту, а даремно. Часом саме файл Sitemap може посприяти тому, щоб сайт проиндексировался. І в цьому я зовсім недавно переконався, коли мені дали роботу 3 сайту, у яких була одна загальна проблема — протягом 6-ти місяців у кожного сайту проиндексировалось лише по 2-3 сторінки в пошуковій системі Google. Причому всі ці сайти давно були додані в «центрі веб-майстрів Google, а також на багато сторінок з різних сайтів вже були проставлені посилання. Як не дивно, ці сайти вже давно успішно індексувалися в ПС Яндекс, але Гугл, з якихось причин обходили їх стороною. Тоді я вирішив додати файли Sitemap на всі сайти. І що Ви думаєте — буквально через 2-3 тижні всі 3 сайту почали індексуватися в Гуглі. Також я помітив, що якщо додати сайт в панель вебмастера і там же вказати шлях до файлу Sitemap, то сайт нерідко індексується буквально за 1 день! Якщо Ви не знаєте, що таке файл Sitemap, то Ви можете почитати про нього ТУТ (Що таке файл Sitemap?). Практично у кожного движка є свої плагіни, які генерують файл Sitemap, але якщо у Вашого движка немає такої можливості, то Ви можете згенеруватися файл Sitemap за допомогою спеціального сервісу, такого як XML Sitemaps Generator. Просто введіть адресу сайту і натисніть Start, після чого скачайте цей файл і завантажити його по ftp в коневую папку Вашого сайту. Потім вкажіть шлях до файлу Sitemap в панелі вебмастера.

Крок 4-й: Створіть карту сайту. Карта сайту — це сторінка, на якій розміщені всі посилання на сторінки сайту. Карта сайту також допомагає пошуковим роботам швидше проіндексувати сайт. Якщо Вам цікаво, як виглядає карта сайту ITstatti.in.ua, то Ви можете подивитися її на цій сторінці.

Крок 5-й (необов'язково): Прискорити індексацію сайту зовнішніми ссилками. Найефективніший спосіб проіндексувати сайт за допомогою зовнішніх ссилок — це зробити так, щоб на найбільш значущі сторінки Вашого сайту посилалися різні (бажано тематичні) блоги, оскільки саме вони індексуються швидше за все (якщо блог популярний і часто оновлюваний, то він може індексуватися кожні 2 години!). Вічні посилання з блогів на сайті (досить 2-3 посилання на кожну сторінку) Ви можете за допомогою сервісу Blogun або будь-яких інших сервісів.

Що робити, якщо сайт все одно не індексується?

Якщо всі ці поради не допомогли, і Ваш сайт так і не проиндексировался ще один місяць, то тут залишається тільки одне — написати працівникам пошукових систем:

• Написати Bing. Практика показує, що в більшості випадків відповідають наступне: «покращуйте якість свого сайту...». Але не варто зневірятися, якщо Вам дали шаблонний відповідь — це означає, швидше за все, одно, що часу на розгляд сайту зовсім не було. Якщо треба буде, вступите в довгу переписку з Bing і відстоюйте свої права. Дайте зрозуміти, що Вам не байдуже Ваш сайт. Якщо Ви абсолютно впевнені в тому, що Ваш сайт якісний, то рано чи пізно з нього знімуть фільтр.
• Написати Гуглу. Задати питання Гуглу можна українською мовою, але дадуть відповідь Вам на англійській і найчастіше стандартною відповіддю. 1-й відповідь буде приблизно такою: «Ми прийняли Вашу заявку на перегляд сайту... і т. д. і т. п.». 2-ой відповідь, якщо з Вашим сайтом все гаразд, буде приблизно таким: «Ми розглянули Ваш сайт і не знайшли присутності спаму. Чекайте, коли сайт проіндексується.»

Наостанок мені хотілося б дати Вам останню пораду. Не давайте адресу Вашого сайту на різних форумах, блогах та інших ресурсах, і не кажіть нікому, що Ваш сайт ще не проіндексувався. Нечесні люди можуть цим скористатися, вкравши повністю контент з Вашого сайту. Також не варто реєструвати непроіндексованный сайт в каталогах, т. к. власники каталогів можуть перевірити Ваш сайт на наявність сторінок в пошуку і також поцупити сторінки сайту.

FAQ

Чому сайт не індексується у Гуглі?

Найперша причина – пошукова система Google просто «не бачить» ваш сайт. Їй треба допомогти – вручну проіндексувати сайт. Крім того, можливі помилки сканування пошуковими роботами, неприйняття Гуглом мов AJAX/JavaScript, наявність на сайті дубльованого контенту або раніше забанений домен.

Чому не індексуються сторінки сайту?

Одна з найпоширеніших причин – сторінки сайту закриті у robots.txt.

Як часто Google індексує сайт?

Google проводить індексацію постійно – пошукові роботи завантажують сторінки сайту, а потім викладають в оновлений індекс.

Висновок + відео

Індексація сайту - один із найперших моментів у справі пошукового просування сайту. Якщо сайт пошукові системи не бачать, то шукаємо причину, а потім її усуваємо. В ідеалі, краще не допускати проблем із індексацією сайту взагалі.

Фінальний чек-лист, чому сайт не індексується у Гуглі?

1. Google поки що не знайшов ваш сайт. Чекаємо, доки побачать, чи вручну прискорюємо процес індексації.
2. Сайт або сторінки закриті у robots.txt. Відчиняємо.
3. Включено приватні налаштування в CMS. Відчиняємо.
4. Сайт закритий від індексації в noindex у метатегах. Забираємо noindex з метатегів.
5. Помилки сканування. Шукаємо одну з трьох відомих помилок сканування: помилки в налаштуваннях сервера, помилки CMS, зміна структури URL. Усуваємо.
6. Сайт заблокований в .htaccess - перевіряємо файл .htaccess., видаляємо з нього сторінки та папки, які потребують індексації.
7. Хостинг чи сервер працює нестабільно - відслідковуємо проблему, міняємо хостинг.
8. Проблеми з AJAX/JavaScript – вручну налаштовуємо все для пошуку AJAX та JavaScript та вмовляємо Google проіндексувати сайт (сторінки).
9. У вас на сайті багато дубльованого контенту, знаходимо та видаляємо дублі.
10. Дуже повільна швидкість завантаження сайту, полегшуємо (стискаємо) контент.
11. Ваш домен раніше був забанен - пишемо запит на апеляцію або розвиваємо ресурс на іншому, чистому домені.
12. Сайт позбавлений sitemap - потрібно зробити і додати сайтмап в Google вебмастер.

Буду Вам вдячний, якщо Ви поділитеся в коментарях, чи допомогла Вам надана інформація прискорити індексацію сайту чи ні.

Бажаю Вам успішної індексації!

Вітаю всіх на нашому інтернет-журналі. Я - Вольдемар Воронцовський. Цей матеріал написаний і опублікований одним з наших авторів (експертом у своїй справі). За кожною статтею стоїть досвідчений співробітник нашої команди, який перевірив матеріал на помилки і актуальність. Познайомитися з нами можна в розділі - «Редакція сайту».

Підписуйтесь на наш канал в Telegram 👉 там все про крипту та інвестиції

• Створення сайту на CMS
• Як уберегтися від прихованих посилань і вірусів шаблонів для Joomla та WordPress?