Чому сайт не індексується

Категорія: Створення сайтів Опубліковано: Четвер, 05 травня 2016

Сайт не індексується Здрастуйте, шановні читачі блогу ITstatti.in.ua. 

Отже, Ви створили сайт, наповнили його унікальним контентом, після чого додали цей сайт в найбільш популярні пошукові системи, такі як Яндекс і Google, але сайт чомусь погано індексується або не індексується взагалі. У даній статті я розповім Вам про основні причини поганої індексації сайту, а також дам кілька порад, які можуть прискорити процес потрапляння сторінок сайту в пошукові системи.

Перш ніж впадати в паніку, давайте з'ясуємо, як довго може індексуватися сайт після додавання його в пошукових системах, і, коли потрібно починати нервувати.

 

У більшості випадків сайт починає індексуватися десь через 2-4 тижні. Буває і швидше (навіть на наступний день!). Якщо ж сайт не індексується довше ніж місяць, то тут вже треба починати вживати заходів щодо усунення причин, які перешкоджають індексації сайту. Краще, звичайно, спочатку подбати про те, щоб даних перешкод не було...

Чому сайт не індексується

Для початку, давайте розглянемо основні причини, по яким індексація сайту може бути утруднена:

Неунікальний контент. Статті на сайті повинні бути унікальними, тобто вони не повинні зустрічатися на інших сайтах. Особливо пошукові системи не люблять сайти з неунікальним контентом, які торгують посиланнями. Такі сайти рано чи пізно (а останнім часом це дуже часто відбувається) потрапляють під фільтр ПС, з якого практично неможливо вибратися і сторінки таких сайтів назавжди зникають з пошуку. Якщо ж сайт мав неунікальний контент, але посилання з нього не продавалися, то є шанс, що сайт буде нормально індексуватися і ранжируватися, після того, як на Вашому сайті з'являться унікальні статті.

Переоптімізація, переспам. Не варто зловживати кількістю ключових фраз у статті, а також тегами <strong>, <em> <i>, <b> і т. д. Все повинно виглядати природно і невимушено.

Неякісний контент. Думаю, що не треба пояснювати, що таке неякісний контент. Кожен з нас знає, яку він написав статтю — для людей або для пошукових роботів...

Сайт є дзеркалом іншого сайту. Тут мається на увазі ситуація, коли існує сайт з абсолютно унікальним контентом, але за змістом і структурою він повністю або частково копіює інший сайт. Такі сайти також можуть потрапити під фільтр пошукових систем. Принаймні, Яндекс такі сайти не дуже любить і, якщо помічає, «склеює» їх з «головним дзеркалом» всіх сайтів.

Індексація сайту заборонена у файлі robots.txt. Буває так, що веб майстер випадково може заборонити індексацію сайту в файлі robots.txt. Так що в першу чергу перевіряйте саме цей файл. Якщо Ви не знаєте, що таке robots.txt, то в розділі «Використання robots.txt» від сервісу «Яндекс.Вебмастер», все дуже добре розписано.

Індексація сайту заборонена у мета тегах. Перевірте обов'язково HTML-код сторінки сайту. Якщо в коді присутня код <meta name="robots" content="noindex,nofollow" />, то це означає, що пошуковим роботам заборонено індексувати сторінку, про що говорить команда noindex, і переходити по посиланнях на сторінці (команда nofollow). Існує аналогічний мета тег <meta name="robots" content="none"/>. Даний мета тег також забороняє індексувати текст і переходити по посиланнях на сторінці.

Продаж ссилок з сайту. Яндекс не проти того, щоб власник сайту трохи (або багато) заробив на продажу ссилок зі свого сайту. Але, якщо Ви продаєте занадто багато ссилок (а скільки, це «занадто багато», відомо тільки Яндексу), то це може спричинити за собою масове випадання сторінок з індексу. Також Ви повинні розуміти, що якщо Ви хочете заробляти на сайті за рахунок продажу ссилок, то цей сайт повинен бути дійсно корисним для користувачів Інтернету (ну або хоча б трохи корисним), ну і, звичайно ж, сайт повинен мати унікальні статті. На рахунок Гугла таке сказати не можу. Взагалі пошукова система Google намагається індексувати все що можна і що не можна — такий собі монстр індексування (буває, що Google індексує навіть ті сторінки, які заборонені для індексації у файлі robots.txt, якщо на них стоять ссилки), але не всі сторінки він добре ранжує (враховує). Також є думка, що вага сторінки втрачається, якщо на ній занадто багато зовнішніх ссилок — це ще один привід для того, щоб НЕ перетворювати сайт на лінк смітник.

Ссилковий вибух. Якщо в один прекрасний день на невідомий сайт почнуть посилатися відразу тисячі ресурсів, то це може спричинити за собою жорсткі санкції з боку пошукових систем, як по відношенню до сайту, на який посилаються, так і до ссилаючихся сайтів. Загалом, постраждають всі!

Хостинг блокує роботів пошукових систем. На жаль, буває і таке. Так що, користуйтеся послугами перевірених хостингів, які мають хорошу репутацію.

Домен, який Ви купили, був раніше забанений (заблокований) пошуковими системами. Якщо є можливість вивчити історію купується домену, то обов'язково вивчіть її.

Сайт помилково потрапив під фільтр ПС. Таке буває не так часто, але буває (приблизно в 1-2% випадків). Якщо Ви впевнені, що Ваш сайт відповідає всім вимогам стандарту якості пошукових систем, то можна написати їм листа, і через якийсь час (можливо після довгої переписки) Ваш сайт проіндексується.

Багато інші причини, яких так багато, що в одну статтю все просто не поміститься. Вмикайте логіку, аналізуйте сайт, і Ви самі зможете виявити причини, які перешкоджають індексації сайту в ПС.

Як прискорити індексацію сайту

Якщо Ви впевнені, що Ваш сайт не порушує правила гри (назвемо це так), але він все одно не індексується досить тривалий час, то можливо пошукові роботи просто-напросто не можуть знайти Ваш сайт. Ну не можуть вони і все тут! У цьому випадку Вам потрібно допомогти пошукової системи знайти сторінки Вашого сайту, про що ми і поговоримо далі.

Отже, як прискорити індексацію сайту в пошукових системах Яндекс і Гугл:

Крок 1-й: Додайте сайт «Яндекс.Вебмастер» і «центрі веб-майстрів Google», якщо Ви ще цього не зробили. Іноді цього достатньо, щоб сайт нормально індексувався, але не завжди...

Крок 2-й: Налаштуйте правильно файл robots.txt. Закрийте від індексації всі сторінки та папки, які не потрібно індексувати. Навіть, якщо деякі файли немає посилань зі сторінок сайту, то пошукова система все одно може їх проіндексувати. Полегшите роботу пошуковим роботам і пошукові системи обов'язково це оцінять. Для кожного движка є свої рекомендовані налаштування файлу robots.txt, які легко можна знайти в Інтернеті. Але перш ніж використовувати готові рішення, потрібно чітко розуміти, що Ви робите, і, які сторінки закриваєте від індексації, тому я настійно рекомендую Вам все-таки вивчити розділ «Використання robots.txt».

Крок 3-й: Вкажіть файл Sitemap всі сторінки, які потрібно проіндексувати. Багато веб майстри нехтують цим файлом, вважаючи його не настільки значним у процесі індексації сайту, а даремно. Часом саме файл Sitemap може посприяти тому, щоб сайт проиндексировался. І в цьому я зовсім недавно переконався, коли мені дали роботу 3 сайту, у яких була одна загальна проблема — протягом 6-ти місяців у кожного сайту проиндексировалось лише по 2-3 сторінки в пошуковій системі Google. Причому всі ці сайти давно були додані в «центрі веб-майстрів Google і «Яндекс.Вебмастер», а також на багато сторінок з різних сайтів вже були проставлені посилання. Як не дивно, ці сайти вже давно успішно індексувалися в ПС Яндекс, але Гугл, з якихось причин обходили їх стороною. Тоді я вирішив додати файли Sitemap на всі сайти. І що Ви думаєте — буквально через 2-3 тижні всі 3 сайту почали індексуватися в Гуглі. Також я помітив, що якщо додати сайт в панель вебмастера і там же вказати шлях до файлу Sitemap, то сайт нерідко індексується буквально за 1 день! Якщо Ви не знаєте, що таке файл Sitemap, то Ви можете почитати про нього ТУТ (Що таке файл Sitemap?). Практично у кожного движка є свої плагіни, які генерують файл Sitemap, але якщо у Вашого движка немає такої можливості, то Ви можете згенеруватися файл Sitemap за допомогою спеціального сервісу, такого як XML Sitemaps Generator. Просто введіть адресу сайту і натисніть Start, після чого скачайте цей файл і завантажити його по ftp в коневую папку Вашого сайту. Потім вкажіть шлях до файлу Sitemap в панелі вебмастера.

Крок 4-й: Створіть карту сайту. Карта сайту — це сторінка, на якій розміщені всі посилання на сторінки сайту. Карта сайту також допомагає пошуковим роботам швидше проіндексувати сайт. Якщо Вам цікаво, як виглядає карта сайту ITstatti.in.ua, то Ви можете подивитися її на цій сторінці.

Крок 5-й (необов'язково): Прискорити індексацію сайту зовнішніми ссилками. Найефективніший спосіб проіндексувати сайт за допомогою зовнішніх ссилок — це зробити так, щоб на найбільш значущі сторінки Вашого сайту посилалися різні (бажано тематичні) блоги, оскільки саме вони індексуються швидше за все (якщо блог популярний і часто оновлюваний, то він може індексуватися кожні 2 години!). Вічні посилання з блогів на сайті (досить 2-3 посилання на кожну сторінку) Ви можете за допомогою сервісу Blogun або будь-яких інших сервісів.

Що робити, якщо сайт все одно не індексується?

Якщо всі ці поради не допомогли, і Ваш сайт так і не проиндексировался ще один місяць, то тут залишається тільки одне — написати працівникам пошукових систем:

  • Написати Яндексу. Практика показує, що в більшості випадків відповідають наступне: «покращуйте якість свого сайту...». Але не варто зневірятися, якщо Вам дали шаблонний відповідь — це означає, швидше за все, одно, що часу на розгляд сайту зовсім не було. Якщо треба буде, вступите в довгу переписку з Яндексом і відстоюйте свої права. Дайте зрозуміти, що Вам не байдуже Ваш сайт. Якщо Ви абсолютно впевнені в тому, що Ваш сайт якісний, то рано чи пізно з нього знімуть фільтр.
  • Написати Гуглу. Задати питання Гуглу можна російською мовою, але дадуть відповідь Вам на англійській і найчастіше стандартною відповіддю. 1-й відповідь буде приблизно такою: «Ми прийняли Вашу заявку на перегляд сайту... і т. д. і т. п.». 2-ой відповідь, якщо з Вашим сайтом все гаразд, буде приблизно таким: «Ми розглянули Ваш сайт і не знайшли присутності спаму. Чекайте, коли сайт проіндексується.»

Наостанок мені хотілося б дати Вам останню пораду. Не давайте адресу Вашого сайту на різних форумах, блогах та інших ресурсах, і не кажіть нікому, що Ваш сайт ще не проіндексувався. Нечесні люди можуть цим скористатися, вкравши повністю контент з Вашого сайту. Також не варто реєструвати непроіндексованный сайт в каталогах, т. к. власники каталогів можуть перевірити Ваш сайт на наявність сторінок в пошуку і також поцупити сторінки сайту.

Буду Вам вдячний, якщо Ви поділитеся в коментарях, чи допомогла Вам надана інформація прискорити індексацію сайту чи ні.

Бажаю Вам успішної індексації!