Як покращити індексацію сайту?

Індексація сайту - процес перевірки та додавання інформації про сайт пошуковими ботами до своїх баз даних.

До обробки підлягає весь код сайту. Чим швидше і частіше роботи індексують сторінки, тим швидше ваш сайт просуватиметься у пошуку, набиратиме позиції та авторитет.

1. Чинники, які впливають на частоту індексації сайту пошуковими системами

Крім очевидних проблем із внутрішньою оптимізацією сайту (помилки у файлах robots.txt, sitemap.xml), які можуть ускладнювати індексацію, на частоту обходу роботами ресурсу впливають:

• доступності ресурсу для пошукових систем та користувачів;

Сайт має бути доступний 24/7. Якщо при обході роботи не змогли його просканувати, можливе випадання спочатку сторінок з індексу, а потім і самого ресурсу. Зазвичай ці труднощі виникають через проблеми зі зв'язком сервера, DDoS-атаками та ін..

• швидкість завантаження сторінок;

Важливо враховувати продуктивність сервера, навантаження на нього та час відповіді сервера. Якщо завантаження вебпроєкту перевищує 2 секунди, індексація страждає. Чим швидше завантажується вебпроєкт, тим швидше пошуковий робот проіндексує сторінки.

2. Як самостійно перевірити індексацію сайту

У цьому пункті дивимося загальну кількість сторінок сайту, доданих у Пошук.

 

1. Панель вебмайстрів Google

В Google це сервіс Google Search Console. 

 

2. Оператори в пошукових запитах

Проженемо ресурс через пошукових операторів (site - для сайту, info - для окремих сторінок).

Google:

 

 

3. Онлайн-сервіси перевірки:

• xseo.in;
• та інші.

4. Платні сервіси, розроблені компанією Netpeak: Netpeak Spider та Netpeak Checker.

 

3. Причини проблем з індексацією сайту

Найпоширеніші причини проблем індексації:

• недостатність історії (новизна ресурсу для пошукових систем);

Якщо сайт молодий, то для того, щоб про нього дізнався бот, має пройти якийсь час. Потрібно просто трохи почекати, поки боти до нього дістануться.

• сайт під санкціями;

При придбанні домену необхідно перевірити його на наявність санкцій. Перевірити можна тут archive.org/web/. Якщо ви займаєтеся сайтом давно, то накладення санкцій ви відчуєте після просідання трафіку та позицій.

• нелогічна структура об'єкта;

Продумана проста структура зрозуміла не лише роботу, а й покупцю. Не робіть рівень вкладеності понад 4 - адже чим більше вкладеність, тим менш важлива ця сторінка для пошуку.

• технічні баги;

Це відсутність дублів, проблем із кодуванням, 404 сторінок, неправильно зроблених 301 редиректів, помилок у файлі robots.txt. Код відповіді сервера має бути коректним.

• недоступність для робота;

Сайт закритий у файлі robots.txt, або є надлишок тегів noindex. У тезі meta-robots заборонено індексацію такої конструкції.

• погана якість сайту або окремих сторінок.

Неунікальний контент як усередині сайту, так і щодо інших сайтів. Дублі метаданих та заголовків.

4. Інструменти для прискорення індексації сайту

Ми об'єднали всі методи прискорення індексації сайту у 2 групи.

 

1. Пінг. Повідомляють пошукові системи про появу нових сторінок або змін на майданчику. Деякі пінг-сервіси:

• rpc.pingomatic.com;
• ping.feedburner.com;
• api.feedster.com/ping;
• api.my.yahoo.com/ping;
• blogsearch.google.com/ping/RPC2.

Ми кожну нову статтю та кейс індексуємо через пінг-сервіси.
Обов'язково використовуйте їх у роботі при додаванні нових матеріалів на ресурс.

 

2. Зовнішні посилання (каталоги, рейтинги, соцмережі).

Пошукові роботи люблять ці канали передачі інформації, і пошукові роботи, можна сказати, живуть на цих сайтах, а якщо вони містять посилання переходу на ваш сайт, то шанси на швидке влучання в індекс зростають. Постарайтеся відібрати найбільш значущі та вагомі. Наприклад:

• довідники (goldenpages.ua, meta.ua та ін.);
• топ сторінок новин Google з вашого тематичного запиту;
• прайс-агрегатори (hotline.ua, price.ua, ek.ua та ін.);
• майданчики-каталоги (all.biz, ukraina.net.ua, catalog.i.ua та ін.);
• тематичні спільноти у соцмережах з вашою ЦА.

Висновки

У будь-якому випадку, почати слід з грамотної оптимізації ресурсу:

• виправити усі технічні помилки;
• оптимально збудувати структуру сайту;
• відстежувати правильність інструкцій у файлі robots.txt;
• систематично оновлювати sitemap.xml;
• оптимізувати швидкість завантаження сайту;
• регулярно оновлювати контент;
• збільшувати переходи із зовнішніх ресурсів.