Robots.txt у 2026: як створити, перевірити й не зламати індексацію
Практичний гід по robots.txt: що можна закривати, що не можна, чому robots не видаляє сторінки з Google і як зв'язати файл із sitemap.
Дерево рішень robots.txt
Robots керує скануванням. Це не інструмент приватності або деіндексації.
Robots.txt — маленький файл із великим ризиком. Один рядок може закрити важливі сторінки від сканування, а інший — залишити в обході сміттєві фільтри, параметри й технічні розділи.
Головне правило: robots.txt керує скануванням, а не гарантованим видаленням URL із пошуку. Google прямо попереджає: не використовуйте robots.txt як спосіб сховати вебсторінки з результатів.
Що можна робити через robots.txt
| Завдання | Підходить robots.txt? | Коментар |
|---|---|---|
| Зменшити crawl waste | так | фільтри, параметри, службові папки |
| Закрити CSS/JS | зазвичай ні | Google має розуміти сторінку |
| Видалити сторінку з індексу | ні | потрібен noindex або видалення URL |
| Вказати sitemap | так | корисно для пошукових систем |
| Сховати приватні дані | ні | використовуйте авторизацію, не robots |
Базовий приклад
User-agent: *
Disallow: /wp-admin/
Disallow: /*?sort=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
Перед публікацією перевірте, чи не закриваєте сторінки послуг, блог, зображення, CSS і JS, потрібні для рендерингу.
Типові помилки конкурентів
- закривають весь сайт рядком
Disallow: /; - блокують ресурси теми й ламають розуміння сторінки;
- закривають URL, але чекають, що вони зникнуть з індексу;
- забувають sitemap;
- не перевіряють robots після редизайну або міграції.
Наступний крок: якщо є сумніви, почніть із технічного аудиту, потім перевірте сайт в UNmiss і додайте sem.chat, щоб користувачі не губилися після переходу з пошуку.
Джерела
Чому ШІ цитує ваш сайт, але не називає бренд
Розібрав 751 відповідь Google AI Overview по своєму домену і знайшов фактор, який вирішує, чи назвуть бренд: місце посилання у списку джерел. Плюс шість запитів, якими перевірити свій бренд за десять хвилин.
Читати →
Оптимізація зображень для SEO: alt, розміри та вага під Core Web Vitals
Як оптимізувати зображення для SEO у 2026: навіщо потрібен alt, чому width і height прибирають стрибки верстки (CLS), які формати (WebP, AVIF) і як не зламати LCP лінивим завантаженням. Розбір від SEOquick.
Читати →
Досить вести блог заради блогу: запускайте AI-інструменти, які дають SEO-трафік і ліди
Чому нескінченні статті більше не дають колишнього ефекту і як створювати AI-інструменти, калькулятори та інтерактивні сторінки для SEO, GEO і конверсії.
Читати →Хочете застосувати це до свого сайту?
Розберемо поточну ситуацію, знайдемо перші точки зростання й запропонуємо формат роботи без зайвої теорії.
