Robots.txt у 2026: як створити, перевірити й не зламати індексацію
Практичний гід по robots.txt: що можна закривати, що не можна, чому robots не видаляє сторінки з Google і як зв'язати файл із sitemap.
Дерево рішень robots.txt
Robots керує скануванням. Це не інструмент приватності або деіндексації.
Robots.txt — маленький файл із великим ризиком. Один рядок може закрити важливі сторінки від сканування, а інший — залишити в обході сміттєві фільтри, параметри й технічні розділи.
Головне правило: robots.txt керує скануванням, а не гарантованим видаленням URL із пошуку. Google прямо попереджає: не використовуйте robots.txt як спосіб сховати вебсторінки з результатів.
Що можна робити через robots.txt
| Завдання | Підходить robots.txt? | Коментар |
|---|---|---|
| Зменшити crawl waste | так | фільтри, параметри, службові папки |
| Закрити CSS/JS | зазвичай ні | Google має розуміти сторінку |
| Видалити сторінку з індексу | ні | потрібен noindex або видалення URL |
| Вказати sitemap | так | корисно для пошукових систем |
| Сховати приватні дані | ні | використовуйте авторизацію, не robots |
Базовий приклад
User-agent: *
Disallow: /wp-admin/
Disallow: /*?sort=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
Перед публікацією перевірте, чи не закриваєте сторінки послуг, блог, зображення, CSS і JS, потрібні для рендерингу.
Типові помилки конкурентів
- закривають весь сайт рядком
Disallow: /; - блокують ресурси теми й ламають розуміння сторінки;
- закривають URL, але чекають, що вони зникнуть з індексу;
- забувають sitemap;
- не перевіряють robots після редизайну або міграції.
Наступний крок: якщо є сумніви, почніть із технічного аудиту, потім перевірте сайт в UNmiss і додайте sem.chat, щоб користувачі не губилися після переходу з пошуку.
Джерела
Биті посилання та ланцюжки редиректів: як прибрати 3XX, 4XX і 5XX та не зливати вагу
Биті посилання й зайві редиректи тихо крадуть трафік, краул-бюджет і посилальну вагу — а ще викидають сайт із відповідей AI. Розбираємо на пальцях, чим це шкодить і як звести хопи до нуля.
Читати →
Merchant Center під AI Mode: як готувати товарний фід до розмовного шопінгу у 2026
Google AI Mode змінює товарний пошук: звичайного фіда вже мало. Розбираємо нові атрибути Merchant Center, за що банять магазини і з чого почати власнику.
Читати →
Оптимізація зображень для SEO: alt, розміри та вага під Core Web Vitals
Як оптимізувати зображення для SEO у 2026: навіщо потрібен alt, чому width і height прибирають стрибки верстки (CLS), які формати (WebP, AVIF) і як не зламати LCP лінивим завантаженням. Розбір від SEOquick.
Читати →Хочете застосувати це до свого сайту?
Розберемо поточну ситуацію, знайдемо перші точки зростання й запропонуємо формат роботи без зайвої теорії.
