User-agent: * Allow: / # Служебные страницы покупателя — в поиске бесполезны и создают дубли. Disallow: /cart Disallow: /cart.html Disallow: /checkout Disallow: /checkout.html Disallow: /colors Disallow: /colors.html # Каждая страница открывается и с .html, и без него. В индекс пускаем ТОЛЬКО # чистые адреса (они в sitemap.xml), .html-дубли закрываем — иначе поисковик # видит два адреса с одинаковым содержимым и сам выбирает, какой показать. Disallow: /index.html Disallow: /catalog.html Disallow: /product.html Disallow: /contacts.html Disallow: /delivery.html Disallow: /care.html Disallow: /size-guide.html # Правовые документы (политика ПДн, оферта, возврат) живут на /page.html?slug=… # и раньше были закрыты целиком. Их индексация — в интересах магазина: наличие # доступных условий продажи подтверждает добросовестность продавца, а покупатель # ищет их поиском. Открываем адреса с параметром slug, сам /page без параметра # (пустая страница-контейнер) остаётся закрытым. Allow: /page.html?slug= Disallow: /page$ Disallow: /page.html$ Sitemap: https://rubberdpt.ru/sitemap.xml