Robots.txt для коммерческого проекта на WordPress

Это вариант файла для блогов и других проектов без функции личного кабинета и корзины.
  • User-agent: *      # установили общие правила для роботов
  • Disallow: /cgi-bin      # закрыли системную папку, которая находится на хостингеDisallow: /?      # обобщили все параметры запроса на главной странице сайта
  • Disallow: /wp—      # все специальные WordPress-файлы: /wp-json/, /wp-content/plugins, /wp-includes
  • Disallow: *?s=      # здесь и далее перечисление запросов поиска
  • Disallow: *&s=
  • Disallow: /search/
  • Disallow: */trackback      # закрыли трекбеки — уведомления о появлении ссылки на статью
  • Disallow: */feed      # новостные ленты полностью
  • Disallow: */rss      # rss-ленты
  • Disallow: */embed      # все встраивания
  • Disallow: /xmlrpc.php      # файл API WP
  • Disallow: *utm*=      # все ссылки, у которых прописаны UTM-метки
  • Disallow: *openstat=      # все ссылки, у которых прописаны openstat-метки
  • Allow: */uploads      # открыли доступ к папке с файлами uploads
  • Allow: /*/*.css      # доступ к css-файлам внутри /wp-, также уточнили /*/ для приоритета
  • Allow: /wp-*.png      # доступ к картинкам в плагинах, папке cache и других в формате png
  • Allow: /wp-*.jpg      # то же самое для формата jpg
  • Allow: /wp-*.jpeg      # для формата jpeg
  • Allow: /wp-*.gif      # и для анимаций в gif
  • Allow: /wp-admin/admin-ajax.php      # открыли доступ к этому файлу, чтобы не блокировать JS и CSS для плагинов
Sitemap: https://site.ru/sitemap.xml

Robots.txt для интернет-магазина (WooCommerce)

Похожий файл, но со спецификой интернет-магазина на платформе WooCommerce на базе WordPress. Закрываем то же самое, что в предыдущем примере, плюс страницу корзины, а также отдельные страницы добавления в корзину и оформления заказа пользователем.
  • User-agent: *
  • Disallow: /cgi-bin
  • Disallow: /?
  • Disallow: /wp-
  • Disallow: /wp/
  • Disallow: *?s=
  • Disallow: *&s=
  • Disallow: /search/
  • Disallow: */trackback
  • Disallow: */feed
  • Disallow: */rss
  • Disallow: */embed
  • Disallow: /xmlrpc.php
  • Disallow: *utm*=
  • Disallow: *openstat=
  • Disallow: /cart/
  • Disallow: /checkout/
  • Disallow: /*add-to-cart=*
  • Allow: */uploads
  • Allow: /*/*.js
  • Allow: /*/*.css
  • Allow: /wp-*.png
  • Allow: /wp-*.jpg
  • Allow: /wp-*.jpeg
  • Allow: /wp-*.gif
  • Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap.xml