Директивы noindex в файле robots.txt, использование Google

Директива noindex в файле robots.txt (не путать с атрибутом noindex в мета-теге robots) позволяет скрывать страницы от индексации поисковыми системами. Однако её использование настолько редкое, что даже среди SEO-специалистов о ней знают далеко не все. Более того, эта директива поддерживается только Google, и её статус может измениться в ближайшем будущем.

Google официально заявил, что директива noindex в robots.txt не учитывается поисковиком. Эту позицию недавно подтвердил сотрудник компании Джон Мюллер в своём аккаунте в Twitter.

Тем не менее SEO-эксперт Мари Хэйнс выразила сомнение в достоверности данного заявления. Она указала, что, несмотря на официальную позицию, директива всё ещё применяется на практике. В дискуссию вступил другой представитель Google, Гэри Илш, который подтвердил, что noindex всё же присутствует в коде Googlebot, но намекнул, что в будущем её поддержка может быть прекращена.

Кроме того, один из участников обсуждения отметил, что директива может быть полезна в определённых сценариях. В ответ на это Гэри Илш пообещал изучить вопрос более детально и провести анализ её практической ценности. Также он заявил, что обсуждение дальнейшей судьбы директивы будет вынесено на рассмотрение руководства Google.