новые правила обработки директив allow

# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

# запрещает скачивать страницы, начинающиеся с '/catalog',

# разрешает скачивать только страницы,

«Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом».

Кроме того, был изменён раздел помощи Яндекса по использованию robots.txt, там про совместное использование директив изложено более доступным языком и даже приведены примеры:

7 марта 2012 года все веб-мастера, имеющие учётную запись в сервисе Яндекс.Вебмастер, получили сообщение об изменениях в обработке директивы 'Allow' файла robots.txt. Теперь, если страница сайта попадает под действие сразу нескольких директив 'Allow' или 'Disallow', будет применена директива с наибольшей длиной префикса URL. Спецсимвол * при определении длины префикса не учитывается. В случае возникновения конфликта между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

Новые правила обработки директив Allow и Disallow в файлах robots.txt

Новые правила обработки директив Allow и Disallow в файлах robots.txt | Корпоративный блог CASTCOM