Страница удаления URL-адресов Google содержит немного полезной информации, которой нет на их страницах с информацией для веб-мастеров.
Google поддерживает использование подстановочных знаков в файлах robots.txt. Это не часть оригинального протокола robots.txt 1994 года, и, насколько я знаю, не поддерживается другими поисковыми системами. Чтобы это работало, вам нужно добавить отдельный раздел для Googlebot в ваш файл robots.txt. Пример:
Пользователь-агент: Googlebot Disallow: / * сортировка =
Это остановит Googlebot от чтения любого URL, который содержит строку «sort =», независимо от того, где эта строка находится в URL.
Таким образом, если у вас есть корзина для покупок и вы используете переменную «sort» в некоторых URL-адресах, вы можете запретить роботу Googlebot читать отсортированный (но в основном дублирующий) контент, который ваш сайт создает для пользователей.
Каждая поисковая система должна поддерживать это. Это сделало бы реальную жизнь намного проще для людей с динамическими сайтами, а искусственная жизнь намного проще для пауков.