Про урлы можно прочитать здесь, в общем виде он выглядит так:
<схема>:[//[<логин>:<пароль>@]<хост>[:<порт>]][/]<URL‐путь>[?<параметры>][#<якорь>]
<схема> должна быть https, при попадании на http должен быть 301 редирект на соответсвующую страницу но на https
[<логин>:<пароль>@] этого не должно быть вообще, при попадании на урл с такими параметрами, нужно делать 301 редирект на соответствующую страницу, например все ссылки ниже редиректят на страницу http://www.v3toys.ru/index.php?nid=528995&utm_source=main_page adsgggg:[email protected]/index.php?nid=528995&utm_source=main_page
<хост> (он же домен) должен быть один единственный канонический, если хост не совпадает тютелька в тютельку с каноническим значит делаем 301 редирект на канонический хост (с сохранением всех параметров), например все ссылки ниже редиректятся на страницу http://www.v3toys.ru/index.php?nid=528995&utm_source=main_page
v3toys.ru/index.php?nid=528995&utm_source=main_page
aasdfg.v3toys.ru/index.php?nid=528995&utm_source=main_page
aasdfg.v3toys.ru:80/index.php?nid=528995&utm_source=main_page
v3toys.ru./index.php?nid=528995&utm_source=main_page
aasdfg.v3toys.ru./index.php?nid=528995&utm_source=main_page
w3toy.ru/index.php?nid=528995&utm_source=main_page
aasdfg.w3toy.ru/index.php?nid=528995&utm_source=main_page
w3toy.ru./index.php?nid=528995&utm_source=main_page
aasdfg.w3toy.ru./index.php?nid=528995&utm_source=main_page
<порт> - если порт 80, тогда нужно делать редирект на урл без порта (с сохранением всех остальных параметров), иначе должно не работать, например все ссылки ниже редиректятся на страницу http://www.v3toys.ru/index.php?nid=528995&utm_source=main_page v3toys.ru:80/index.php?nid=528995&utm_source=main_page v3toys.ru.:80/index.php?nid=528995&utm_source=main_page aasdfg.v3toys.ru.:80/index.php?nid=528995&utm_source=main_page w3toy.ru:80/index.php?nid=528995&utm_source=main_page aasdfg.w3toy.ru:80/index.php?nid=528995&utm_source=main_page w3toy.ru.:80/index.php?nid=528995&utm_source=main_page aasdfg.w3toy.ru.:80/index.php?nid=528995&utm_source=main_page
<URL‐путь> (он же путь) начинается с символа / и заканчивается на символе ?. Должен быть один единственный, если путь не совпадает, значит понадобится редирект на правильный путь. Путь на 100% влияет на канонил и тайтл. В роботсе мы можем закрыть путь если реально хотим закрыть раздел от видимости пс.
<параметры> бывают четырех типов ключевые(core), важные(important), незначимые(minor) и мусорные(trash). ключевые параметры по-сути являются частью пути, по ним определяется что это за страница (вместе с путем). Ключевые параметры на 100% влияют на каноникл и тайтл, как и путь. Их мы в роботсе закрываем по тем же правилам что и пути. Примеры ключевых параметров: nid cPath products_id важные параметры влияют на контент страницы (расположение, сортировка и т.д.). Важные параметры не влияют ни на каноникл ни на тайтл, поэтому в роботсе мы их закрываем от индексации потому что иначе яндекс потратит время на загрузку наших страниц, чтобы тут же их выкинуть как неканонические. Перечислять их в директиве Clean-Param, тк это является прямым нарушением рекомендаций яндекса “Если адреса страниц сайта содержат динамические параметры, которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т. п.), вы можете описать их с помощью директивы Clean-param.”. Примеры важных параметров: _filters _sorts num page незначимые параметры совсем никак не влияют на контент страницы, но могут нести какую-то доп информацию для cms и/или статистики. Естественно незначимые параметры никак не влияют ни на каноникл ни на тайтл. Закрывать их от индексации в роботсе нет смысла, тк они отлично подходят под директиву Clean-Param. Примеры незначимых параметров: utm_source utm_term from _openstat мусорные параметры это любый другие (кроме ключевых, важных и незначимых) параметры которые могут прийти на страницу. Они совсем никак не влияют на контент страницы, мы об них ничего не знаем и их не ожидаем, поэтому никакой полезной информации они для нас нести не могут. Естественно мусорные параметры не влияют ни на каноникл ни на тайтл. Так как таких параметров неограниченное количество то в роботсе их не закрыть не получится (невозможно их всех перечислить). Поэтому cms должна обрабатывать делать 301 редирект на эту же страницу оставляя только ключевые, важные и незначимые параметры. Примеры мусорных параметров: blabla asdgasg text pid
- Также стоит обратить внимание что если для страницы поиска параметр text будет являться важным (или даже ключевым), то для страницы карточки товара он же будет являться мусорным.
- Порядок следования параметров важен! Внутри каждой группы параметры должны следовать строго отсортированными по названию, сами группы так же должны следовать одна за другой в следуюем порядке: ключевые, важные, незначимые (мусорных параметров быть не должно, если они есть сразу 301 редирект на страницу без них). Если порядок следования параметров не соблюден страница должна отдавать 301 редирект на ту же самую страницу, но с правильным порядком параметров. В каноникл должен попадать урл уже с правильным порядком следования параметров. <якорь> по-сути можно относить к мусорным параметрам со всеми вытекающими