Ревалидация и статус «невалидный»

Материал не проверяют один раз, чтобы потом доверять ему всегда. Веб за ним меняется: записи снимают с публикации, адреса меняются, хостинг начинает отказывать роботам. Traffman проверяет дальше, и именно эти повторные проверки называются ревалидацией.

Что запускает повторную проверку

• Плановый цикл. Материалы, уже отмеченные как невалидные, проверяются повторно сами – по расписанию, которое замедляется тем сильнее, чем дольше материал не проходит проверку.
• Клик. Когда посетитель кликает ваш контент в блоке на сайте другого участника, сервис проверяет материал именно в этот момент, прежде чем пропустить посетителя дальше. Результат некоторое время помнится, поэтому серия кликов стоит вашему серверу одного визита, а не одного на каждого посетителя.

Оба пути выполняют те же проверки – см. как работает валидация – и оба обновляют сохранённое состояние материала.

Почему материал становится невалидным

• Страницы больше нет или она перестала быть публичной. Удалена, возвращена в черновики, сделана приватной или защищена паролем.
• Изменился адрес. У сервиса всё ещё старый, и заменить его может только новая отправка.
• Сервер отвечал медленно или был недоступен. Страница, которая заставляет проверку долго ждать, считается непройденной, хотя терпеливый читатель её бы и увидел.
• Вместо страницы ответил файрвол, CDN или фильтр ботов. Часто это опция хостинга, которую никто сознательно не включал, – см. когда защита хостинга блокирует наш сервер.
• Посетителю без куки показывается согласие на куки, пейволл или проверка возраста. Проверка получает этот экран, а не статью, поэтому текст перестаёт совпадать.
• Страницу строят скрипты. В том, что отдаёт сервер, статьи нет – лишь пустой каркас.
• Текст переписали. Как только страница имеет мало общего с тем, что вы предоставили, материал перестаёт с ним совпадать.

Первые три причины появляются и исчезают сами – именно для них и нужен цикл повторных проверок. Остальные требуют изменений с вашей стороны или новой отправки.

Сколько стоит непройденная проверка

Если проверка не проходит в момент клика, посетитель попадает на нашу страницу контент недоступен, а не на ваш сайт. Клик не засчитывается: за него никто не получает поинтов и вы ничего не тратите, но трафик потерян. Поэтому невалидный материал стоит исправить, а не пережидать.

Как повторные проверки распределены во времени

Сервис возвращается к невалидным материалам сам, но не с неизменной частотой и не бесконечно. Первая повторная проверка происходит через несколько часов; после каждой следующей неудачи ожидание растёт – сначала до дней, потом до недель. Поэтому сайт, который ненадолго был недоступен, возвращается в обмен быстро, а материал, сломанный давно, не запрашивается снова и снова.

После долгой череды неудач – примерно через полтора месяца – материал выходит из цикла, и автоматически его больше не проверяют. Одна успешная проверка в любой момент сбрасывает всё: материал становится валидным, а возможная следующая неудача считается с начала.

Контент неактивного клиента пропускается полностью: его никому не предлагают, поэтому и проверять нечего.