Пару лет назад я сообщал, что 51% всего трафика сайта был не человеческим . Исследование, проведенное Incapsula , было обновлено. Мы стали меньшинством: трафик ботов достиг 61,5%. Я говорю «мы»; есть только 38,5% шансов, что ты человек.
Данные отчета были получены от 20 000 клиентов, которые пользуются услугами безопасности Incapsula. Это компании, которые особенно заботятся о безопасности или получают неприятные кибератаки. Они вряд ли представляют средний веб-сайт, но относительный рост трафика ботов должен быть применим.
Распределение указывает:
- 38,5% составляют биологические объекты. В основном люди, несколько кошек и разные несекретные существа.
- 31,0% — поисковые машины и другие индексирующие боты (рост на 55%).
- 5,0% — это скребки (без изменений). Если вы читаете это где-то, кроме SitePoint.com , вы просматриваете ленивую копию оригинальной страницы. Это не будет так приятно!
- 4,5% — хакерские инструменты (снижение на 10%). Как правило, это вредоносные программы, атаки на сайты и т. Д.
- 0,5% — спамерский трафик (снижение на 75%). Это боты, которые публикуют фишинговый или раздражающий контент в блогах. Любые отрицательные комментарии ниже будут, конечно, не от людей.
- 20,5% составляют другие подражатели (до 8%). Это атаки на отказ в обслуживании и сбор маркетинговой информации.
Общий вывод: за 18 месяцев трафик ботов вырос на 21%. Тем не менее, большая часть этого роста произошла от приятных хороших ботов, которые имеют наши интересы в глубине души (или это должен быть процессор?)
Паники безопасности
Степень цинизма здорова. Incapsula — охранная компания; рост запугивания имеет прямую связь с их нижней чертой. Тем не менее, многие компании особенно слабо относятся к безопасности, пока не стало слишком поздно. Ни одна система никогда не будет на 100% безопасна, но большинство из них пойманы базовыми SQL-инъекциями или социальной инженерией. Никогда не стоит недооценивать изобретательность взломщиков … или наивность вашего босса .
Почему посетители вашего сайта падают
Рост индексации ботов более интересен. Мы приближаемся к переломному моменту, когда желаемая информация не обязательно будет получена с веб-сайта, на котором она появилась. Это уже происходит …
- Если вам нужны контактные данные компании, вы вводите имя в поисковой системе, и оно появляется вместе с картой и указаниями.
- Если вам нужна информация о товаре, вы вводите его название и можете мгновенно просматривать технические характеристики, цены и отзывы.
- Вы хотите найти ближайший индийский ресторан; он волшебным образом появляется на карте на вашем смартфоне.
Ни в коем случае вы не посещали официальный сайт компании. Данные копируются и перепаковываются для более удобного использования на альтернативном устройстве, таком как смартфон, часы или очки Google.
Этот вид деятельности происходит в течение многих лет, но он довольно прост, и вы можете искать один или два взаимосвязанных фактора. Реальная проблема будет заключаться в неявных совместных запросах данных, например, «найти специалиста по отоплению, который работал на моих соседей» или «найти все агентства веб-дизайна в Нью-Йорке с красным логотипом» . Поисковая система или приложение могут уточнить данные до нескольких релевантных результатов, а не тысяч ссылок на веб-сайты. Рост активности индексирования веб-ботов неизбежно усилится.
Конечно, бизнес-сайт останется незаменимым, но наличие сайта, который может кормить ботов, становится все более важным. Прямой трафик людей на ваш веб-сайт может даже упасть, но количество потенциальных покупателей на основе ботов возрастет Если вы этого еще не сделали, пришло время инвестировать в машиночитаемые данные, например,
- форматы структурированных данных от Schema.org
- фиды данных по конкретным товарам, такие как товары и услуги
- обнаруживаемые API REST на основе URL
- RSS и каналы сайта.
Боты могут работать на нас, но они быстро становятся нашими хозяевами.