Работа с нумерацией страниц, бесконечной прокруткой и JavaScript в кимоно

Еще в июле 2014 года я опубликовал руководство Web Scraper по кимоно . Будучи веб-скребком, я пришел к выводу, что кимоно, финансируемое YC, определенно сделало похвальную работу, но я также критически относился к ее недостаткам — что наиболее важно, к ограничениям нумерации страниц. С тех пор я внимательно слежу за развитием событий в Лаборатории Кимоно.

В частности, за последний месяц они выпустили немало новых функций, некоторые из которых посвящены вопросам нумерации страниц, которые я поднял в своем предыдущем посте. Поэтому я решил вернуться к кимоно и посмотреть на эти новые улучшения.

Изменения JavaScript в результатах API

Первая функция, которую мы рассмотрим, — это добавление JavaScript API. Недавно он был добавлен в качестве экспериментальной функции, которая позволяет изменять результаты после извлечения их через созданный вами API.

У него много потенциальных применений. Часто видно, что данные, которые мы извлекаем из веб-страниц, не имеют желаемого формата, и для их полировки требуется постобработка. Позволяя нам создавать функции JavaScript, которые модифицируют извлеченные данные, Kimono позволяет нам ускорить процесс, устраняя необходимость в любой точной настройке данных.

Чтобы продемонстрировать такую ​​функцию, давайте выберем старый API, который мы создали, из списка API, доступных вам после входа в свою учетную запись. На вкладке «Изменить результаты» вы можете увидеть текстовое поле, в котором вы можете ввести функцию JavaScript, которая будет применяться к вашим результатам.

Предоставляемый мини-редактор весьма полезен, так как в режиме реального времени сообщает, есть ли ошибки в вашем коде. Давайте попробуем добавить общее количество результатов

function transform(data) {    
  var total_count = 0,
    length = data.results.length;

  for (var i = 0; i < length; i++) {
    total_count += data.results[i].length;
  }

  data.totalCount = total_count;

  return data;
}

Самое приятное в этом улучшении заключается в том, что оно не применяется автоматически к вашим данным при каждом вызове API. Чтобы применить функцию изменения к конечной точке, вам нужно изменить вызов API. Например, если ваш вызов API был следующим:

 https://kimonolabs.com/api/[API_URL]?apikey=[yourAPIkey]

Вам нужно добавить параметр GET kimmodify1 Ваш измененный URL выглядит примерно так.

 https://kimonolabs.com/api/[API_URL]?apikey=[yourAPIkey]&kimmodify=1

Кимоно также позволяет отправлять пользовательские переменные в эту функцию с помощью переменных GET. Например, если вам нужно отправить параметр myVartest

 http://www.kimonolabs.com/apis/<API_ID>/?apikey=<API_KEY>&myVar=test

Эта переменная доступна с глобальной областью действия в вашей функции. Доступ к нему можно получить, как показано ниже.

 query.myVar == 'test'; // true

Для получения подробной информации о JavaScript API вы можете обратиться к сообщению в блоге от Kimono .

Бесконечная прокрутка

В прошлый раз, когда я просматривал Кимоно, он никак не мог соскрести данные со страниц с бесконечной прокруткой . Однако недавно Кимоно объявил о новой функции, которая делает именно это . Давайте посмотрим, как мы можем использовать эту функцию, убрав в Twitter ленту новостей Domino’s India .

Когда вы создаете API через интерактивный букмарклет Kimonofy, обратите внимание на кнопку с символом бесконечности на панели кнопок в правом верхнем углу.