Статьи

API REST для Twitter из Scala и Java с использованием указателя

Январь 31, 2019
Если вы читали некоторые другие статьи в этом блоге, вы можете знать, что мне нравится создавать визуализации различных наборов данных. Я только начал небольшой проект, где я хочу визуализировать некоторые данные из Twitter. Для этого я хочу получать информацию о подписчиках и информацию в профиле прямо из твиттера. Я фактически начал искать набор всех учетных записей в Твиттере, но смог найти только тот, которому было два года. Таким образом, единственная оставленная опция — получить прямой доступ к Twitter API и получить данные самостоятельно.

Существует пара библиотек с открытым исходным кодом, которые мы можем использовать непосредственно из Scala (или Java), но, насколько я мог видеть, они используют старый API v1, а не API v1.1. Старый API имеет очень строгий предел скорости передачи данных, который немного легче в новом API. И, кроме того, меня больше интересуют необработанные данные и анализ возвращаемого JSON не так уж и сложен в Scala (или Java в этом отношении).

Зарегистрируйте приложение в твиттере

Первое, что нужно сделать, и самый простой способ начать работу — зарегистрировать новое приложение для вашей учетной записи в Twitter. Перейдите на https://dev.twitter.com/apps/new и создайте новое приложение. Не беспокойтесь о URL, так как мы не будем использовать механизм обратного вызова OAuth:

В зависимости от того, что вы хотите сделать с API, вам нужно дать дополнительные разрешения для этого приложения. По умолчанию «только для чтения», если вы хотите разрешить новому приложению публиковать или получать доступ к вашим прямым сообщениям, вам необходимо обновить разрешения. Это делается на странице настроек вашего приложения:

После того как вы создали приложение и настроили правильные разрешения, вы можете сгенерировать токен доступа. Это позволит избежать необходимости проходить весь танец OAuth. Для этого перейдите к деталям вашего нового приложения и в нижней части выберите опцию «создать мой токен доступа».

Теперь у вас будет набор токенов (см. Детальную часть ваших приложений):

Мы будем использовать эти токены для аутентификации запросов, которые мы отправим в твиттер.

Использование библиотеки OAuth

Протокол OAuth является довольно хорошо документированным протоколом, но его реализация требует много работы и очень подвержена ошибкам. К счастью, есть много библиотек OAuth, которые могут вам помочь. Я пробовал пару, и тот, который наиболее прост в использовании (по крайней мере для меня), был указателем . Приведенные ниже примеры показывают, как сделать это из Scala, но вы можете использовать тот же подход для Java.

Сначала о зависимостях. Я использовал sbt и из Signpost я использую клиента с поддержкой общих HTTP. В SBT добавить следующее:

1
2
3
4
5
6
7
..
libraryDependencies ++= Seq(
 'oauth.signpost' % 'signpost-core' % '1.2',
 'oauth.signpost' % 'signpost-commonshttp4' % '1.2',
 'org.apache.httpcomponents' % 'httpclient' % '4.2',
         ...
)

Для Maven вы можете использовать те же библиотеки. Далее мы можем написать простой тест, чтобы увидеть, все ли работает. В Java это выглядит так:

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import oauth.signpost.OAuthConsumer;
import oauth.signpost.commonshttp.CommonsHttpOAuthConsumer;
  
import org.apache.commons.io.IOUtils;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
  
  
public class Tw {
  
   static String AccessToken = 'access token for your app';
   static String AccessSecret = 'access secret for your app';
   static String ConsumerKey = 'consumer key for your app';
   static String ConsumerSecret = 'consumer secret for your app';
  
 /**
  * @param args
  */
 public static void main(String[] args) throws Exception {
  OAuthConsumer consumer = new CommonsHttpOAuthConsumer(
                ConsumerKey,
                ConsumerSecret);
  
        consumer.setTokenWithSecret(AccessToken, AccessSecret);
        HttpGet request = new HttpGet('http://api.twitter.com/1.1/followers/ids.json?cursor=-1&screen_name=josdirksen');
        consumer.sign(request);
  
        HttpClient client = new DefaultHttpClient();
        HttpResponse response = client.execute(request);
  
        int statusCode = response.getStatusLine().getStatusCode();
        System.out.println(statusCode + ':' + response.getStatusLine().getReasonPhrase());
        System.out.println(IOUtils.toString(response.getEntity().getContent()));
 }
}

И в Scala это выглядит примерно так же:

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import org.apache.http.client.HttpClient
import org.apache.http.impl.client.DefaultHttpClient
import org.apache.http.client.methods.HttpGet
import oauth.signpost.commonshttp.CommonsHttpOAuthConsumer
import org.apache.commons.io.IOUtils
  
  
object TwitterPull {
  
   val AccessToken = 'access token for your app';
   val AccessSecret = 'access secret for your app';
   val ConsumerKey = 'consumer key for your app';
   val ConsumerSecret = 'consumer secret for your app';
  
  
  def main(args: Array[String]) {
  
  val consumer = new CommonsHttpOAuthConsumer(ConsumerKey,ConsumerSecret);
  consumer.setTokenWithSecret(AccessToken, AccessSecret);
  
     val request = new HttpGet('http://api.twitter.com/1.1/followers/ids.json?cursor=-1&screen_name=josdirksen');
     consumer.sign(request);
     val client = new DefaultHttpClient();
     val response = client.execute(request);
  
     println(response.getStatusLine().getStatusCode());
     println(IOUtils.toString(response.getEntity().getContent()));
  }
}

Когда вы запустите это, результат будет выглядеть примерно так:

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
200
{"previous_cursor_str":"0","next_cursor":0,"ids":
[48342167,21011010,824959303,97242821,16953163,218083367,20869799,5234221,13604142,80
4783128,271050984,405121284,26470609,50201837,1723451,374494377,120867838,14311946,25
3114713,39554511,7375412,42507395,112806109,92787154,218238023,110443797,76922155,198
798790,294104985,305625416,217698029,21803482,14927822,15453445,15715866,15657036,186
956616,36028164,70380613,326158542,573546312,14401332,521488579,9108612,576970378,293
236313,16398366,16220300,15234937,32000283,439444353,14300622,67204409,155850135,1419
8255,32264673,15852981,313248158,20123099,608942046,234930032,36896958,18466675,45496
942,330899833,18980755,88253383,461023805,31175627,11044952,142780445,63175189,107991
607,94830953,600993241,6195002,115391430,550080945,381418927,168603682,142388604,8258
462,218411138,30450578,77728346,2521381,182867524,494119147,29426983,572417260,943448
49,325413275,389354525,501438275,164346498,22730282,8293302,21085554,341645357,569788
53,180507788,10074002,22536424,14247654,581293627,15259428,483317230,462826270,477464
1,15366832,96850673,278486993,22273826,17716679,14566626,158473088,20461042,161242434
,43756629,40163100,141165981,5325152,7620782,266749648,524476136,557713614,39602637,1
8843154,1623,565954426,39639621,166672305,18683074,233118689,44876099,235258223,21931
0062,10699922,12660502,218030046,91552210,19361980,206645598,35346200,58440021,470388
557,26495649,59066453,40292255,543375441,33242290,6015852,317150447,22935775,23230034
6,476045917,90913482,249088920,67658976,614873,522722520,186766721,285517705,71683175
,131444964,166501605,477920664,38154550,18738205,8861832,15594932,18536741,7595202,46
5378842,11838952,14848133,431696576,14358671,414520167,222578501,67058139,28976735,95
601387,426582611,24874129,418762594,128157235,106030956,31352215,18733178,260196778,1
53179029,91842580,229494512,83414433,285579699,19957600,54295155,14929418,51516573,20
0076011,18758733,17776895,59397841,216802709,149834999,327507356,8200322,174345369,10
8636400,27504001,326877592,139919716,49949338,215035403,118421144,49410665,149550914,
18446431,25662335,261725134,267634174,57737391,146506056,126964949,71055234,20870640,
210196418,222806923,13290742,72247756,180410163,14784480,36684216,25611502,95614691,5
4629161,112967594,181656257,17994312,72918901,140082918,149087212,137272324,99534020,
121755576,93964779,35848342,43059008,34704029,87672717,113137792,17863333,90407665,90
591814,54297023,57924897,87551006,28300354,48990752,26188013],"previous_cursor":0,
"next_cursor_str":"0"

Если вы получите 403, проверьте соответствие токенов.

Приятного кодирования и не забудьте поделиться!

Ссылка: доступ к API REST Twitter (v1.1) из Scala и Java с помощью указателя от нашего партнера по JCG Йоса Дирксена из блога Smart Java .

35
Share: