Социальная сеть Twitter, ее особенности. 
Twitter Streaming API и его возможности. 
Сбор данных с помощью Twitter Streaming API

Twitter (Твимттер) — социальная сеть для публичного обмена короткими (до 140 символов) сообщениями при помощи веб-интерфейса, SMS, средств мгновенного обмена сообщениями или сторонних программ-клиентов для пользователей интернета любого возраста.

Твитты — сообщения, которыми делятся пользователи Twitter.

Преимущества Twitter — сообщения о каких-либо событиях появляются намного быстрее, чем в каких-либо других новостных источниках. Поэтому Twitter стали рассматривать как полезный источник информации, которую можно использовать для прогнозирования каких-либо показателей, в том числе и финансовых. Его можно рассматривать в качестве источника информации о настроении пользователей т. е. психологической составляющей, которой зачастую не хватает в торговых системах, которые основываются лишь на исторических данных цен. Таким образом, можно использовать фундаментальный анализ при построении торговой системы.

Предметом анализа являются сообщения пользователей Twitter. Возникает вопрос о том, каким образом можно получить достаточное количество сообщений других пользователей необходимое для анализа? Для этого для разработчиков предусмотрен инструмент API. В работе использовала Twitter Streaming API (https://dev.twitter.com/streaming/overview) и метод GET statuses/sample (https://dev.twitter.com/streaming/reference/get /statuses/sample), который в режиме онлайн предоставляет до 1% от всего текущего потока сообщений Твиттера.

Также в рамках Twitter API существуют инструмент POST statuses/filter https://dev.twitter.com/streaming/reference/post/statuses/filter, где можно отфильтровать твитты по ключевым словам. Для поиска по историческим данным есть Twitter REST API (https://dev.twitter.com/rest/public), но он выдает только весьма ограниченный объем сообщений по сравнению с Streaming API. Поэтому в работе был использован именно Twitter Streaming API.

Для упрощения работы с Twitter API для разных языков программирования существует специальные библиотеки.

Я, к примеру, использовала https://github.com/tweetstream/tweetstream для Python. Был написан код на Python, который позволил скачивать в реальном времени твитты в БД.

Для скачивания твиттов необходимо быть зарегистрированным в Twitter как пользователь сети, создать приложение (https://apps.twitter.com) и получить секретные ключи для доступа к Twitter API (ckey, csecret, atoken, asecret).

Рис. 1 Получение секретных ключей для доступа к Twitter API

Ниже представлен разработанный алгоритм на Python, который позволяет скачивать в режиме онлай до 1% сообщений пользователей Twitter, фильтрует только необходимую информацию (т.к. по умолчанию без фильтрации информация избыточна), создает файл в формате .csv и записывает в файл полученные данные. Таким образом, мы получаем довольно структурированную информацию по сообщениям Twitter, с которой довольно удобно работать.

from tweepy import Stream

from tweepy import OAuthHandler

from tweepy. streaming import StreamListener

import time

ckey = 'rwn8w66ca3zygh8QByZrGKNwl'

csecret = 'bVMYFypFDR0oEGkqHrRQQ654hjJjdCkISoDeXiQU83s7wzzulB'

atoken = '2 319 285 780-murJh6zedPjhREm0IS9rsoCvWV56LAzVgPjBkLd'

asecret = 'SoGICrzE86dHsFPMTre0MEthEwrfpWqEW1RgbCbNPRqOT'

class listener (StreamListener):

def on_data (self, data):

try:

#print (data)

tweet1 = data. split ('" created_at" :')[1]. split ('," id" :')[0]

tweet2 = data. split ('," text" :')[1]. split ('," source" :')[0]

tweet = tweet1 + tweet2

print (tweet)

saveThis = tweet

saveFile = open ('twitDB₁₈_05₃_1_final.csv','a')

saveFile.write (saveThis)

saveFile.write (' ')

saveFile.close ()

return True

except BaseException as e:

print ('failed ondata,')

print (str (e))

time.sleep (5)

def on_error (self, status):

print (status)

auth = OAuthHandler (ckey, csecret)

auth.set_access_token (atoken, asecret)

twitterStream = Stream (auth, listener ())

twitterStream.sample (languages=['en'])

Рис. 2 Отображение загружаемых в режиме онлайн сообщений в консоли

Рис. 3 Сообщения, загруженные в базу данных .csv

Примеры загруженных сообщений пользователей Twitter приведены в Приложении 1 к работе.