Что нужно знать о Big Data в финансах: Краткое руководство

Представляем перевод статьи рекрутингового агенства EFC. Это краткое руководство, основанное на исследовании банка JP Morgan: что представляет собой Big Data в современной финансовой отрасли. Авторы исследования попытались представить, как изменится рынок ценных бумаг и какие профессии уйдут в прошлое с приходом новых технологий. 

Профессии подвержены влияниям времени и моды. Это в полной мере касается и финансовой сферы. В 2001 году все были увлечены изучением рынка акций интернет-компаний. В 2006 году на гребне волны были специалисты по анализу обеспеченных долговых обязательств (CDO). К 2010 году стали востребованы кредитные трейдеры. В 2014 году появились комплаенс-специалисты (они контролируют соответствие деятельности компании законам). И вот, к 2017 году незаменимыми стали эксперты в сфере машинного обучения и больших данных.

Аналитики банка J.P. Morgan под руководством Марко Колановича и Раджеша Кришнамачари недавно выпустили объемный доклад об использовании Big Data и машинного обучения в финансовой отрасли. Он называется “Большие данные и стратегии ИИ: Машинное обучение и альтернативный дата-подход к инвестированию” (Big Data and AI Strategies: Machine Learning and Alternative Data Approach to Investing).

Этот доклад можно смело назвать самым всеобъемлющим исследованием по теме на сегодняшний день.

Его авторы утверждают, что технологии машинного обучения будут играть ключевую роль в развитии финансовых рынков. Биржевые аналитики, портфельные управляющие, трейдеры и директора по инвестициям — все должны освоить науку больших данных. Иначе они останутся не у дел, говорят авторы исследования.

Традиционные источники информации — ежеквартальные отчеты и уровень ВВП — больше не актуальны. Владеющие инструментами Big Data скоро будут способны предсказывать все эти показатели еще до выхода отчетов.

Доклад J.P. Morgan содержит 280 страниц. Здесь мы приведем наиболее важные выдержки из исследования.

  1. Банки должны нанимать специалистов по Big Data, разбирающихся в финансах

Авторы доклада предостерегают банки и финансовые компании от увлечения технологиями во вред финансовой компетентности. Понимать экономику, стоящую за данными, важнее, нежели внедрять сложные технические решения без знания дела.

2. Компьютеры лучше справляются с краткосрочным и среднесрочным инвестированием

Аналитики J.P. Morgan отмечают, что люди сейчас практически исключены из высокочастотной торговли (электронная торговля ценными бумагами, при которой множество сделок заключается в очень короткие сроки — в доли секунды). Со временем машины придут нам на смену и в среднесрочном инвестировании, считают они.

“Компьютеры научатся быстрее нас анализировать новости и твиты, просматривать отчеты о прибылях и убытках, изучать сайты и принимать решения, исходя из полученных сведений”, — пишут авторы доклада.

Все это приведет к снижению спроса на аналитиков, управляющих фондами и макро-инвесторов.

Однако люди по-прежнему будут незаменимы при инвестировании в долгосрочной перспективе:

“Машины еще не скоро научатся оценивать такие факторы, как смена политических режимов, и прогнозировать сложные многокомпонентные явления, включая решения политиков и центральных банков”, — считают авторы доклада.

Поэтому если вы хотите выжить на рынке инвестиций, ваша ниша — долгосрочные прогнозы.

3. Целая армия людей потребуется для первичной обработки данных

Прежде чем к работе приступят алгоритмы машинного обучения, данные нужно предварительно отобрать и обработать. Для этого по-прежнему нужны люди. Много людей.

Работа по анализу данных усложняется с каждым днем. Типичные нынешние массивы включают самые разнородные источники: посты в соцсетях, обзоры продуктов, поисковые тренды, данные компаний, коммерческие транзакции, операции по банковским счетам и пластиковым картам, спутниковые снимки, данные о дорожном движении и передвижении морских судов и т.д. Все эти сведения нужно обработать, прежде чем они станут представлять ценность для торговой стратегии.

4. Есть несколько видов машинного обучения. И все они работают по-разному

Машинное обучение может проходить несколько итераций, таких как обучение с учителем (supervised learning), обучение без учителя (unsupervised learning), глубокое обучение (deep learning) и обучение с подкреплением (reinforcement learning).

Цель обучения с учителем — установить связь между двумя базами данных и использовать одну базу данных для прогнозирования второй. Цель обучения без учителя — попытаться понять структуру данных и определить драйверы, стоящие за этими данными. Цель глубокого обучения — использовать многослойные нейронные сети для анализа тренда. Машинное обучение с подкреплением позволяет алгоритмам искать и находить наиболее прибыльные стратегии торговли.

5. Обучение с учителем будет применяться для прогнозов на основе примеров

В финансовой сфере алгоритмы машинного обучения с учителем будут снабжать историческим данными с целью узнать между ними связь и на их основе построить наилучший прогноз. Такие алгоритмы могут быть двух видов — регрессии и классификации.

Алгоритмы, основанные на регрессии, будут определять значение неких параметров по заданным характеристикам. Например, как поведет себя рынок в случае инфляции.

Алгоритмы, основанные на классификации, будут относить конкретное явление к классу или категории явлений, согласно его признакам.

6. Обучение без учителя будет применяться для определения связей между большим количеством переменных

При машинном обучении без учителя программа получает полный набор данных о доходности активов и при этом не знает, какие из переменных являются связанными или несвязанными. На более высоком уровне методы обучения без учителя делятся на кластерный и факторный анализ.

При кластерном анализе различные данные группируются по схожим признакам. Например, программа сможет сопоставлять исторические данные о сменах режимов с высокой и низкой волатильностью рынков, ростом и падением котировок или уровнем инфляции.

При факторном анализе программа определяет драйверы (причины) данных. Например, компьютер сможет предугадывать урожайность, исходя из предыдущих показателей. При анализе мультивалютного портфеля такая программа будет уже определять ценность портфеля, волатильность, ликвидность, индикаторы моментум и другие.

7. Системы глубокого обучения будут выполнять те задачи, которые трудно сформулировать, но просто выполнить

Глубокое обучение — это попытка воссоздать образ мышления человека. Этот метод хорошо подходит для первичной обработки больших неструктурированных данных. Например, для подсчета автомобилей на спутниковых снимках или определения эмоций в печатном тексте.

Глубокое обучение можно использовать для анализа гипотетических финансовых данных при оценке возможной коррекции рынка.

Методика глубокого обучения во многом основана на использовании нейронных сетей, которая суть имитация человеческого мозга. В такой сети каждый нейрон получает свои вводные данные от других нейронов, и “вычисляет” среднее значение всех данных. При этом сеть руководствуется предыдущим опытом.

8. Обучение с подкреплением будет использоваться при поиске последовательности действий для получения наибольшей выгоды

Цель обучения с подкреплением — найти оптимальный путь для получения вознаграждения. В отличие от обучения с учителем (которое, по сути, является одноэтапным процессом), при обучении с подкреплением программа на каждом шаге не знает, каков правильный результат.

9. Не нужно переучиваться на специалиста по машинному обучению. Достаточно научиться программировать

Как утверждают авторы доклада J.P. Morgan, набор необходимых умений для дата-специалиста в финансовой среде ровно такой же, как и для специалиста по количественному трейдингу (трейдингу, основанному на математическом анализе количественных данных рынка). Поэтому нет смысла переучиваться и осваивать фундаментальные положения науки о данных.

Грамотный трейдер, разбирающийся в программировании, статистике, математике, эконометрике, финансах и естественных науках, вполне может освоить новые инструменты. Главное — иметь опыт и знания в количественном инвестировании.

“Гораздо проще опытному трейдеру освоить программирование и сформулировать задачу для компьютерной программы, нежели разработчику или IT-специалисту из Кремниевой долины разобраться в тонкостях рыночных стратегий”, — пишут авторы доклада.

По той же причине не нужно детально изучать теорию и практику машинного обучения. Ведь большинство необходимых для работы алгоритмов уже написаны. Нужно лишь уметь применить существующие модели.