Как небольшой стартап в области big data помогает NASA экономить миллионы

Что общего между планами полета на Марс, утечкой «Панамского досье» и срочной доставкой товаров с eBay? Ответ – общий инструмент обработки больших данных.

Все три достижения стали возможны благодаря небольшому стартапу из Кремниевой долины, названному в честь главного героя трилогии «Матрица», – Neo Technology.

Эмиль Айфрем, основатель Neo Technology. Источник: Mercury News

Стартап, основанный Эмилем Айфремом, в 2007 году разработал так называемую графовую систему управления базами данных (графовая СУБД) под названием Neo4j. Вкратце, она помогает быстро и эффективно обрабатывать огромные массивы данных, находя неочевидные связи между разобщенными элементами массивов. Neo4j является первой в своем роде и на сегодня самой популярной графовой СУБД.

Проект Orion. Источник: NASA

Применение этой системы помогает американскому космическому агентству экономить сотни миллионов долларов.

NASA использует технологию для изучения своей базы данных, содержащей свыше 10 миллионов технических документов. Изучая опыт предыдущих запусков, специалисты NASA могут учиться на прошлых ошибках и улучшать результат исследований.

Как рассказал представитель агентства Дэвид Меза, Neo4j помогла найти уже существующую технологию, которая сэкономила два года трудов сотен разработчиков проекта Orion – будущего пилотируемого полета на Марс.

В прошлом году Международный консорциум журналистских расследований использовал возможности графового анализа данных для поиска следов оффшорных махинаций в обширном «Панамском досье». Технология Neo помогла журналистам-расследователям со всего мира изучить 11 миллионов записей архива и найти неопровержимые доказательства коррупции в руководящих кругах многих государств.

Впрочем, графовая система анализа данных помогает и в более приземленных делах, таких как доставка интернет-заказов.

В 2014 году представитель eBay Фолкер Пейчер прямо на сцене конференции, посвященной графовым базам данным, заказал по интернету бутылку бурбона. К окончанию его выступления – примерно через полчаса – к сцене подоспел курьер с заказанной бутылкой. Транзакция была обработана с помощью технологии Neo, которая выбрала самый быстрый способ доставки от склада до места назначения.

По словам основателя Neo Эмиля Айфрема, технология графового анализа больших данных всего за несколько лет завоевала огромную популярность. Еще в 2011 году на митапы, организованные компанией Айфрема, приходили только фанаты технологии – от силы 5-6 человек. Теперь конференции, посвященные графовым СУБД, собирают тысячи представителей отрасли.

«Такой взрывной рост интереса к технологии, конечно, вдохновляет. Но, с другой стороны, у нас появляются новые сильные конкуренты. Всего за полтора года до этого IBM объявила о запуске графовых баз данных. За ними последовали другие гиганты – Microsoft и Oracle», — говорит Айфрем.