Как учится нейросеть: «снимки» процессов

Компания Graphcore (разрабатывает процессоры и платформы для ИИ) из Бристоля создала изображения, на которых показано, какие процессы происходят в «мозге» компьютера во время машинного обучения.

Для анализа команда использовала нейросети ResNet от Microsoft.

На этом изображении показан полный граф обучения ResNet-34 на базе процессора Graphcore, которое состоялось в декабре 2016 года. Изображение раскрашено, чтобы подчеркнуть плотность вычислений (чем плотнее, тем ярче светится).

 

А этот «снимок» демонстрирует работу нейронной сети ResNet 50, которая используется для классификации изображений.

 

Результаты обучения архитектуры AlexNet (также занимается классификацией изображений) за ноябрь 2016 года. Граф выполнен в черно-белом цвете, раскрашены только вершины трех последних слоев нейросети.

Больше изображений — здесь.