Приложение для iPhone и iPad было создано и выложено на App Store в 2016 году. Как сообщается, изначально группа работала на грант агентства DARPA, разрабатывая программу для скрининга посттравматического стрессового расстройства у морских пехотинцев, однако в итоге оказалось, что скрининг аутизма перспективнее.
Идея разработки достаточно проста: после 20-минутного анкетирования, по которому тоже можно заподозрить расстройство аутистического спектра у ребенка, родители показывают своему ребенку специальное видео на экране мобильного устройства. Одновременно фронтальная камера снимает лицо ребенка и нейросеть строит мимический граф лица (см. иллюстрацию), отслеживая эмоциональную реакцию на ключевые моменты видео. После чего приложение может предположить наличие у ребенка расстройства аутистического спектра и направить семью к специалисту.
Как сообщается в статье, за год исследования было зарегистрировано около 10 000 скачиваний приложения, в результате чего 1756 семей с детьми в возрасте от года до шести заполнило анкеты и провело 5618 скринингов, загрузив на сервер 4441 видео с мимическими реакциями ребенка.
Как оказалось, результаты, которые выдает нейросеть, вполне коррелируют с данными анкетирования, а, значит, впервые дают психологам возможность масштабирования скрининга расстройств аутистического спектра, который раньше был возможен только в клинических условиях.
Читайте материал «Я тоже хотела лучшего друга»: как живут в России люди с аутизмом».