Comutti — исследовательский проект, посвященный поиску разумных способов использования технологий для улучшения завтрашнего дня для всех и везде. (COMUTTI)

Экспериментальный: Экспериментальная часть: создание набора данных аудиосигнала и анализ машинного обучения.

Экспериментальная часть: создание и обработка массива аудиосигналов; анализ машинного обучения, эмпирические оценки

Диагностический тест: Клиническая оценка участников с помощью графика наблюдения за диагностикой аутизма

Клиническая оценка участников с помощью графика наблюдения за диагностикой аутизма

Поведенческий: создание и проверка набора данных аудиосигнала; анализ машинного обучения, эмпирические оценки

Проект тестирует и адаптирует технологию, разработанную в Массачусетском технологическом институте, для сбора и маркировки вокализации, а также способствует сбору данных среди итальянских испытуемых (и проверке их качества) с целью создания мультикультурного набора данных и проведения кросс-культурных исследований и анализа. Затем основное внимание уделяется анализу гармонических особенностей звука в вокализациях набора данных для выявления повторяющихся индивидуальных особенностей и паттернов, соответствующих конкретным коммуникационным целям или эмоциональным состояниям. Разрабатываются контролируемые и неконтролируемые подходы к машинному обучению, и различные алгоритмы машинного обучения будут сравниваться, чтобы определить наиболее точные из них для цели проекта. Наконец, проводится предварительная оценка модели машинного обучения понимания вокализации, чтобы проверить удобство использования и полезность инструмента для интерпретации вокализации.

Частота выборок аудиосигнала и связанные с ними метки

Частота (измеряемая в количестве в час) образцов звуковых сигналов (звуков и вербальных выражений), производимых каждым участником во время пребывания в больнице, в различных контекстах (например, во время образовательных вмешательств и/или в моменты неструктурированной игры), помеченных как разговор с самим собой , восторг, дисрегуляция, разочарование, просьба или социальный обмен.

Небольшой беспроводной диктофон (цифровой диктофон Sony TX800 серии TX) будет прикреплен к одежде участника с помощью сильных магнитов. Затем взрослые (опекуны и/или операторы) должны связать звуки, издаваемые ребенком, с аффективным и/или вероятным значением вокализации – ярлыками – с помощью веб-приложения.

Характерные для участников гармонические характеристики, полученные по образцам аудиосигнала

Временные и спектральные звуковые характеристики, т. е. характеристики, связанные с высотой тона, характеристики формант, характеристики, связанные с энергией, временные характеристики, особенности артикуляции, извлекаются из образцов и затем используются для контролируемого и неконтролируемого анализа машинного обучения.

Собранные образцы аудиосигнала будут сегментированы в непосредственной близости от временных местоположений меток. Далее он будет сегментирован и связан с соседними во времени метками (аффективными состояниями или вероятным значением вокализаций). Затем для каждого участника будут определены звуковые гармонические характеристики (временные/фонетические характеристики) с использованием контролируемого/неконтролируемого анализа машинного обучения образцов аудиосигнала. В ходе этого процесса будут выявлены характерные для участников паттерны, соответствующие конкретным коммуникативным целям или эмоциональным состояниям.

Точность предсказания машинного обучения

Точность классификации анализа машинного обучения, т. Е. Количество правильных прогнозов, деленное на общее количество прогнозов, которые будут проверены в сохраненном тестовом наборе записанных образцов аудиосигнала.

Эти итоговые показатели позволят оценить удобство использования / полезность разработанного инструмента для интерпретации вокализации на основе анализа машинного обучения записанных образцов аудиосигнала.