Comutti - Um projeto de pesquisa dedicado a encontrar maneiras inteligentes de usar a tecnologia para um futuro melhor para todos, em todos os lugares. (COMUTTI)

Experimental: Experimental: criação de conjunto de dados de sinal de áudio e análise de aprendizado de máquina

Experimental: criação e processamento de conjuntos de dados de sinais de áudio; análise de aprendizado de máquina, avaliações empíricas

Teste de diagnostico: Avaliação clínica dos participantes por meio do Autism Diagnostic Observation Schedule

Avaliação clínica dos participantes por meio do Autism Diagnostic Observation Schedule

Comportamental: criação e validação de conjuntos de dados de sinais de áudio; análise de aprendizado de máquina, avaliações empíricas

O projeto testa e adapta a tecnologia desenvolvida no MIT para coleta e rotulagem de vocalizações e contribui para a coleta de dados entre italianos (e sua validação de qualidade) para criar um conjunto de dados multicultural e permitir estudos e análises interculturais. Em seguida, o foco é colocado na análise de características harmônicas do áudio nas vocalizações do conjunto de dados para identificar características e padrões individuais recorrentes correspondentes a propósitos de comunicação específicos ou estados emocionais. Abordagens de aprendizado de máquina supervisionado e não supervisionado são desenvolvidas e diferentes algoritmos de aprendizado de máquina serão comparados para identificar os mais precisos para o objetivo do projeto. Por fim, uma avaliação exploratória do modelo de aprendizado de máquina de compreensão de vocalização é realizada para testar a usabilidade e a utilidade da ferramenta para interpretação de vocalização.

Frequência de amostras de sinal de áudio e seus rótulos associados

Frequência (medida em número por hora) de amostras de sinal de áudio (sons e verbalizações) produzidas por cada participante registradas durante a internação, em vários contextos (i.e., durante intervenções educativas e/ou em momentos de brincadeiras não estruturadas) rotulados como autofala , deleite, desregulação, frustração, solicitação ou troca social.

Um pequeno gravador sem fio (Gravador de Voz Digital Sony TX800 Série TX) será preso à roupa do participante por meio de ímãs fortes. Em seguida, os adultos (cuidador e/ou operadores) devem associar os sons produzidos pela criança a um significado afetivo e/ou provável da vocalização -rótulos- por meio do uso de um aplicativo web.

Recursos harmônicos específicos do participante derivados das amostras de sinal de áudio

Recursos de áudio temporais e espectrais - ou seja, recursos relacionados ao tom, recursos formantes, recursos relacionados à energia, recursos de temporização, recursos de articulação - extraídos das amostras e usados ​​a seguir para análise de aprendizado de máquina supervisionado e não supervisionado.

As amostras de sinal de áudio coletadas serão segmentadas na proximidade das localizações temporais dos rótulos. Em seguida, será segmentado e associado a rótulos temporalmente adjacentes (estados afetivos ou significados prováveis ​​de vocalizações). Os recursos harmônicos de áudio (características temporais/fonéticas) serão então identificados para cada participante usando análise de aprendizado de máquina supervisionada/não supervisionada de amostras de sinal de áudio. Por meio desse processo, serão identificados padrões específicos do participante correspondentes a propósitos de comunicação ou estados emocionais específicos.

Precisão da previsão de aprendizado de máquina

A precisão da classificação da análise de aprendizado de máquina, ou seja, o número de previsões corretas dividido pelo número total de previsões, que será testado em um conjunto de teste retido de amostras de sinal de áudio gravadas.

Essas medidas de resultado estimarão a usabilidade/utilidade da ferramenta desenvolvida para interpretação de vocalização com base em uma análise de aprendizado de máquina das amostras de sinal de áudio gravadas.