Comutti: un proyecto de investigación dedicado a encontrar formas inteligentes de usar la tecnología para un mañana mejor para todos, en todas partes. (COMUTTI)

Experimental: Experimental: creación de conjuntos de datos de señales de audio y análisis de aprendizaje automático

Experimental: creación y procesamiento de conjuntos de datos de señales de audio; análisis de aprendizaje automático, evaluaciones empíricas

Prueba de diagnóstico: Evaluación clínica de los participantes mediante Programa de Observación Diagnóstica de Autismo

Evaluación clínica de los participantes mediante Programa de Observación Diagnóstica de Autismo

Conductual: creación y validación de conjuntos de datos de señales de audio; análisis de aprendizaje automático, evaluaciones empíricas

El proyecto prueba y adapta la tecnología desarrollada en el MIT para la recopilación y el etiquetado de vocalizaciones, y contribuye a la recopilación de datos entre sujetos italianos (y su validación de calidad) para crear un conjunto de datos multicultural y permitir estudios y análisis transculturales. A continuación, la atención se centra en el análisis de las características armónicas del audio en las vocalizaciones del conjunto de datos para identificar características y patrones individuales recurrentes correspondientes a propósitos de comunicación o estados emocionales específicos. Se desarrollan enfoques de aprendizaje automático supervisados ​​y no supervisados ​​y se compararán diferentes algoritmos de aprendizaje automático para identificar los más precisos para el objetivo del proyecto. Por último, se lleva a cabo una evaluación exploratoria del modelo de aprendizaje automático de comprensión de vocalizaciones para probar la facilidad de uso y la utilidad de la herramienta para la interpretación de vocalizaciones.

Frecuencia de muestras de señales de audio y sus etiquetas asociadas

Frecuencia (medida en número por hora) de muestras de señales de audio (sonidos y verbalizaciones) producidas por cada participante registradas durante las estadías en el hospital, en diversos contextos (es decir, durante intervenciones educativas y/o en momentos de juego no estructurado) etiquetadas como autodiálogo placer, desregulación, frustración, solicitud o intercambio social.

Se sujetará una pequeña grabadora inalámbrica (Sony TX800 Digital Voice Recorder TX Series) a la ropa del participante mediante imanes potentes. Seguidamente, los adultos (cuidador y/u operadores) deben asociar los sonidos producidos por el niño a un afectivo y/o al significado probable de la vocalización -etiquetas- mediante el uso de una aplicación web.

Características armónicas específicas del participante derivadas de las muestras de señales de audio

Funciones de audio temporales y espectrales, es decir, funciones relacionadas con el tono, funciones de formantes, funciones relacionadas con la energía, funciones de tiempo, funciones de articulación, extraídas de las muestras y utilizadas a continuación para el análisis de aprendizaje automático supervisado y no supervisado.

Las muestras de señales de audio recopiladas se segmentarán en la proximidad de las ubicaciones temporales de las etiquetas. A continuación, se segmentará y asociará con etiquetas temporalmente adyacentes (estados afectivos o significado probable de vocalizaciones). Las características armónicas de audio (características temporales/fonéticas) se identificarán luego para cada participante mediante el análisis de aprendizaje automático supervisado/no supervisado de muestras de señales de audio. A través de este proceso, se identificarán los patrones específicos de los participantes correspondientes a propósitos de comunicación o estados emocionales específicos.

Precisión de la predicción del aprendizaje automático

La precisión de clasificación del análisis de aprendizaje automático, es decir, el número de predicciones correctas dividido por el número total de predicciones, que se probará en un conjunto de prueba retenido de muestras de señales de audio grabadas.

Estas medidas de resultado estimarán la usabilidad/utilidad de la herramienta desarrollada para la interpretación de vocalizaciones en función de un análisis de aprendizaje automático de las muestras de señales de audio grabadas.