Comutti - Een onderzoeksproject gericht op het vinden van slimme manieren om technologie te gebruiken voor een betere toekomst voor iedereen, overal. (COMUTTI)

Experimenteel: Experimenteel: creatie van datasets voor audiosignalen en analyse van machine learning

Experimenteel: creatie en verwerking van audiosignaaldatasets; analyse van machine learning, empirische evaluaties

Diagnostische toets: Klinische evaluatie van deelnemers door middel van Autism Diagnostic Observation Schedule

Klinische evaluatie van deelnemers door middel van Autism Diagnostic Observation Schedule

Gedragsmatig: creatie en validatie van audiosignaaldatasets; analyse van machine learning, empirische evaluaties

Het project test en past de technologie aan die is ontwikkeld aan het MIT voor het verzamelen en labelen van vocalisaties, en draagt ​​bij aan het verzamelen van gegevens onder Italiaanse proefpersonen (en hun kwaliteitsvalidatie) om een ​​multiculturele dataset te creëren en interculturele studies en analyses mogelijk te maken. Vervolgens wordt de nadruk gelegd op de analyse van harmonische kenmerken van de audio in de vocalisaties van de dataset om terugkerende individuele kenmerken en patronen te identificeren die overeenkomen met specifieke communicatiedoeleinden of emotionele toestanden. Gesuperviseerde en niet-gesuperviseerde machine learning-benaderingen worden ontwikkeld en verschillende algoritmen voor machine learning worden vergeleken om de meest nauwkeurige te identificeren voor het projectdoel. Ten slotte wordt een verkennende evaluatie van het machine learning-model voor vocalisatie-begrijpen uitgevoerd om de bruikbaarheid en het nut van de tool voor vocalisatie-interpretatie te testen.

Frequentie van audiosignaalmonsters en de bijbehorende labels

Frequentie (gemeten in aantal per uur) van audiosignaalmonsters (geluiden en verbalisaties) geproduceerd door elke deelnemer opgenomen tijdens het verblijf in het ziekenhuis, in verschillende contexten (d.w.z. tijdens educatieve interventies en/of momenten van ongestructureerd spel) bestempeld als self-talk , vreugde, ontregeling, frustratie, verzoek of sociale uitwisseling.

Een kleine, draadloze recorder (Sony TX800 Digital Voice Recorder TX Series) wordt met sterke magneten aan de kleding van de deelnemer bevestigd. Vervolgens moeten de volwassenen (verzorger en/of operators) de door het kind geproduceerde geluiden associëren met een affectieve en/of waarschijnlijke betekenis van de vocalisatie -labels- door middel van een webapp.

Deelnemerspecifieke harmonische kenmerken afgeleid door de audiosignaalmonsters

Temporele en spectrale audiokenmerken - d.w.z. toonhoogtegerelateerde kenmerken, formantenkenmerken, energiegerelateerde kenmerken, timingkenmerken, articulatiekenmerken - geëxtraheerd uit de samples en vervolgens gebruikt voor gecontroleerde en niet-gesuperviseerde machine learning-analyse.

De verzamelde audiosignaalmonsters worden gesegmenteerd in de nabijheid van de tijdelijke locaties van labels. Vervolgens wordt het gesegmenteerd en geassocieerd met tijdelijk aangrenzende labels (affectieve toestanden of waarschijnlijke betekenis van vocalisaties). Audioharmonische kenmerken (temporele/fonetische kenmerken) worden vervolgens voor elke deelnemer geïdentificeerd met behulp van gecontroleerde/onbewaakte machine learning-analyse van audiosignaalmonsters. Door dit proces zullen deelnemerspecifieke patronen worden geïdentificeerd die overeenkomen met specifieke communicatiedoeleinden of emotionele toestanden.

Nauwkeurigheid van voorspelling van machine learning

De classificatienauwkeurigheid van machine learning-analyse, d.w.z. het aantal correcte voorspellingen gedeeld door het totale aantal voorspellingen, dat zal worden getest in een bewaarde testset van opgenomen audiosignaalmonsters.

Deze uitkomstmaten schatten de bruikbaarheid/nut van de ontwikkelde tool voor vocalisatie-interpretatie op basis van een machine learning-analyse van de opgenomen audiosignaalmonsters.