Slovní popis obrázku vypovídá nejen o výslovnosti, ale také o tom, kterých pojmů a vztahů si člověk všímá a jak je uspořádá v jazyce. Článek kombinuje rozpoznávání řeči, formální sémantickou analýzu a strojové učení při porovnávání českých popisů s expertní referencí. Výsledné sémantické příznaky nabízejí interpretovatelnou cestu ke škálovatelnému screeningu kognitivních poruch.
Slovní popis obrázku obsahuje více než výslovnost a akustické vlastnosti řeči. Volba pojmů, vztahy mezi objekty a struktura popisu poskytují další pohled na jazykový a kognitivní výkon.
Článek se zaměřuje na sémantickou analýzu těchto popisů. Doplňuje rozpoznávání řeči v projektu DigiDiaDem o pohled na to, co člověk řekl a jak popisovanou scénu uspořádal v jazyce.
Metoda je součástí širšího výzkumu řečově-kognitivního datasetu DigiDiaDem a doplňuje studii opakování nesmyslných slov.
Autoři
Tomáš Lebeda, Lucie Zajícová, Jan Švec, Luboš Šmídl
Abstrakt
Timely detection of cognitive disorders is critical yet often limited by resource-heavy clinical assessments. This paper presents an automated framework for early cognitive screening based on the semantic analysis of spoken image descriptions in Czech. The system integrates automatic speech recognition, formal semantic parsing, and machine learning to evaluate deviations from an expert-defined reference description. The responses of the participants are analyzed for missing or incorrect semantic content, producing structured loss vectors used for classification. Evaluation on a clinically annotated dataset of 268 samples (split into train-test subsets) shows that semantic features outperform traditional lexical and morphological baselines, highlighting the potential of the method for scalable and interpretable cognitive assessment.