Výzkum kognitivních poruch z řeči potřebuje data, která propojí dobře navržené úlohy, klinický kontext a reprodukovatelné vyhodnocení. Náš článek v IEEE Access představuje řečově-kognitivní dataset DigiDiaDem a první experimenty, které nad ním vznikly. Práce spojuje návrh dialogového systému, rozpoznávání řeči, přípravu dat a vyhodnocení metodami strojového učení.

Výzkum kognitivních poruch z řeči potřebuje více než zvukové nahrávky. Experimenty závisí na dobře navržených úlohách, klinickém kontextu, demografických údajích a jasném oddělení trénovacích a testovacích dat.

Článek v IEEE Access představuje Diadem Speech-Cognitive Dataset (DSCD-CZ) a první experimenty s detekcí kognitivních poruch z řeči. Práce propojuje sběr dat, automatické zpracování řeči a vyhodnocení strojového učení v rámci telemedicínského samovyšetření.

Praktickou stránku tohoto výzkumu ukazuje pozdější příběh z Nezapomenutelného dne paměti s DigiDiaDem: anonymizovaná cesta roztříštěným systémem vyšetření a použití krátkého prescreeningu DigiDiaDem v ordinaci před standardním vyšetřením.

Dvě cílené studie rozvíjejí jednotlivé úlohy stejné výzkumné linie: opakování nesmyslných slov vyhodnocované pomocí ASR a sémantickou analýzu mluvených popisů obrázků.

První strana článku v IEEE Access představujícího řečově-kognitivní dataset DigiDiaDem
První strana článku publikovaného v IEEE Access.

Autoři

Luboš Šmídl, Filip Polák, Lucie Zajícová, Tomáš Lebeda, Jan Švec, Jan Tupý, Martin Bulín, Aleš Bartoš

Abstrakt

Dementia is a growing global health challenge, making early detection of cognitive decline critically important. Early detection of dementia and other cognitive impairment is essential for timely intervention and better care planning. However, existing datasets for training automated screening tools are limited, especially for underrepresented languages such as Czech. In this study, we present a new dataset and a novel application named the DigiDiaDem (Digital Diagnostics of Dementia) designed for automated dementia screening through multimodal cognitive assessment. The application integrates user-friendly digital cognitive tasks with machine learning algorithms to evaluate linguistic and cognitive performance in real time. Using this system, we collected and curated a comprehensive dataset of speech and cognitive data from Czech-speaking participants. The dataset comprises 371 individuals, including cognitively normal individuals and patients with mild cognitive impairment and mild dementia. It includes socio-demographic data, results of cognitive and speech tests, functional assessment questionnaires, data collected through the DigiDiaDem application, and automatic speech recognition (ASR) transcripts of spoken responses. Raw audio recordings are not included. Instead, the dataset provides manually engineered linguistic and acoustic features. We describe the data collection process and outline the cognitive tasks used to collect the dataset. Our experiments demonstrate that speech features derived from cognitively demanding tasks, such as verbal fluency and memory recall, can effectively distinguish healthy participants from those with cognitive impairment. Models trained on the dataset achieved up to 95% accuracy when combining speech features with demographic information. Preliminary experiments demonstrate the feasibility of using the collected data for dementia detection. These findings confirm that speech-based digital assessment can complement traditional clinical evaluation. The proposed dataset and application offer a substantial resource for the research community by establishing a solid baseline for machine-learning-based approaches to dementia screening from speech-based interaction.

Odkazy na publikaci

Číst dále