Učinkovitost algoritmov strojnega učenja za napovedovanje napredovanja demence pri bolnikih s klinikami za spomin

Za več informacij:ali.ma@wecistanche.com

Povzetek

POMEMBNOST

Algoritme strojnega učenja bi lahko uporabili kot osnovo za pomoč pri kliničnem odločanju za izboljšanje klinične prakse.

CILJ

Oceniti zmožnost algoritmov strojnega učenja za napovedovanje pojavnosti demence v 2 letih v primerjavi z obstoječimi modeli ter določiti optimalen analitični pristop in število zahtevanih spremenljivk.

OBLIKOVANJE, POSTAVITEV IN UDELEŽENCI

Ta prognostična študija je uporabila podatke prospektivne kohorte 15 307 udeležencev brez demence na začetku, da bi izvedla sekundarno analizo dejavnikov, ki bi jih lahko uporabili za napovedovanje pojavnosti demence. Udeleženci so se udeležili Nacionalnega koordinacijskega centra za Alzheimerjevo bolezenspominklinikah po Združenih državah med letoma 2005 in 2015. Analize so bile izvedene od marca do maja 2021. IZPOSTAVLJENOST 258 spremenljivk, ki obsegajo področja kliničnih ukrepov in dejavnikov tveganja, povezanih z demenco.

GLAVNI REZULTATI IN MERITVE

Glavni izid je bila naključna demenca vseh vzrokov, diagnosticirana v 2 letih po izhodiščni oceni.

Charlotte James, dr. dr. Janice M. Ranson; Richard Everson, dr. David J. Llewellyn, dr

REZULTATI

V vzorcu {{0}} udeležencev (povprečna [SD] starost, 72,3 [9,8] leta; 9129 [6{{20}} odstotkov ] žensk in 6178 [4{{24 }} odstotkov ] moških) brez demence na začetku je 1568 (10 odstotkov) prejelo diagnozo demence v 2 letih po začetni oceni. V primerjavi z 2 obstoječima modeloma za napovedovanje tveganja za demenco (tj. dejavniki tveganja za srčno-žilne bolezni, staranje in incidenca tveganja za demenco ter kratek presejalni kazalnik demence) so bili algoritmi strojnega učenja boljši pri napovedovanju incidentne demence iz vseh vzrokov v 2 letih. Drevesni algoritem, povečan z gradientom, je imel povprečno (SD) skupno natančnost 92 odstotkov (1 odstotek), občutljivost 0.45 (0.05), specifičnost 0,97 (0,01) in območje pod krivuljo 0,92 (0,01) z uporabo vseh 258 spremenljivk. Analiza pomembnosti spremenljivke je pokazala, da je bilo potrebnih samo 6 spremenljivk, da algoritmi strojnega učenja dosežejo natančnost 91 odstotkov in površino pod krivuljo vsaj 0,89. Algoritmi strojnega učenja so identificirali tudi do 84 odstotkov udeležencev, ki so prejeli začetno diagnozo demence, ki je bila pozneje obrnjena na blago kognitivno okvaro ali kognitivno neoporečno, kar kaže na možno napačno diagnozo.

SKLEPI IN POMEST

Te ugotovitve kažejo, da bi algoritmi strojnega učenja lahko natančno napovedali incidentno demenco v 2 letih pri bolnikih, ki prejemajo oskrbo prispominklinike, ki uporabljajo samo 6 spremenljivk. Te ugotovitve bi lahko uporabili za informiranje o razvoju in validaciji pripomočkov za odločanjespominklinike.

Kliknite za cistanche DHT za spomin

Uvod

Mnogi bolniki, ocenjeni v specialističnih okoljih, kot nprspominklinike, ob prvem obisku nimajo demence.1 Razlikovanje med bolniki, pri katerih se demenca razvije v klinično pomembnem časovnem okviru, in tistimi, ki ostanejo brez demence, je pomembno, saj se ta vpogled lahko uporabi za dajanje prednosti bolnikom pri nadaljnjih preiskavah. in intervencije. Prepoznavanje bolnikov z velikim tveganjem za razvoj demence je za klinike izziv. Eden od pristopov je, da se ob začetni oceni osredotočimo na tiste, ki imajo blago kognitivno okvaro (MCI), in te bolnike povabimo na spremljanje. Vendar pa lahko to povzroči precejšnjo napačno klasifikacijo bolnikov, ki niso namenjeni spremljanju, vendar razvijejo demenco, in bolnikov, ki so namenjeni nadaljnjim preiskavam, vendar ne razvijejo demence. Večina bolnikov na kliniki za spomin z MCI ne napreduje v demenco niti po 10 letih, z letno stopnjo konverzije 9,6 odstotka.2

Klinični pripomočki za odločanje lahko izboljšajo sposobnost klinikov, da ocenijo nastop demence. Za oceno srednjeročne in dolgoročne incidence demence pri različnih populacijah so na voljo obstoječi pripomočki za klinično odločanje. Na primer, ocena tveganja kardiovaskularnih dejavnikov tveganja, staranja in pojavnosti demence (CAIDE)3 je bila zasnovana za napovedovanje tveganja za razvoj demence v 20 letih za ljudi srednjih let, cilj kratkega presejalnega kazalnika demence (BDSI)4 pa je identificirati starejše bolnike usmeriti v kognitivni presejalni pregled z določitvijo tveganja za razvoj demence v 6 letih. Vendar pa, kolikor vemo, ni bila razvita nobena pomoč pri kliničnem odločanju za napovedovanje pojavnosti demence v klinikah za spomin v krajšem klinično pomembnem obdobju.

Strojno učenje (ML) omogoča izkoriščanje informacij iz velikih in kompleksnih nizov podatkov. Nedavno so ga uporabili za diagnozo demence in napovedovanje tveganja.5-9 Vendar pa ti modeli pogosto vključujejo informacije, ki običajno niso na voljo v rutinski klinični praksi, kot so napredno slikanje nevronov, genetsko testiranje in biomarkerji cerebrospinalne tekočine, kar omejuje klinično uporabo na specialistične ali raziskovalne nastavitve.

Raziskali smo, ali je mogoče tehnike ML uporabiti za napovedovanje pojavnosti demence v 2-letnem obdobju z uporabo podatkov klinike za spomin iz US NationalAlzheimerjeva bolezenKoordinacijski center (NACC). Preučili smo tudi minimalni nabor spremenljivk, potrebnih za modele ML, da dosežejo popolno diagnostično zmogljivost.

Metode

Študija NACC je prejela etično odobritev institucionalnega revizijskega odbora vsake lokacije, preden je lahko prispevala podatke, in vsi udeleženci so dali informirano pisno soglasje. Ta prognostična študija je bila izvzeta iz institucionalne etične odobritve, ker smo uporabili predhodno zbrane deidentificirane podatke. Podatki, uporabljeni v tej študiji, so na voljo z zahtevo po podatkih NACC. O tej študiji se poroča v skladu s smernicami za poročanje Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD). Podatki so bili analizirani od marca do maja 2021.

Študijski vzorec

Uporabili smo predhodno zbrane podatke iz NACC Uniform Data Set (UDS).10 UDS vsebuje prospektivne kohortne podatke ameriškega nacionalnega inštituta za staranje.Alzheimerjeva bolezenBolezenCenter program za večcentrične skupne raziskave naAlzheimerjeva bolezenbolezenin druge nevrodegenerativne motnje.11 Naš nabor podatkov je sestavljen iz podatkov s klinike spomina, zbranih med septembrom 2005 in februarjem 2015 od 30.Alzheimerjeva bolezenBolezenCentri v Združenih državah Amerike. Nabor podatkov vključuje sociodemografske značilnosti udeležencev in soudeležencev, družinsko anamnezo, funkcionalni status,12 vedenjske simptome (ocenjene z rezultati vprašalnika nevropsihiatričnega popisa13), baterijo nevropsiholoških testov14 in klinično diagnozo demence NACC, ki jo določi vsakAlzheimerjeva bolezenBolezenCenter uporablja objavljena klinična diagnostična merila na podlagi standardiziranega kliničnega vrednotenja UDS. Podrobnosti o diagnostičnih merilih, sprejetih s protokolom UDS, in s tem povezane smernice so bile objavljene že prej.15

Uporabili smo UDS različici 1 in 2, ki vključujeta 32 573 udeležencev spominske klinike z osnovno oceno. Čeprav so naši modeli zasnovani tako, da napovedujejo incidenco demence v 2 letih, da bi upoštevali razlike v času med nadaljnjimi pregledi, smo vključili spremljanje, ki se je zgodilo v 29 mesecih po prvem obisku, da zagotovimo, da je bil obisk bodisi prvi oz. drugi kontrolni pregled.

Spremenljivka izida

Spremenljivka izida je bila naključna diagnoza demence iz vseh vzrokov v 29 mesecih (približno 2 leti) od osnovne ocene. To vključuje podtipe demence, kot so Alzheimerjeva demenca, demenca z Lewyjevimi telesci, vaskularna demenca in druge redkejše podtipe. Alzheimerjeva demenca je bila diagnosticirana v skladu z merili NINCSD-ADRDA,16 vaskularna demenca je bila diagnosticirana v skladu z merili NINDS-AIREN,17 demenca z Lewyjevimi telesci (LBD) je bila diagnosticirana v skladu s tretjim poročilom meril Demenca with Lewy Bodies Consortium,18 in frontotemporalna demenca je bila diagnosticirana po merilih Nearyja in sodelavcev iz leta 1998.19

Napovedovalci kandidatov

Vse klinično pomembne spremenljivke, zbrane med začetnim obiskom, smo vključili v različici 1 in 2 UDS (eTabela 1 v dodatku). Izključili smo spremenljivke s prostimi besedilnimi vrednostmi, kot so imena zdravil, in spremenljivke, ki so bile konstantne pri vseh udeležencih, kot je število obiskov. Ustvarjene so bile štiri sintetične spremenljivke za pomoč pri vrednotenju pomembnosti spremenljivke (te spremenljivke je treba uvrstiti nizko); 3 od teh spremenljivk so bile permutacije obstoječih spremenljivk (1 binarna, 1 kategorična in 1 numerična spremenljivka), 1 spremenljivka pa je bila naključno ustvarjena iz normalne porazdelitve. To je povzročilo skupno 258 spremenljivk.

Spremenljivke iz UDS, vključene v naše modele, vključujejo demografske značilnosti udeležencev (15 spremenljivk), demografske značilnosti soudeležencev (7 spremenljivk), družinsko anamnezo (3 spremenljivke), zdravstveno anamnezo (47 spremenljivk), zdravila (21 spremenljivk), telesno (12 spremenljivk). ) in rezultati nevroloških (4 spremenljivke) preiskav, enotna ocenjevalna lestvica Parkinsonove bolezni20 (UDPRS) (28 spremenljivk), lestvica za ocenjevanje klinične demence (CDR)21 (8 spremenljivk), funkcionalno stanje (10 spremenljivk), nevropsihološka testna baterija (50 spremenljivk) , Geriatrična depresivna lestvica (17 spremenljivk) in klinična ocena simptomov (32 spremenljivk). Od teh spremenljivk jih je 239 (93 odstotkov) manjkalo pri vsaj 1 udeležencu, pri vseh udeležencih pa je manjkala vsaj 1 spremenljivka.

Razvoj modela

Implementirali smo 4 algoritme ML22: logistično regresijo (LR),23 podporni vektorski stroj (SVM),24 naključni gozd (RF),25,26 in gradientno povečana drevesa (XGB)27 (eMetode v dodatku). Ti algoritmi izvajajo nalogo razvrščanja: določijo, ali udeleženec spada v razred 0 (predvideno, da bo ostal brez demence 29 mesecev od izhodišča) ali razred 1 (predvideno, da bo v 29 mesecih od izhodišča doživel incidentno demenco). Razvrstitev temelji na spremenljivkah, zabeleženih ob njihovem prvem (izhodiščnem) obisku klinike za spomin. Za implementacijo algoritmov ML smo uporabili knjižnico Python sci-kit-learn (Python Software Foundation),28 z 5-kratnim navzkrižnim preverjanjem (eMethods v dodatku). Manjkajoče vrednosti so bile imputirane z vzorčenjem z zamenjavo iz nemanjkajočih vrednosti. Vsa obdelava in analiza podatkov sta bili implementirani v Python različici 3.9, NumPy različici 1.19.4 in sci-kit-learn različici 0.24.0.

Statistična analiza

Vrednotenje modela

Učinkovitost vseh modelov smo ovrednotili tako, da smo primerjali njihovo splošno natančnost, občutljivost in specifičnost za pragove odločanja, vnaprej določene v literaturi (obstoječi modeli) ali prag 0.5 (modeli ML), ki enako uteži lažno pozitivne in lažno negativne napake. Območje pod karakteristično krivuljo sprejemnika (AUC)29 je bilo uporabljeno za povzetek zmogljivosti modela prek vseh možnih pragov in s tem uteži napak pri napačni klasifikaciji.30 Meritve povprečne zmogljivosti in standardi SD so bili pridobljeni z zagonom (e-metode v dodatku).

Primerjava z obstoječimi modeli

BDSI in CAIDE sta obstoječa modela za napovedovanje tveganja demence, ki bolnikom dodelita rezultat, ki predstavlja njihovo tveganje za razvoj demence v daljšem časovnem obdobju. Za izpeljavo rezultatov tveganja BDSI in CAIDE smo iz UDS izbrali spremenljivke, ki najbolj ustrezajo prej uporabljenim spremenljivkam (eTabela 2 v dodatku). Učinkovitost naših modelov ML smo primerjali z zmogljivostjo BDSI in CAIDE za napovedovanje 2--letne pojavnosti demence.

Učinkovitost modela med podvrstami demence

Demenca ima lahko različne vzroke, ki ustrezajo različnim podtipom demence. Da bi ocenili sposobnost modelov ML za prepoznavanje različnih podtipov demence, smo primere incidentne demence razdelili na Alzheimerjevo demenco, LBD, vaskularno demenco in druge podtipe demence. Z uporabo teh 4 stratifikacij smo izračunali odstotek pravilno razvrščenih udeležencev (resnično pozitivna stopnja) in primerjali krivulje ROC za vsak model ML.

Preiskava diagnostične stabilnosti

Znano je, da klinična diagnoza demence vključuje bolnike, ki so bili prvotno napačno diagnosticirani (dejansko tako lažno pozitivne kot lažno negativne napake).31 Opredeljujemo reverzijo, kot da je udeleženec, ki mu je bila diagnosticirana demenca do 2 leti po prvem obisku klinike za spomin. in nato prejme diagnozo, da ni demence (bodisi MCI ali nemotene kognicije) v 2 letih po diagnozi demence. Ker so te reverzije nestabilne diagnoze in so bile verjetno posledica napačne diagnoze demence, smo raziskali klasifikacijsko natančnost modelov ML v vzorcu udeležencev z reverzijo (e-Metode v dodatku). Uporabili smo kumulativno porazdelitveno funkcijo (CDF) rezultatov klasifikacije, ki jih je izdelal vsak model ML, da bi primerjali udeležence z reverzijo z bolniki, ki so razvili demenco, in bolniki, ki so ostali brez demence.

Rezultati

Po izključitvi {{0}} udeležencev z diagnozo demence na začetku, 4557 udeležencev, ki niso imeli nobenih podatkov o spremljanju, in 573 udeležencev, ki so imeli prvo spremljanje več kot 29 mesecev po prvem obisku , je končni analitični vzorec vseboval 15 307 udeležencev (povprečna [SD] starost, 72,3 [9,8] leta; 9129 [60 odstotkov] žensk in 6178 [40 odstotkov] moških). Značilnosti vzorca so prikazane v tabeli 1. V 2 letih od izhodišča je 1568 udeležencev (10 odstotkov) prejelo diagnozo demence. Od 1568 udeležencev, ki so prejeli diagnozo demence, jih je 273 (17 odstotkov) diagnosticiral en sam klinik, 1216 (78 odstotkov) pa jih je diagnosticirala soglasna skupina; za 79 udeležencev (5 odstotkov), vir diagnoze ni bil naveden. Ključne mere uspešnosti, ki ocenjujejo napovedno moč vsakega modela, so podane v tabeli 2. V primerjavi z obstoječimi modeli so bili modeli ML boljši v svoji sposobnosti napovedovanja, ali bo posameznik v 2 letih razvil demenco, in so bili boljši od obstoječih modelov pri vseh merilih. Vsi modeli ML so se izkazali podobno dobro, pri čemer je imel XGB največjo moč, merjeno s splošno natančnostjo (92 odstotkov) in AUC (povprečje [SD], 0,92 [0,01]). Krivulja delovanja sprejemnika za vsak model prikazuje podobnost med modeli ML in njihovo superiornost v primerjavi z dvema obstoječima modeloma tveganja (slika 1).

Učinkovitost modela med podvrstami demence

Za oceno delovanja modela ML pri različnih podtipih demence smo populacijo razdelili na 4 podtipe demence: Alzheimerjeva demenca (1285 udeležencev), LBD (82 udeležencev), vaskularna demenca (21 udeležencev) in drugi podtipi demence (180 udeležencev). Model LR je bil najboljši pri prepoznavanju Alzheimerjeve demence in drugih podtipov, saj je pravilno razvrstil 589 udeležencev (46 odstotkov) z Alzheimerjevo demenco in 99 udeležencev (55 odstotkov) z drugimi podtipi. Model SVM je bil najboljši pri udeležencih z LBD, saj je pravilno razvrstil 40 udeležencev (49 odstotkov). Vsi modeli so pravilno razvrstili 7 udeležencev (33 odstotkov) z vaskularno demenco. Krivulje delovanja sprejemnika kažejo, da so vsi modeli delovali približno enako dobro na vsaki podvrsti (eSlika 1 v dodatku).

Preiskava najmanjšega števila spremenljivk

Ena možna pomanjkljivost uporabe pristopa ML je veliko število vključenih spremenljivk. Ker se število spremenljivk, ki jih zahteva model, povečuje, postane implementacija v kliničnem okolju manj praktična in razlagalnost modela je poslabšana. Da bi ocenili, koliko spremenljivk je potrebnih za vsak model ML, da bi dosegli enakovredno napovedno moč, kot smo jo ugotovili z uporabo vseh 258 spremenljivk (tabela 2), smo ocenili, kako se AUC spreminja s številom spremenljivk, vključenih v modele. Natančneje, razvrstili smo spremenljivke za vsak model tako, da smo jih razvrstili po padajočem vrstnem redu pomembnosti (tj. diskriminatorna moč vsake spremenljivke glede na algoritem; eMetode v dodatku). Vsak model smo naknadno preoblikovali z vedno večjim številom spremenljivk, začenši z najpomembnejšo. Ugotovili smo, da vsi modeli zahtevajo le 22 spremenljivk za doseganje diagnostične učinkovitosti, ki se statistično ne razlikuje od njihove optimalne povprečne uspešnosti (slika 2; eSlika 2 v dodatku). Sintetične spremenljivke, dodane za zagotovitev veljavnosti ocene pomembnosti spremenljivke, niso bile med 22 najvišjimi spremenljivkami za noben model, kar odraža dejstvo, da je bilo po doseženi polni diagnostični uspešnosti malo informacij, ki bi močno določale razvrstitev spremenljivke.

Identifikacija ključnih dejavnikov tveganja

Od 22 najpomembnejših spremenljivk za vsak model jih je bilo le 5 skupnih vsem modelom (tj. klinična presoja o upadu spomina, kognitivnih sposobnosti, vedenja, zmožnosti vodenja zadev ali motoričnih in gibalnih sprememb; čas za dokončanje preizkusa ustvarjanja sledi). Del B; CDR: motnje orientacije; CDR: motnje doma in hobijev; in stopnja neodvisnosti). Od preostalih spremenljivk je bilo 10 parov, ki so imeli korelacijo večjo od 0.7, kar kaže, da gre za podobne spremenljivke (eTabela 3 v dodatku). Ob upoštevanju te korelacije z medsebojno izmenjavo spremenljivk, ki so bile visoko korelirane, smo ugotovili, da obstaja 6 visoko napovednih spremenljivk (klinična presoja upada, čas za dokončanje preizkusa dela B, 3 komponente CDR [orientacija, spomin ter dom in hobiji). okvara] in raven neodvisnosti), ki so bili skupni vsem modelom ML (eTabela 4 v dodatku). Z usposabljanjem vsakega modela z uporabo samo teh spremenljivk smo ugotovili, da pri LR in XGB ni prišlo do pomembnega zmanjšanja diagnostične učinkovitosti: z uporabo tega osnovnega niza 6 spremenljivk so imeli ti modeli povprečno (SD) natančnost 91 odstotkov (0 odstotkov ) za LR in 91 odstotkov (1 odstotek ) za XGB in povprečno (SD) AUC 0,89 (0.01) za LR in 0,89 (0,02) za XGB (eTabela 5 v dodatku).

Diagnostična stabilnost

Od 1568 udeležencev, ki so prejeli diagnozo demence v 2 letih, smo identificirali 130 (8 odstotkov) tistih, ki so doživeli reverzijo, ki so bili verjetno na začetku napačno diagnosticirani in zato napačno označeni za namene ML. Ugotovili smo, da medtem ko so o reverzijah poročali le pri 0,8 odstotka udeležencev, so predstavljale 92 do 109 udeležencev (7 odstotkov -8 odstotkov ) napačno razvrščenih udeležencev, z majhno količino variacij med modeli (tabela 3). Model RF je imel najvišjo diagnostično stabilnost, saj je pravilno identificiral 109 od 130 udeležencev z reverzijo (84 odstotkov), tako da jih je po 2 letih razvrstil kot predvidene za brez demence. Da bi raziskali diagnostično stabilnost modelov ML, smo med usposabljanjem odstranili udeležence z reverzijo (eMetode v dodatku). Po ponovnem usposabljanju modelov brez reverzij smo ugotovili, da je RF identificiral 106 udeležencev, ki so doživeli reverzije (mediana [IQR], 82 odstotkov [78 odstotkov -82 odstotkov ]), SVM je identificiral 93 udeležencev, ki so doživeli reverzije (mediana [IQR], 72 odstotkov [69 odstotkov -74 odstotkov ]), LR in XGB pa sta identificirala 92 udeležencev, ki so doživeli reverzije (mediana [IQR], 71 odstotkov [68 odstotkov -75 odstotkov ]). IQR-ji so bili pridobljeni z zagonskimi udeleženci, ki so doživeli reverzijo.

Da bi razumeli razliko med napačno razvrščenimi udeleženci, udeleženci z reverzijo in udeleženci, ki so razvili demenco brez reverzije, smo analizirali CDF klasifikacijskih rezultatov, pridobljenih iz vsakega modela ML. Ugotovili smo, da so se rezultati napačno razvrščenih udeležencev in določenih udeležencev z reverzijo razlikovali od udeležencev, ki so razvili demenco, in tistih, ki je niso razvili (eSlika 3 v dodatku). CDF klasifikacijskih rezultatov za udeležence, ki niso razvili demence, so padli na skrajno levo od vsake ploskve, kar kaže, da so modeli ML tem udeležencem dodelili nizko verjetnost razvoja demence. Nasprotno, pri udeležencih, ki so razvili demenco, so CDF padli na desno od ploskev: dodeljena jim je bila velika verjetnost razvoja demence. Za vse modele je porazdelitev rezultatov za udeležence z reverzijo padla na levo od tiste za udeležence, ki so razvili demenco, kar pomeni, da je bilo glede na te modele ocenjeno, da imajo udeleženci z reverzijo manjšo verjetnost za razvoj demence.

Diskusija

V tej prognostični študiji so imeli algoritmi ML boljšo prognostično natančnost v primerjavi z BDSI in CAIDE pri napovedovanju incidence demence v 2 letih po pacientovi prvi oceni spominske klinike. Ocenjeno je bilo, da sta dva od algoritmov ML dosegla 91-odstotno natančnost in AUC 0,89 s samo 6 ključnimi spremenljivkami. Analize občutljivosti kažejo, da bi modeli ML lahko pravilno razvrstili velik delež udeležencev, ki so doživeli reverzijo in jim je bila potencialno napačna diagnoza v 2 letih od prvega obiska. Ta študija ima več prednosti, vključno z velikim vzorcem pacientov, pridobljenih iz več klinik za spomin po Združenih državah, širokim spektrom uporabljenih tehnik ML, primerjavo z obstoječimi modeli tveganja ter raziskovanjem diagnostične stabilnosti in verjetne napačne diagnoze.

Predhodne študije o uporabi ML za napovedovanje tveganja za demenco so se osredotočale na pretvorbo iz nemotene kognicije v Alzheimerjevo demenco ali MCI,6,8 ali na pretvorbo iz MCI v Alzheimerjevo demenco.5 Ti pristopi so manj uporabni v kliničnem okolju, saj izključujejo druge vrste demence5,6,8 ali bolniki, ki so na začetku kognitivno nemoteni.5 Podatki, uporabljeni v teh študijah, so vključevali skeniranje s pozitronsko emisijsko tomografijo,5,8 in biomarkerje cerebrospinalne tekočine,8 ki običajno niso na voljo v klinikah za spomin. Študija, ki so jo izvedli Lin in drugi6, je to odpravila z uporabo podatkov NACC za iskanje nabora 15 neinvazivnih kliničnih spremenljivk za oceno tveganja pretvorbe iz nemotene kognicije v MCI v 4-letnem obdobju. Vendar je konstrukt MCI še vedno nekoliko sporen,32 in stopnje konverzije med MCI in demenco so pogosto nizke.32,33 Naši modeli ML dopolnjujejo te analize in imajo to prednost, da vključujejo samo 6 ključnih spremenljivk v primerjavi s klinično pomembnim časovnim okvirom in napovedujejo izid demence vseh vzrokov.

Od obstoječih modelov, ki smo jih raziskali v naši študiji, je bil model CAIDE najmanj natančen pri napovedovanju tveganja za demenco v 2 letih, kar ni presenetljivo, glede na to, da je bil razvit za napovedovanje dolgoročnega tveganja za demenco pri odraslih srednjih let v veliko daljšem obdobju. obdobje spremljanja 20 let. BDSI je deloval bolje kot CAIDE, kar verjetno odraža, da je bil zasnovan za uporabo pri starejših odraslih v zmernejšem obdobju spremljanja 6 let. Vendar so bili vsi modeli ML boljši od teh obstoječih modelov. Z uporabo vseh spremenljivk je bil XGB najmočnejši pristop ML pri napovedovanju bolnikov, pri katerih je verjetno, da bodo imeli diagnozo demence v 2 letih, kar nakazuje, da način, na katerega so nova odločitvena drevesa usposobljena za popravljanje napak zadnjih treh, povzroči obrobno uspešnost. dobiček. Vendar se je zdelo tudi, da je XGB pristop, ki najmanj zmore prepoznati udeležence, ki so doživeli reverzijo, tj. tiste, ki jim je bila prvotno diagnosticirana demenca v 2 letih in jim je bila ta diagnoza obrnjena v 2 letih po začetni diagnozi.

Učinkovitost modelov ML lahko znatno zmanjšajo napačno označeni podatki o usposabljanju.34 Nasprotno, izključitev napačno označenih podatkov o usposabljanju ne izboljša vedno učinkovitosti.35 Ko se raven šuma v podatkih o usposabljanju poveča, se vrednost izključitve ali zmanjšanja tega šuma zmanjša, če isti šum je prisoten v validacijskih podatkih.36 Tako lahko filtriranje podatkov o usposabljanju celo zmanjša podatke o neveljavnosti zmogljivosti, kot je bilo ugotovljeno v tej študiji. Kadar pa je stopnja napačnega označevanja manjša od približno 20 do 40 odstotkov, lahko odstranitev napačno označenih podatkov izboljša natančnost validacijskih podatkov, tudi če to vključuje napačno označene podatke.35,37,38 To ponazarja pomen raziskovanja diagnostične stabilnosti pri usposabljanju in podatki o validaciji: tudi standardni podatki merila vsebujejo napake.

Opažena stopnja reverzije (8 odstotkov) je bila podobna tisti, ugotovljeni v študiji iz leta 2019, ki je temeljila na drugi populaciji ZDA.31 V naši študiji je bilo ugotovljeno, da se odstotek lažno pozitivnih rezultatov razlikuje od 7 odstotkov do 19 odstotkov, odvisno od kognitivnih sposobnosti. uporabljena ocena. Kolikor nam je znano, je to prva analiza morebitnih napačnih diagnoz v NACC UDS in nakazuje, da lahko uporaba ML kot klinične pomoči pri odločanju zmanjša napačne diagnoze lažno pozitivnih rezultatov za do 84 odstotkov. Glede na to, da so bolniki, ki doživijo reverzijo, mejni v diagnostičnem smislu, je s kliničnega vidika morda smiselno, da se jih vseeno spremlja, glede na to, da obstajajo razlogi za klinično skrb. Tako je lahko XGB najboljši model za klinično pomoč pri odločanju. Druga možnost je, da se ansambelski pristop, ki daje sekundarne napovedi o verjetni diagnostični stabilnosti in možnosti napačne klasifikacije, lahko izkaže za še bolj uporabnega.

Omejitve

Ta študija ima več omejitev. Prvič, CAIDE in BDSI sta bila razvita z uporabo različnih populacij od tiste, uporabljene v tej študiji. Vse spremenljivke, uporabljene za razvoj teh modelov, niso imele natančnega ekvivalenta v UDS, kar je morda vplivalo na njihovo uspešnost v tem nizu podatkov. Drugič, metoda, uporabljena za imputiranje podatkov, lahko povzroči napako pri imputiranju. Natančneje, imputacija nadomesti vse manjkajoče vrednosti s številsko vrednostjo, vendar nekatere vrednosti manjkajo zaradi njihovega razmerja z drugo vrednostjo; zato je dejstvo, da vrednost manjka, informativno. Medtem ko so udeleženci imeli povprečno 14 odstotkov manjkajočih podatkov, je 6 identificiranih ključnih spremenljivk manjkalo za povprečno 1 odstotek udeležencev. Tretjič, čeprav je naša študija uporabila velik vzorec obiskovalcev klinike za spomin v Združenih državah, zaradi česar so naši rezultati zelo uporabni za to okolje, ni znano, v kolikšni meri se bodo ti rezultati posplošili na druge populacije.

Sklepi

Ta prognostična študija je pokazala, da so modeli ML boljši od obstoječih modelov napovedovanja tveganja demence in imajo lahko potencial za izboljšanje napovedi incidentne demence v 2 letih na klinikah za spomin. Šest ključnih dejavnikov za tveganje za demenco, ugotovljenih v tej študiji, bi lahko izboljšalo klinično prakso v klinikah za spomin, če bi jih vključili v prihodnje klinične pripomočke za odločanje.

REFERENCE

1. Hejl A, Høgh P, Waldemar G. Potencialno reverzibilna stanja pri 1000 zaporednih bolnikih s kliniko spomina. J Neurol Neurosurg Psychiatry.

2. Mitchell AJ, Shiri-Feshki M. Stopnja napredovanja blage kognitivne okvare v demenco – meta-analiza 41 robustnih začetnih kohortnih študij. Acta Psychiatr Scand. 2009;119(4):252-265.

3. Barnes DE, Beiser AS, Lee A, et al. Razvoj in validacija kratkega presejalnega kazalnika demence za primarno zdravstveno varstvo. Alzheimerjeva dementnost. 2014;10(6):656-665.e1. doi:10.1016/j.jalz.2013.11.006

4. Kivipelto M, Ngandu T, Laatikainen T, Winblad B, Soininen H, Tuomilehto J. Ocena tveganja za napovedovanje tveganja demence v 20 letih med ljudmi srednjih let: longitudinalna populacijska študija. Lancet Neurol. 2006;5(9):735-741. doi:10.1016/S1474-4422(06)70537-3

5. Cui Y, Liu B, Luo S, et al; Pobuda za nevrološko slikanje Alzheimerjeve bolezni. Identifikacija konverzije iz blage kognitivne okvare v Alzheimerjevo bolezen z uporabo multivariatnih napovednikov. PLoS One.

6. Lin M, Gong P, Yang T, Ye J, Albin RL, Dodge HH. Analitični pristopi velikih podatkov k naboru podatkov NACC: pomoč pri obogatitvi predkliničnega preskušanja. Alzheimer Dis Assoc Disord. 2018;32(1):18-27.

7. Park JH, Cho HE, Kim JH, et al. Napovedovanje pojavnosti Alzheimerjeve bolezni s strojnim učenjem z uporabo obsežnih administrativnih zdravstvenih podatkov. NPJ Digit Med. 2020;3(1):46.

8. Zhan Y, Chen K, Wu X, et al; Pobuda za nevrološko slikanje Alzheimerjeve bolezni. Identifikacija pretvorbe iz običajne kognicije starejših v Alzheimerjevo bolezen z uporabo multimodalnega podpornega vektorskega stroja. J Alzheimers Dis. 2015; 47(4):1057-1067.

9. Burgos N, Colliot O. Strojno učenje za klasifikacijo in napovedovanje možganskih bolezni: nedavni napredek in prihajajoči izzivi. Curr Opin Neurol. 2020;33(4):439-450.

10. Beekly DL, Ramos EM, Lee WW, et al; Centri za Alzheimerjevo bolezen NIA. Baza podatkov Nacionalnega koordinacijskega centra za Alzheimerjevo bolezen (NACC): enotni nabor podatkov. Alzheimer Dis Assoc Disord. 2007;21(3):249-258.

11. Nacionalni inštitut za staranje. Raziskovalni centri za Alzheimerjevo bolezen. Dostopan 21. maja 2021.

12. Pfeffer RI, Kurosaki TT, Harrah CH Jr, Chance JM, Filos S. Merjenje funkcionalnih aktivnosti pri starejših odraslih v skupnosti. J Gerontol. 1982;37(3):323-329.

13. Kaufer DI, Cummings JL, Ketchel P, et al. Validacija NPI-Q, kratke klinične oblike nevropsihiatričnega popisa. J Nevropsihiatrična klinika Neurosci. 2000;12(2):233-239.

14. Weintraub S, Salmon D, Mercaldo N, et al. Enotni nabor podatkov (UDS) centrov za Alzheimerjevo bolezen: baterija nevropsiholoških testov. Alzheimer Dis Assoc Disord. 2009;23(2):91-101.

15. Morris JC, Weintraub S, Chui HC, et al. Enotni nabor podatkov (UDS): klinične in kognitivne spremenljivke ter opisni podatki iz centrov za Alzheimerjevo bolezen. Alzheimer Dis Assoc Disord. 2006;20(4):210-216.

16. McKhann G, Drachman D, Folstein M, Katzman R, Price D, Stadlan EM. Klinična diagnoza Alzheimerjeve bolezni: poročilo delovne skupine NINCDS-ADRDA pod okriljem delovne skupine Ministrstva za zdravje in socialne storitve za Alzheimerjevo bolezen. Nevrologija. 1984;34(7):939-944.

17. Román GC, Tatemichi TK, Erkinjuntti T, et al. Vaskularna demenca: diagnostična merila za raziskovalne študije: poročilo mednarodne delavnice NINDS-AIREN. Nevrologija. 1993;43(2):250-260.

18. McKeith IG, Dickson DW, Lowe J, et al; Konzorcij o DLB. Diagnoza in obvladovanje demence z Lewyjevimi telesci: tretje poročilo konzorcija DLB. Nevrologija.

19. Neary D, Snowden JS, Gustafson L, et al. Frontotemporalna lobarna degeneracija: soglasje o kliničnih diagnostičnih merilih. Nevrologija. 1998;51(6):1546-1554.

20. Martínez-Martín P, Gil-Nagel A, Gracia LM, Gómez JB, Martínez-Sarriés J, Bermejo F; Zadružna multicentrična skupina. Značilnosti in struktura enotne ocenjevalne lestvice Parkinsonove bolezni. Motnja Mov. 1994; 9 (1): 76-83.

21. Morris JC. Klinična ocena demence: zanesljiv in veljaven diagnostični ukrep za demenco Alzheimerjevega tipa. Int Psychogeriatr. 1997; 9 (S1) (dodatek 1): 173-176.

22. Hastie T, Tibshirani R, Friedman J. Elementi statističnega učenja: podatkovno rudarjenje, sklepanje in napovedovanje. Springer Science & Business Media; 2009.

23. Hosmer Jr DW, Lemeshow S, Sturdivant RX. Uporabljena logistična regresija. John Wiley & Sons; 2013.

24. Cortes C, Vapnik V. Nosilna vektorska omrežja. Mach Learn. 1995;20(3):273-97. doi:10.1007/BF00994018

25. Breiman L. Naključni gozdovi. Mach Learn. 2001;45(1):5-32. doi:10.1023/A:1010933404324

26. Ho TK. Gozdovi naključne odločitve. V: Zbornik 3. mednarodne konference o analizi in prepoznavanju dokumentov. IEEE; 1995:278-282.

27. Friedman JH. Povečanje stohastičnega gradienta. Računalniška analiza statističnih podatkov. 2002; 38(4):367-78.

28. Pedregosa F, Varoquaux G, Gramfort A, et al, Scikit-learn: strojno učenje v Pythonu. J Mach Learn Res. 2011; 12:2825-2830.

29. Krzanowski WJ, Hand DJ. Krivulje ROC za neprekinjene podatke. CRC Press; 2009.

30. Fawcett, T. Uvod v analizo ROC. Prepoznavanje vzorcev Lett. 2006;27(8):861-874. doi:10.1016/j. Patrik.2005.10.010

31. Ranson JM, Kuźma E, Hamilton W, Muniz-Terrera G, Langa KM, Llewellyn DJ. Napovedovalci napačne klasifikacije demence pri uporabi kratkih kognitivnih ocen. Neurol Clin Pract. 2019;9(2):109-117.

32. Bruscoli M, Lovestone S. Ali je MCI res le zgodnja demenca: sistematični pregled konverzijskih študij. Int Psychogeriatr. 2004;16(2):129-140.

33. Farias ST, Mungas D, Reed BR, Harvey D, DeCarli C. Napredovanje blage kognitivne okvare do demence v kohortah na kliniki proti skupnostim. Arch Neurol. 2009;66(9):1151-1157.

34. Guan D, Yuan W, Ma T, Khattak AM, Chow F. Stroškovno občutljivo odstranjevanje napačno označenih podatkov o usposabljanju. Inf Sci. 2017; 402:170-81.

35. Brodley CE, Friedl MA. Prepoznavanje napačno označenih podatkov o usposabljanju.J Artif Intelligence Res.

36. Quinlan JR. Indukcija odločitvenih dreves. Mach Learn. 1986;1(1):81-106.

37. Brodley CE, Friedl MA. Prepoznavanje in odpravljanje napačno označenih primerov usposabljanja. V: AAAI '96: Zbornik trinajste nacionalne konference o umetni inteligenci. AAAI; 1996:799-805.

38. Brodley CE, Friedl MA. Izboljšanje avtomatiziranega kartiranja pokrovnosti tal z identifikacijo in izločanjem napačno označenih opazovanj iz podatkov o usposabljanju. V: IGARSS '96: Mednarodni simpozij o geoznanosti in daljinskem zaznavanju 1996. IEEE;1996:1379-1381.