Nov mehki DBNet za segmentacijo medicinske slike, 1. del

Povzetek:Ko so zdravniki utrujeni, pogosto delajo diagnostične napake. Podobno lahko tudi farmacevti delajo napake pri izdajanju zdravil. Zato ima segmentacija objektov ključno vlogo na številnih področjih, povezanih z zdravstveno oskrbo, kot je analiza simptomov pri biomedicinskem slikanju in razvrščanje zdravil. Vendar številni tradicionalni algoritmi globokega učenja uporabljajo en sam pogled slike za segmentacijo ali klasifikacijo. Ko je slika zamegljena ali nepopolna, ti algoritmi ne uspejo natančno segmentirati patološkega področja ali oblike zdravil, kar lahko nato vpliva na nadaljnje načrte zdravljenja. Zato predlagamo Fuzzy DBNet, ki združuje dvojno mrežo metuljev in mehko ASPP v omrežju za globoko učenje ter obdeluje slike z obeh strani objekta hkrati. Naši poskusi so za usposabljanje uporabili nabore podatkov o tabletah z več kategorijami in rentgenskim slikanjem pljuč. Povprečni koeficient Dice našega predlaganega modela je dosegel 95,05 % pri segmentaciji z več tabletami in 97,05 % pri segmentaciji pljuč. Rezultati so pokazali, da naš predlagani model prekaša druga najsodobnejša omrežja v obeh aplikacijah, kar dokazuje, da lahko naš model uporablja več pogledov slike za pridobitev segmentacije ali identifikacije slike.

Cistanche lahko deluje kot sredstvo proti utrujenosti in povečuje vzdržljivost, eksperimentalne študije pa so pokazale, da lahko decoction Cistanche tubulosa učinkovito zaščiti jetrne hepatocite in endotelne celice, poškodovane pri plavalnih miših, ki nosijo težo, poveča izražanje NOS3 in spodbuja jetrni glikogen sintezo in tako deluje proti utrujenosti. Izvleček Cistanche tubulosa, bogat s feniletanoidnimi glikozidi, bi lahko znatno zmanjšal serumsko raven kreatin kinaze, laktat dehidrogenaze in laktata ter zvišal raven hemoglobina (HB) in glukoze pri miših ICR, kar bi lahko imelo vlogo proti utrujenosti z zmanjšanjem poškodb mišic in zakasnitev obogatitve mlečne kisline za shranjevanje energije pri miših. Tablete Compound Cistanche Tubulosa so znatno podaljšale čas plavanja z obremenitvijo, povečale rezervo glikogena v jetrih in znižale raven sečnine v serumu po vadbi pri miših, kar kaže na učinek proti utrujenosti. Odvarek Cistanchis lahko izboljša vzdržljivost in pospeši odpravo utrujenosti pri vadbenih miših, prav tako pa lahko zmanjša zvišanje serumske kreatin kinaze po obremenitveni vadbi in ohranja normalno ultrastrukturo skeletnih mišic miši po vadbi, kar kaže, da ima učinke za povečanje fizične moči in proti utrujenosti. Cistanchis je tudi znatno podaljšal čas preživetja miši, zastrupljenih z nitriti, in povečal toleranco proti hipoksiji in utrujenosti.

Kliknite na ekstremno utrujenost

【Za več informacij:george.deng@wecistanche.com / WhatsApp:8613632399501】

1. Uvod

Obstajajo številni primeri, ko je bila segmentacija slike v medicini uporabljena predvsem zato, ker interpretacija medicinskih slik iz CT in MRI skeniranja zahteva veliko medicinskega znanja in časa. Poleg tega statistika razkriva, da zdravniške napake prispevajo k smrti 7000–9000 ljudi letno v Združenih državah [1]. Zato je bilo za reševanje teh težav predlaganih več tehnoloških rešitev. Na primer, U-Net, ki so ga razvili Ronneberger et al. [2] se uporablja pri segmentaciji biomedicinskih slik. DoubleU-Net, ki ga uporabljajo Debesh Jha et al. [3] se uporablja pri postopkih, kot je kolonoskopija. Primarno je zgrajen na U-Net in VGG-19, sestavljen iz dveh kodirnikov in dekodirnikov. Podobno Chin et al. [4] uporabljajo algoritem globokega učenja Mask R-CNN za segmentacijo glasilk in predelov glotisa iz videoposnetkov grla, kar zdravnikom pomaga pri diagnozi in zdravljenju.

Med prepoznavanjem slik pljuč Jakub et al. je poudaril, da se rezultati rentgenskih slik bolezenskih lezij zlahka zamašijo s krvnimi žilami. Čeprav lahko metode strojnega učenja za prepoznavanje slik pljuč pomagajo zmanjšati obremenitev zdravstvenega osebja, je njihova natančnost le 91 % [5]. Poleg tega se je model globokega učenja za prepoznavanje pljučnih bolezni izkazal za boljšega od tradicionalnih metod strojnega učenja [6,7]. Zato smo za prepoznavanje slik uporabili globoko učenje. V primeru torakostomije pri pnevmotoraksu mora zdravnik pogledati rentgensko sliko prsnega koša, da najde prosojno plevralno črto, ki prekriva rebra. Ker je ta slika nagnjena k zamegljenosti zaradi prekrivanja tkiv, tradicionalno prepoznavanje slike ni učinkovito [8], zlasti zato, ker se zrak nabira na sprednji strani telesa in ne na vrhu, kar zdravnikom otežuje razlago območij pnevmotoraksa. Ker začetni simptomi številnih pljučnih lezij niso očitni in imajo pljuča zapletene patološke značilnosti [9], so številni znanstveniki predlagali metode globokega učenja za izboljšanje natančnosti in učinkovitosti diagnoze [10]. Laura idr. [11] so predlagali kompleksno mrežo za prepoznavanje slik pljuč in njihov poskus je pokazal visoko natančnost za prepoznavanje teksture. V skladu s tem lahko kompleksna omrežna metoda izlušči pomembne lastnosti. Alhassan et al. [12] so uporabili metodo ansambelskega učenja za odkrivanje pljučnice na rentgenskih slikah prsnega koša z izboljšano stopnjo natančnosti 93 %. Na podlagi značilnosti učenja ansambla se metoda uporablja za izboljšanje natančnosti identifikacije modela. Mohammad et al. [13] je predlagal model globokega učenja za pomoč pri zgodnjem odkrivanju COVID-19, kar je medicinskemu osebju pomagalo zmanjšati delovno obremenitev. Za segmentacijo slike pljuč so Feidao et al. [14] je predlagal mehanizem pozornosti s tremi terminali za samodejno poudarjanje ciljnega območja in izboljšanje učinkovitosti segmentacije pljuč. Posledično se za izboljšanje učinka usposabljanja modela uporablja modul vrat pozornosti. Vendar ti modeli niso v celoti uporabili rentgenskih slik prsnega koša. Obstajata dva načina za rentgensko slikanje pljuč: anteroposteriorno in posteroanteriorno. Anteroposteriorni rentgenski posnetki pljuč se vzamejo iz prsne votline; posteroanteriorne rentgenske slike pljuč se vzamejo od zadaj. Obstoječi modeli globokega učenja lahko za prepoznavanje vnesejo samo eno sliko naenkrat [15]. Zato model morda ne bo mogel identificirati lokacije lezije, ker je vnesena samo ena stran rentgenske slike [16]. Posledično smo za identifikacijo slik pljuč uporabili metode globokega učenja.

Pri prepoznavanju slik tablet se večina obstoječih metod razvrščanja opira le na enostranske informacije, vendar v nekaterih primerih številnih vrst tablet ni mogoče razvrstiti. Na primer, ista vrsta tabletke ima lahko različne oblike, če jih gledamo iz različnih zornih kotov; nekatere tablete imajo lahko napis samo na eni strani; tisti s podobnimi oblikami in barvami pa lahko predstavljajo tudi izziv. V takih primerih model morda ne bo mogel natančno razvrstiti skupine tablet. Zaradi pandemije se veliko ljudi vsak dan zgrinja v bolnišnice, kar vodi do znatnega povečanja uporabe tablet in zdravniških napak [17,18]. Za reševanje teh težav so Ou et al. [19] je predlagal dvostopenjsko arhitekturo globokega učenja za odkrivanje in kasnejše razvrščanje 1000 vrst tablet. Poleg tega sta izboljšanje znanja o zdravilih in zagotavljanje ustreznih informacij pacientom postala pomembna vprašanja za izogibanje odpadnim zdravilom in škodljivim stranskim učinkom [20]. Vendar ostaja prepoznavanje tablet na podlagi videza za bolnike zastrašujoča naloga. Wang et al. [21] je uporabil GoogLeNet Inception Network za urjenje arhitekture poglobljenega učenja in tehnik izboljšave slike z osredotočanjem na barvo, obliko in oznake, vendar lahko identificira samo eno vrsto tabletke, kar je njegova velika pomanjkljivost. Hkratna identifikacija več vrst tablet lahko bolje zadovolji potrebe javnosti. Na področju segmentacije slike tabletk so Kwon et al. [22] so uporabili Mask R-CNN, podatkovni nizi za usposabljanje, ki so jih uporabili, pa so vsebovali samo 27 vrst tablet, od katerih je imela vsaka drugačno obliko in barvo. V resnici pa ima veliko več vrst tabletk podoben videz. Da bi ustrezali potrebam v resničnem svetu, je bilo za usposabljanje našega modela uporabljenih 93 vrst tablet. Imeli so podobne oblike in barve ter se razlikovali predvsem v različnih odtisih, zaradi česar je bil naš model bolj uporaben za klinične potrebe. Pri odkrivanju predmetov tabletke Lu et al. [23] je predlagal številne metode odkrivanja objektov. Čeprav so ti modeli zaznali položaj tablet, je zemljevid le 87-odstoten. Poleg tega prejšnji znanstveniki niso učinkovito obravnavali težav pri identifikaciji tablet, vključno z njihovo naključno postavitvijo in prisotnostjo več tablet na sliki. Prav tako je težko določiti in standardizirati za vsak razred tablete kot vrtenja tablete.

Za računalniški vid drugi primeri uporabljajo zračna vozila brez posadke (UAV) v kombinaciji z globokim učenjem, Keiller et al. [24] so preučevali klasifikacijo rastlin s prostorske in spektralne perspektive z uporabo RGB in spektralnih slik UAV, ki temeljijo na tehnologiji 2D-CNN.

Trenutne metode za segmentacijo slike večinoma uporabljajo eno sliko kot vhod. Ko je v model vnesena ena sama slika nizke kakovosti, se pojavijo težave z nenatančno segmentacijo in klasifikacijo objektov. Na medicinskem področju so zaradi kompleksnih značilnosti slik Akinobu et al. [25] je predlagal BtrflyNet za identifikacijo kostnih metastaz, ki lahko sprejme dve vhodni sliki hkrati. Eksperimentalni rezultati so pokazali, da lahko poveča stopnjo uspešnosti usposabljanja modelov. Vendar je ta model uporaben samo za slike kostnih metastaz. Na podlagi tega dokumenta smo izboljšali BtrflyNet, da bi predlagali Fuzzy DBNet, ki je dosegel odlične rezultate pri prepoznavanju slik tablet in slik pljuč.

2. Materiali in metode

2.1. Nabori podatkov

V tem dokumentu so bili uporabljeni rentgenski posnetki prsnega koša in podatkovni nizi tabletk. Podatki o rentgenskem slikanju prsnega koša so bili pridobljeni iz nabora podatkov o rentgenskem slikanju prsnega koša NIH [26], ki vsebuje 112.120 slik, iz katerih smo izluščili 72.324 anteroposteriornih (AP) in posteroanteriornih (PA) pogledov istih bolnikov. Nato smo slike AP združili z njihovimi ustreznimi slikami PA, kar je po povečanju povzročilo skupno 267.105 parov AP-PA.

Nabor podatkov o tabletkah obsega 93 kategorij s skupno 1238 slikami: okrogle, ovalne, pravokotne, trikotne in različnih barv. Da bi zajeli obe strani vsake tablete, so bile posnete slike, potem ko so bile tablete raztresene po prozorni plošči in fotografirane neposredno od zgoraj in spodaj. Nabor podatkov je bil nato razdeljen na 80% za usposabljanje, 10% za testiranje in 10% za validacijo. Za izboljšanje natančnosti modela smo uporabili shemo AutoAugment [27] za diskretizacijo vsake velikosti operacije (M) od [0, 10] za povečanje podatkov, kar je povzročilo povečan nabor podatkov 2476 slik.

Nabor podatkov je bil najpomembnejša omejitev našega modela. Prvič, naše vhodne slike so morale biti dvostranske, ne samo splošne slike, ampak tudi slike, ki prodirajo skozi predmete, kot so rentgenski žarki. Drugič, zahtevane so bile fiksne korespondence položajev predmetov na slikah. Da bi to rešili, si je naša ekipa med zbiranjem nabora podatkov prizadevala uskladiti položaje tablet med njihovimi dvostranskimi slikami.

Pomembno je omeniti, da je nabor podatkov o rentgenskem slikanju pljuč, uporabljenih v tej študiji, zagotovil NIH, medtem ko je nabor podatkov o tabletah zajela fotografija naše ekipe.

2.2. Predhodna obdelava podatkov

V pomoč farmacevtom pri razvrščanju tablet je bilo označenih 93 vrst tablet. Uporabili smo VGG image Annotator [28], da smo vsako označili z imenom v 93 različnih kategorijah. Označili smo rob tabletke in pretvorili označene podatke v datoteko JSON kot osnovno resnico podatkov o vadbi. Algoritem predhodne obdelave najdete v algoritmu A1.

2.3. Fuzzy DBNet

Ta dokument predlaga novo arhitekturo poglobljenega učenja, mehko omrežje dvojnega metulja (DBNet), v katero je mogoče vnesti dve sliki s komplementarnimi lastnostmi za izvedbo segmentacije slike. V glavnem je sestavljen iz treh delov: arhitekture kodirnika–dekoderja z dvojnim metuljem, bloka združevanja mehke prostorske piramide (ASPP) in vrat za pozornost, kot je prikazano na sliki 1.

Izurjen VGG 19 je bil uporabljen za kodiranje prve arhitekture metulja za ekstrahiranje funkcij slike za prihranek časa za usposabljanje in preprečevanje prekomernega opremljanja. Med kodirnikoma in dekodirnikoma v obliki metulja sta bila dva povezana bloka, ki sta povezovala dva niza blokov Fuzzy ASPP in tako izmenjevala različne značilnosti slik. Nato je bil začetni izhodni rezultat prve arhitekture v obliki metulja pomnožen z izvirno sliko, kot je prikazano v bloku za množenje na sliki 1. To je povečalo specifično težo funkcije za doseganje natančnejše segmentacije. Algoritem Fuzzy DBNet je na voljo v algoritmu A2.

Fuzzy ASPP je združil ASPP z mehko teorijo in je bil postavljen med kodirnik in dekoder dveh omrežij tipa metulja. Slika 2 prikazuje strukturo Fuzzy ASPP.

V delu Fuzzy Pooling je bila za dokončanje operacije uporabljena funkcija članstva v obliki zvona, rezultati vsakega popravka združevanja pa so bili dinamično prilagojeni. Algoritem A3 prikazuje algoritem dinamične prilagoditve. Glavni namen je bil zmanjšati delež lastnosti, na katere vplivajo dejavniki negotovosti. Algoritem Fuzzy ASPP je na voljo v algoritmu A4.

V preskočnih povezavah je bil uporabljen mehanizem pozornosti za odpravo hrupnih in nepomembnih odzivov z uporabo funkcij, pridobljenih iz grobejših zemljevidov funkcij. Učinkovito je zmanjšal hrup in nepotrebne funkcije v modelu ter izboljšal njegovo zmogljivost in natančnost. Slika 3 prikazuje strukturo vrat za pozornost.

3. Rezultat

3.1. Nastavitev poskusa

Validacija usposabljanja in testiranje predlaganega modela sta bila izvedena na računalniku z 8-jedrnim CPE (Intel Xeon W-3223), 64 GB pomnilnika, GPE (RTX 3090) s 24 GB grafičnega pomnilnika, in 10.496 jeder CUDA. Implementacija je bila izvedena z uporabo ogrodja PyTorch. Tabela 1 prikazuje hiperparametre, uporabljene za vse poskuse.

Funkcija skupne izgube (LDC) združuje povprečno izgubo kocke (LavgDice) s kategorično navzkrižno entropijsko izgubo (LCCE) in se izračuna na naslednji način:

kjer je N število vzorcev in C število razredov. Ker so bili izhod omrežja večrazredne slike, smo LCCE izračunali z enačbo (3). Nato smo z enačbo (2) izračunali LDice za vsak razred. Vse slikovne pike v Ppred, ki niso bile aktivne v Ptrue, je bilo mogoče izničiti. Za aktivirane slikovne pike so bile napovedi z nizko stopnjo zaupanja večinoma kaznovane, medtem ko so višje vrednosti napovedi dosegle višje koeficiente Dice. Zato se je model naučil predmetov različnih razredov in velikosti prek LDice in LCCE.

3.2. Indeks ocenjevanja uspešnosti

V tej študiji smo uporabili tri metrike za ovrednotenje učinkovitosti modela: natančnost glede na slikovne pike, povprečni koeficient Dice (Dice) in povprečno presečišče nad zvezo (me). Ti kazalniki so prikazani v naslednji formuli.

kjer Xi označuje osnovne vrednosti resnice, Yi pa označuje predvidene vrednosti. TP, FP, TN in FN prikazujejo številke resnično pozitivnih, lažno pozitivnih, resnično negativnih oziroma lažno negativnih rezultatov. Natančnost slikovnih pik je merila odstotek pravilno identificiranih slikovnih pik na sliki; ocena Dice je merila prekrivanje med predvideno segmentacijo in osnovno resnico; in mIoU sta izmerila predvideno segmentacijo z osnovno resnico. Te metrike so bile izbrane, ker so zagotovile celovit pregled nad delovanjem modela in omogočile smiselne primerjave z drugimi modeli na terenu. Višje vrednosti teh meritev so pokazale boljšo zmogljivost modela.

3.3. Segmentacija rentgenskih slik pljuč

Izvedli smo poskuse za usposabljanje predlagane metode in validirali model z uporabo validacijskega niza. Kot je prikazano na sliki 4, je izguba usposabljanja Fuzzy DBNet na naboru podatkov o rentgenskem slikanju pljuč dosegla konvergenco pri približno 100. epohi in dosegla popolno konvergenco pri približno 300. epohi.

Na naboru podatkov o rentgenskem slikanju pljuč smo izbrali niz slik kot primere za testiranje modela. Vseboval je šest slik: anteriorno-posteriorne in posteroanteriorne neobdelane slike, ustrezne resnične slike tal in segmentirane rezultate. Te slike so prikazane na sliki 5.

Primerjali smo izhode Fuzzy DBNet in njegovo osnovno resnico na podatkih testiranja z uporabo povprečnega koeficienta Dice, mIoU in natančnosti slikovnih pik, da bi izmerili zmogljivost modela. Rezultati so prikazani v tabeli 2.

Za primere smo izbrali dva niza rentgenskih posnetkov pljuč iz rezultatov segmentacije našega testnega niza. Na sliki 6 je bila popolnost segmentacije našega modela veliko boljša kot pri BtrflyNet. Na sliki 7, ko so bile prvotne slike pljuč zamegljene, je bila zmogljivost segmentacije DoubleU-Net slaba, medtem ko je naš model pljuča natančno segmentiral.

【Za več informacij:george.deng@wecistanche.com / WhatsApp:8613632399501】