[Krótka seria o AI dla każdego] Co ma posiadanie psa w USA do uzyskania recepty na opioidy? Dzisiaj o tzw. human-oversight na przykładzie z branży healthcare [cz. 2/2].
W poprzednim wpisie opisałem krótko system (NarxCare), który generuje ocenę ryzyka niewłaściwego używania leków opioidowych przez pacjentów. System w założeniu ma pomagać lekarzom w podejmowaniu właściwej decyzji o zastosowaniu lub odmowie zastosowania terapii lekami opioidowymi u konkretnych pacjentów.
Ten przykład może stanowić bazę dla rozważań dla innych systemów wykorzystywanych w branży medycznej opartych o sztuczną inteligencję, w których lekarz otrzyma wygenerowany przez system raport dotyczący zupełnie innych ryzyk, rozpoznanych jednostek chorobowych czy nawet sugerowanych planów leczenia.
Przyjmując, że systemy te będą kwalifikowane jako tzw. systemy wysokiego ryzyka zgodnie z AI Act trzeba będzie zapewnić nad nimi nadzór ze strony człowieka (human oversight – Art. 14 AI Act). O co w tym chodzi?
Chodzi mówiąc krótko o wiarę w to, że jeżeli zaangażujemy człowieka na jakimś etapie działania systemu zamiast zdać się kompletnie na wynik generowany przez system to unikniemy lub co najmniej zminimalizujemy ryzyko dla zdrowia pacjenta.
Pytanie tu jest następujące:
czy to, że to lekarz podejmuje decyzję o zastosowaniu lub nie zastosowaniu określonej terapii – a nie system AI – jest wystarczające do uznania, że zgodnie z AI Act warunek zapewnienia nadzoru ze strony człowieka jest spełniony?
Moim zdaniem i tak, i nie, a więc jak zwykle „to zależy”.
Dlaczego tak? Lekarz, który podejmuje decyzję o zastosowaniu terapii stanowi niewątpliwie przejaw tzw. human-in-the-loop. Lekarz otrzymuje wynik z systemu i decyduje co z tym wynikiem zrobić. Ponadto lekarz jest osobą wykwalifikowaną, aby ocenić, czy można zastosować odpowiednią terapię.
Dlaczego nie? Dlatego m.in., że AI Act wymaga, aby nadzór ze strony człowieka był sprawowany przez osobę o odpowiednich kompetencjach w zakresie AI oraz odpowiednim poziomie przeszkolenia i uprawnień, aby właściwie wykonywać te zadania.
Innymi słowy w moim przekonaniu bez odpowiedniego szkolenia lekarzy się nie obędzie. Nie można zatem dać narzędzia i powiedzieć „tu się klika a tu wyskakuje”, tylko należy zapewnić m.in. takie informacje, aby lekarz rozumiał jak działa system, jakie ma ograniczenia a także – co szalenie istotne – aby był bardzo świadomy tzw „automation bias”, czyli tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system AI (problem jest dobrze rozpoznany w literaturze).
Należy przy tym pamiętać, że środki nadzoru muszą być zawsze współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania danego systemu AI wysokiego ryzyka. Na samym lekarzu sprawującym nadzór może się zatem nie skończyć.
