[Krótka seria o AI dla każdego] Co ma posiadanie psa w USA do uzyskania recepty na opioidy? [cz. 1/2]
W większości przypadków nic. Czasami jednak to zależy czy i na co chory jest pies.
Ponad 40 stanów w USA używa platformy NarxCare. NarxCare to system sztucznej inteligencji, który generuje ocenę ryzyka pacjentów przedawkowania, niewłaściwego użycia i nadużywania leków opioidowych. Algorytmy te mają na celu dostosowanie planów leczenia do ryzyka związanego z potencjalnymi problemami, jakie wiążą się używaniem opiodów.
NarxCare analizuje dane pacjenta z PDMP (elektronicznej bazy danych, która zawiera informacje o receptach na substancje kontrolowane). System sam nie podejmuje decyzji. Decyzję o zastosowaniu terapii podejmuje lekarz, ale w praktyce działa to tak, że jeżeli dla pacjenta wyrzucane jest wysokie ryzyko to wówczas lekarz nie przepisuje opioidów. Co ma jednak chory pies do poziomu ryzyka?
Recepty weterynaryjne są wypisywane na właścicieli psów. Jeżeli zatem pies wymaga stosowania leków, których łączenie przez ludzi z opiodami jest raczej niewskazane, to system może wyrzucić wysokie ryzyko i pozbawić pacjenta dostępu do leków przeciwbólowych. Problemów wykryto więcej. Przykładowo pacjenci onkologiczni, którzy wymagają konsultacji z wieloma specjalistami w różnych lokalizacjach, mogą zostać oflagowani jako tzw. doctor-shoppers (ryzyko niewłaściwego zakwalifikowania sięgać może nawet 20%), a przez to jako pacjenci wysokiego ryzyka w rozumieniu systemu.
Krótko mówiąc – system może istotnie wpłynąć na zdrowie pacjentów (tj. rzutować na decyzję o odmówieniu określonej terapii) bazując na danych, które są faktycznie bez związku z ryzykiem niewłaściwego stosowania leków narkotycznych.
No dobrze, a co na to AI Act…
Czy stosowanie takiego systemu to zakazana praktyka w AI Act?
Uważam, że nie.
Czy system należy zakwalifikować jako system wysokiego ryzyka zgodnie z AI Act?
Uważam, że tak.
Jak zwykle taka kwalifikacja skutkuje powstaniem bardzo wielu obowiązków. Szczególnie ciekawy na tle omawianego systemu będzie obowiązek zapewnienia tzw. human oversight, czyli obowiązek zapewnienia nadzoru ze strony człowieka nad systemem sztucznej inteligencji, aby system był wykorzystywany zgodnie z przeznaczeniem, a jego potencjalne, negatywne skutki były odpowiednio „zaadresowane”.
Poświęcę temu zagadnieniu wkrótce cały osobny wpis [2/2], bo jest tam mnóstwo różnych ciekawych zagadnień, których tu już niestety nie zmieszczę (i tak pewnie nie uda mi się tego zrobić w jednym osobnym wpisie na LI…)
