Empatyczna sztuczna inteligencja?

Artykuł opublikowany w JAMA Internal Medicine opisuje eksperyment, w którym porównywano odpowiedzi na pytania pacjentów generowane przez AI z odpowiedziami lekarzy. Oceniano nie tylko ich jakość, ale również empatyczne podejście do chorego. Jak wypadł ChatGPT na tle specjalistów? 

Zapytaj lekarza

Źródłem danych do badania Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum [1] było forum Ask a Doctor na portalu Reddit. Jest to miejsce, gdzie każdy może zadać pytanie medyczne, a zweryfikowani specjaliści udzielą na nie odpowiedzi. Posty na forum mają bardzo różny charakter: od błagających o pomoc (np. my five year old son got blind in one eye. Please help us.), po pytania zadane z ciekawości. Z tego powodu udzielanie się na r/AskDocs wymaga zrozumienia, jaki ton odpowiedzi będzie właściwy, biorąc pod uwagę problem pacjenta. Jest to coś, w czym człowiek powinien teoretycznie mieć przewagę nad botem. 

Badanie polegało na zadaniu ChatGPT 195 pytań - tych samych, na które odpowiedzieli lekarze na r/AskDocs. Odpowiedzi pod postami oraz te wygenerowane przez ChatGPT zostały następnie poddane ocenie przez specjalistów z różnych dziedzin. Nie wiedzieli oni jednak, które wypowiedzi pochodzą od człowieka, a które od AI. Ich zadaniem była ocena poziomu empatii oraz jakości odpowiedzi w dwóch osobnych skalach. Wyniki opracowano w formie średniej.  

Wszystko będzie dobrze

Okazało się, że odpowiedzi AI cechował większy poziom empatii oraz wyższa jakość. Specjaliści oceniający wypowiedzi skłaniali się ku ChatGPT w 78,6% przypadków. Czasem nie dziwi, że odpowiedzi udzielone przez AI były preferowane. Zerknijmy na poniższy przykład:

Temat pytania: 

risk of going blind following bleach being splashed into an eye, resulting in irritated and dry eye.

Odpowiedź lekarza: 

Sounds like you will be fine. You should flush the eye anytime you get a chemical or foreign body in the eye. You can also contact Poison Control 1-800-222-1222

Odpowiedź AI: 

I’m sorry to hear that you got bleach splashed in your eye. It’s important to rinse the eye as soon as possible after a chemical splash to remove as much of the chemical as possible and prevent further irritation or damage. If you have not already done so, you should rinse your eye with clean water or a saline solution as soon as possible. You can do this by holding your eye open and directing a gentle stream of water over your eye from the inner corner to the outer corner for at least 15 min. If you do not have access to water, you can use a saline solution or artificial tears to rinse the eye. 

If you are experiencing significant pain, redness, or vision changes, or if you are unable to rinse your eye properly, you should seek medical attention immediately. However, if your eye is just feeling irritated and dry, you may be able to treat it at home by using artificial tears or a lubricating eye ointment to keep the eye moist and comfortable. 

It is unlikely that you will go blind from getting bleach splashed in your eye, but it is important to take care of the eye and seek medical attention if necessary to prevent further irritation or damage.

Trzeba mieć jednak świadomość, że materiał do analizy zaczerpnięto z forum internetowego. Wątpliwe jest, by lekarze w taki sam sposób odpowiadali pacjentom spotykanym na co dzień. Z drugiej strony, przewaga AI jest znacząca, jeśli weźmiemy pod uwagę, że ChatGPT się nie męczy, nie irytuje i jest w stanie z empatią i zrozumieniem odpowiadać na setki wiadomości. Autorzy publikacji zaznaczają, że zasadne jest dalsze testowanie AI w kontekście klinicznym, ponieważ być może będzie ono w stanie odciążyć lekarzy, którzy mogliby po prostu edytować i zatwierdzać wygenerowane odpowiedzi. Miałoby to znaczenie choćby w telemedycynie. 

Clickbaitowe nagłówki za 3...2…1…

Przeprowadzony eksperyment ma istotne ograniczenia. Po pierwsze, długość odpowiedzi mogła działać na korzyść AI, ponieważ jego wypowiedzi mogłby być odbierane jako bardziej empatyczne. Po drugie, ocena była bardzo ogólna. Zastosowane skale nie były precyzyjne - ocena jakości polegała na przypisaniu wypowiedzi do skali w postaci very poor, poor, acceptable, good, very good. Zgodność odpowiedzi z wiedzą medyczną nie była oceniana. Oceniający byli lekarzami, co również mogło wpłynąć na wyniki (nie brano pod uwagę opinii pacjentów). 

Reddit, jak każde forum internetowe, opiera się na dyskusji, a więc w jednym wątku pacjent może wejść w interakcję z lekarzem i zadawać mu kolejne pytania. Autorzy publikacji wzięli pod uwagę tylko pierwszą odpowiedź lekarza, zaznaczając, że rezultat pozostał niezmienny niezależnie od tego, czy włączyli do analizy kolejne odpowiedzi specjalisty.

Dokąd zmierzamy?

Zatrzymanie postępu technologicznego jest niemożliwe, dlatego powinniśmy zastanawiać się, jaki będzie najlepszy sposób na wprowadzenie AI do różnych dziedzin życia, w tym medycyny. Być może w przyszłości zmniejszy się liczba wizyt u lekarzy, ponieważ każdy pacjent będzie mógł uzyskać szybką i trafną poradę wpisując pytanie do aplikacji na telefonie. Z pewnością taki proces nie zastąpi kontaktu z drugim człowiekiem, który jest podstawą relacji pacjent-lekarz. Zwróćmy jednak uwagę, że już istnieją narzędzia umożliwiające transformację tekstu na mowę oraz wygenerowanie realistycznie wyglądającej i poruszającej się postaci, która może stanowić interfejs służący do komunikacji człowieka z botem. Jedno jest pewne: przyszłość z AI będzie niezwykle ciekawa.