Jak wykorzystać ChatGPT do nauki medycyny?

Tradycyjne metody uczenia się na studiach wymagają czytania opasłych tomów, polegania na notatkach z wykładów, seminariów itp. Jednak wraz z rozwojem technologii, szczególnie sztucznej inteligencji, pojawiają się nowe narzędzia, które mogą poprawić jakość i efektywność nauki. Sprawdźmy jak działa jedno z nich: ChatGPT.

ChatGPT to bot, który generuje odpowiedzi na dowolne polecenia wprowadzane przez użytkownika. Można go więc zapytać o to, jaka będzie pogoda, a także o to, dlaczego jamniki są długie (odpowiedź poniżej):

Niemniej, bardziej interesuje nas zastosowanie AI w medycynie. Zobaczmy, czy ChatGPT da się wykorzystać do uzupełnienia swojej edukacji, lepszego zrozumienia złożonych koncepcji i przygotowania się do egzaminów.

Pytanie testowe vs ChatGPT

Postanowiłem przetestować chatbota, zadając mu pytanie w stylu USMLE, zaczerpnięte z bazy pytań AMBOSS. Opis przypadku wskazuje na zespół Cushinga, należało więc wskazać odpowiedź najbardziej powiązaną z tym schorzeniem. Okazało się, że chatbot w ogóle nie był w stanie wykonać zadania. Wybierał niepoprawnie, dopisując do swoich odpowiedzi logicznie brzmiące uzasadnienia. Widać więc wyraźny problem związany ze stosowaniem AI: dla laika wygenerowane odpowiedzi mogą brzmieć prawidłowo, choć w rzeczywistości są fałszywe.

Zwraca uwagę, że chatbot trafnie opisuje przypadek, tłumacząc przy tym rzeczy, które na pierwszy rzut oka mogą być nieoczywiste (np. z czego wynika złamanie L2). Odnoszę wrażenie, że jest on w stanie łączyć kropki. Niemniej odpowiedź A nie ma żadnego sensu, tymczasem bot pisze, że jest ona charakterystyczna dla zespołu Cushinga. Postanowiłem zapytać, dlaczego odpowiedź E (prawidłowa) miałaby być niepoprawna.

Odpowiedź bota wskazuje, że w tym konkretnym przypadku połączenie różnych informacji stanowiło dla niego zbyt duże wyzwanie. Nadmiar kortyzolu prowadzi do aktywacji receptorów mineralokortykoidowych i stąd hipokaliemia oraz charakterystyczne dla niej zmiany w EKG. Byłem zafascynowany sposobem “myślenia” bota, więc sprawdziłem, co stanie się, gdy obalę jego rozumowanie przy odpowiedzi A.

Bot przyznał mi rację. Na tym etapie miałem nadzieję, że ponowne zapytanie, tym razem uwzględniające powyższą dyskusję, pozwoli botowi wskazać prawidłową odpowiedź. Niestety, ChatGPT decydował się na różne odpowiedzi, a każda z nich była błędna. Gdy za którymś razem wrócił do odpowiedzi A, stwierdziłem, że nic z tego nie będzie i wyjaśniłem mu, dlaczego zmiany w EKG pasują do Cushinga.

ChatGPT nie był przekonany do prawidłowej odpowiedzi, choć zgodził się z jej wyjaśnieniem. Bot powrócił kolejny raz do odpowiedzi A, choć wcześniej uznał, po mojej argumentacji, że jest ona błędna. Okazuje się więc, że ChatGPT, mimo doniesień o osiągnięciu dobrych wyników na egzaminie USMLE [1], nie był w stanie poradzić sobie z teoretycznie prostym pytaniem o konstrukcji podobnej do tej z egzaminu. Możemy zapomnieć (przynajmniej na razie) o perspektywie szybkiego i skutecznego rozwiązywania kontrowersyjnych pytań z LEK-u czy PES-u tą metodą. 

Jak dużo wie ChatGPT?

ChatGPT nie radzi sobie dobrze ze znajdywaniem odpowiedzi na pytania testowe w stylu USMLE, przejdźmy więc do sprawdzenia, jak funkcjonuje w przypadku tradycyjnych pytań. Chciałem, aby bot wyjaśnił mi, jaki jest mechanizm stojący za hipoaldosteronizmem pojawiającym się przy stosowaniu heparyny. Związek heparyny z aldosteronem jest znany od dawna, pierwsze doniesienie na ten temat pojawiło się w 1964 r. [2]. Od tamtej pory opublikowano wiele prac próbujących wyjaśnić mechanizm tej zależności. Jak ChatGPT poradził sobie z pytaniem, na które odpowiedź stosunkowo łatwo jest wygooglować?

Kolejna porażka AI - odpowiedź jest fałszywa. Najważniejszym mechanizmem hipoaldosteronizmu wywołanego heparyną jest spadek powinowactwa angiotensyny II do receptorów oraz zmniejszenie ich liczby [3]. ChatGPT nawet o tym nie wspomniał. Przeciętny student medycyny vs ChatGPT -  2:0.

Do czego może się przydać ChatGPT?

Odpowiedziom bota nie można ufać. A skoro nie jest w stanie dobrze odpowiedzieć na pytania, to może chociaż potrafi je wygenerować? Zobaczmy, jak chatbot radzi sobie z tworzeniem pytań powtórkowych.

Jak widać, jest to obszar, w którym bot radzi sobie wyśmienicie. Formułuje sensowne pytania, które są na tyle rozbudowane, że pozwalają na powtórzenie wielu informacji jednocześnie, weryfikując zrozumienie tematu. Możemy w nieskończoność zlecać botowi tworzenie takich pytań, za każdym razem otrzymując inne rezultaty. Ich jakość będzie niestety różna, ponieważ dostałem także pytania w stylu czym jest anemia i jakie są jej główne przyczyny? - zdecydowanie zbyt proste. Postanowiłem zmodyfikować nieco zapytanie, dodając słowo trudne.

Bot wykonał polecenie znakomicie. Pytania są ciekawsze i wymagają zagłębienia się w temat, tak więc widać wyraźnie, że ChatGPT sprawdzi się świetnie jako narzędzie do aktywnego uczenia się i powtarzania materiału. 

Postanowiłem zweryfikować również zdolność AI do tworzenia pytań testowych. Zarówno prostych, książkowych, jak i opartych na przypadkach klinicznych.

Jak widać, bot potrafi generować pytania testowe, dzięki którym możemy sprawdzić swoją wiedzę przed zaliczeniem. W ten sposób jesteśmy w stanie symulować warunki kolokwium lub egzaminu. Trzeba jednak mieć na uwadze, że ChatGPT może popełnić błędy i nie należy przyjmować wszystkich jego odpowiedzi za pewnik. 

Uwielbiam uczyć się z fiszek, więc chciałem też sprawdzić, czy ChatGPT jest w stanie ułatwić mi naukę, tworząc własne. Co się stanie, jeśli podam mu informacje, na podstawie których powinien wygenerować pytania i odpowiedzi?

Okazuje się, że ChatGPT ma “zakodowane”, że fiszki występują w formie pojęcie-definicja. Zaobserwowałem również, że jeśli zlecimy mu stworzenie fiszek na podstawie tekstu zawierającego nagłówki, to pojęciem będzie nagłówek, a definicją cały tekst pod nim. Gdy uczymy się tematu wymagającego znajomości wielu definicji, taki sposób tworzenia fiszek może nam pomóc je zapamiętać, jednak zazwyczaj nauka nie polega tylko na znajomości definicji pojęć. Na uwagę zasługuje jednak fakt, że ChatGPT wyjaśnił terminy, które nie są zdefiniowane w tekście, np. small cell lung cancer.

W drugim podejściu poleciłem botowi stworzenie pytań do tego samego tekstu.

Zmiana zapytania dała o wiele lepsze rezultaty. Powstały pytania otwarte, które znacznie lepiej sprawdzają wiedzę niż fiszki oparte o definicje. Wydaje się, że ChatGPT sprawdza się w generowaniu fiszek lub pytań na podstawie informacji, które mu podamy, choć z pewnością jakość wygenerowanych przez niego treści będzie korelowała z jakością tekstu, który otrzyma. 

Zalety i wady

Podczas używania ChatGPT zauważalne jest przede wszystkim to, że generowane przez niego odpowiedzi są czułe na zmiany w poleceniu: zmiana, dodanie lub usunięcie jakiegoś słowa znacząco wpływają na odpowiedzi. Pozwala to modyfikować np. poziom trudności pytań powtórkowych lub fiszek. W oczy rzuca się także zdolność bota do kreowania logicznego uzasadnienia nawet niepoprawnych odpowiedzi. Z tego powodu osoba, dla której temat jest obcy, może mieć kłopot z odróżnieniem prawdy od fałszu.

Testowanie ChatGPT to fascynujące doświadczenie, dlatego polecam we własnym zakresie przekonać się, jakie są jego możliwości i ograniczenia.