Autorska ilustracja redakcyjna, nie rycina ani wynik badania. Źródło omówienia: Zhang i wsp., Pharmaceutical Research (2026), DOI: 10.1007/s11095-026-04190-5.
Model językowy może przygotować przekonujący opis badania leków: wskazać uczestników, zaproponować okres obserwacji i uzasadnić wybór wyniku. Problem zaczyna się wtedy, gdy elegancki tekst trzeba zamienić w precyzyjne kryteria wyszukania danych. Nowe badanie pokazuje, dlaczego ocena AI nie powinna kończyć się na pytaniu, czy odpowiedź brzmi profesjonalnie. Nawet korzystny wynik porównania z ekspertami nie jest jeszcze dowodem, że system można samodzielnie dopuścić do projektowania badań lub podejmowania decyzji klinicznych.
Co właściwie sprawdzili badacze?
Zespół Xinyao Zhang i współautorów wykorzystał 46 publicznych protokołów badań farmakoepidemiologicznych. Pochodziły one z katalogu HMA–EMA, w tym programu DARWIN EU, oraz amerykańskiego systemu Sentinel. Farmakoepidemiologia zajmuje się między innymi oceną stosowania, skuteczności i bezpieczeństwa leków w populacjach. W tym eksperymencie nie leczono jednak 46 pacjentów: jednostką wyjściową był dokument opisujący plan badania. Pełny artykuł ukazał się w Pharmaceutical Research 11 września 2026 roku.
Eksperci wyodrębnili z protokołów wzorzec odpowiedzi dotyczących konstrukcji badania. Obejmował on między innymi datę rozpoczęcia obserwacji, kryteria włączenia, ekspozycję na lek, punkt końcowy oraz dodatkowe zmienne uwzględniane w analizie. Wyniki modeli zestawiono z tym wzorcem. Ważny szczegół: modele nie otrzymywały pełnych dokumentów protokołów. Nie był to zatem po prostu test wiernego streszczania dostarczonego tekstu.
Oceniano kilka odrębnych spraw: zgodność odpowiedzi z oczekiwaniami, jakość uzasadnienia oraz dopasowanie kodów używanych w bazach danych. To rozsądne rozdzielenie. Poprawne zdanie o cukrzycy nie gwarantuje, że program wybierze właściwe rekordy dotyczące cukrzycy. Również logicznie brzmiące uzasadnienie nie przesądza, czy definicja ekspozycji rzeczywiście odpowiada pytaniu badawczemu.
Ogólny model wygrał z medycznym — ale nie z całą medycyną
W badanych konfiguracjach modele ogólnego przeznaczenia, zwłaszcza GPT-4o i DeepSeek-R1, wypadały korzystniej od wybranych mniejszych modeli dostrojonych biomedycznie. Nie należy zamieniać tego wyniku w hasło, że specjalizacja medyczna szkodzi sztucznej inteligencji albo że każdy popularny chatbot jest lepszy od specjalistycznego systemu. Porównywano konkretne dostępne rozwiązania, a nie samą obecność lub brak wiedzy medycznej.
Grupy różniły się rozmiarem modeli, architekturą, sposobem dostrojenia do wykonywania instrukcji i warunkami uruchomienia. Niektóre mniejsze modele działały także z inną precyzją obliczeń. Takie różnice utrudniają wskazanie jednej przyczyny przewagi. Uczciwy wniosek brzmi: te konfiguracje ogólne lepiej poradziły sobie w tym teście. Wynik nie ustanawia trwałego rankingu wszystkich produktów ani nie przewiduje możliwości następnych wersji.
Podobna ostrożność dotyczy technik zadawania pytań. W porównaniu dwóch strategii dla tego samego GPT-4o nie wykazano istotnej różnicy ogólnej trafności odpowiedzi: sparowane porównanie dało p = 0,93. Nie jest to dowód równoważności strategii we wszystkich zastosowaniach. Nie uzasadnia też obietnicy, że odpowiednio skomplikowany prompt usunie ograniczenia modelu. Metody i wyniki opisano w publikacji źródłowej.
AI oceniała AI. Czy można ufać takim ocenom?
Część ocen przypisywał GPT-4o, również odpowiedziom wygenerowanym przez GPT-4o. To uzasadnia pytanie o możliwość preferowania własnego stylu wypowiedzi lub sposobu argumentacji. Nie uprawnia jednak do stwierdzenia, że taką stronniczość wykazano. Autorzy przeprowadzili dodatkową zaślepioną kontrolę ludzką w wybranej podpróbie: eksperci nie znali tożsamości ocenianego modelu ani oceny przypisanej przez GPT-4o.
W sprawdzonej podpróbie eksperci odtworzyli automatyczne oceny. Ten korzystny rezultat trzeba powiedzieć wprost, zamiast zatrzymywać narrację na podejrzeniu samooceny. Jednocześnie sprawdzona część zbioru nie staje się przez to całym zbiorem, a zgodność oceniających nie zmienia przedmiotu eksperymentu. Nadal chodziło o ocenę odpowiedzi względem historycznych protokołów, nie o sprawdzenie działania systemu w codziennej praktyce.
Warto rozróżnić dwa znaczenia słowa „walidacja”. Tutaj wykonano kontrolę wiarygodności części ocen benchmarku. Nie wykazano natomiast, że wdrożenie modelu w nowym zespole poprawia decyzje, ogranicza błędy w rzeczywistych analizach lub przynosi korzyść pacjentom. Prawidłowe opisanie pierwszej walidacji nie pozwala dopisać drugiej. To rozróżnienie jest kluczowe dla odpowiedzialnego komunikowania badań nad AI.
Kody: niewidoczny szczegół, który zmienia badanie
Bazy medyczne operują nie tylko nazwami chorób i leków, lecz także uporządkowanymi identyfikatorami. Dobór kodów decyduje, kogo analiza zaliczy do grupy badanej i jakie zdarzenie uzna za wynik. Jeśli lista pominie istotne pozycje, badanie może obejmować inną populację niż zamierzona. Jeśli będzie zbyt szeroka, do zbioru trafią rekordy niepasujące do przyjętej definicji.
Właśnie mapowanie takich kodów pozostało słabą stroną ocenianych modeli. Ważny niuans: nie każda rozbieżność z referencją oznaczała wymyślony kod lub błąd medyczny. Część dotyczyła różnych konwencji identyfikatorów, na przykład kodów natywnych i odpowiadających im identyfikatorów w modelu OMOP. Poprawny element zapisany w innym systemie wymaga uzgodnienia mapowania, a nie automatycznego oskarżenia o halucynację.
Praktyczna lekcja nie brzmi więc „wszystkie kody AI są fałszywe”. Brzmi: poprawność językową i poprawność operacyjną trzeba sprawdzać osobno. Autorzy wskazują rolę kontrolowanych słowników, uzgodnionych mapowań i walidacji regułowej. Model może podpowiedzieć kierunek, ale lista kodów powinna zostać sprawdzona w odpowiednim systemie, wersji i kontekście badania. Źródło: sekcje Ontology-Code Agreement oraz Discussion.
Czego nie mówi dobry wynik benchmarku?
Zgodność z historycznym protokołem nie jest tym samym co ogólna poprawność metodologiczna. Dwie sensowne propozycje badania mogą się różnić, a odpowiedź odmienna od dokumentu referencyjnego nie musi być błędna. Z drugiej strony zgodność z istniejącym dokumentem nie gwarantuje, że model samodzielnie rozpozna problem, którego nie było we wzorcu. Oceniany wynik trzeba czytać razem z definicją sukcesu.
Nie wykluczono także udziału zapamiętania publicznie dostępnych materiałów w uzyskiwanej zgodności. Silniejszym sprawdzianem byłoby prospektywne wykorzystanie nowych protokołów, które powstały po okresie danych treningowych, z uprzednio ustalonymi kryteriami oceny. To propozycja dalszej weryfikacji, nie zarzut udowodnionego przecieku danych w tym badaniu. Samo podobieństwo odpowiedzi do wzorca nie rozstrzyga mechanizmu jego powstania.
Kolejnym ograniczeniem były brakujące oceny jakości uzasadnienia wystawiane przez ludzi, nierównomiernie rozłożone między konfiguracjami. Analiza tylko odpowiedzi dających się ocenić może przedstawiać inny obraz niż uwzględnienie wszystkich nieudanych prób. Autorzy pokazali analizy wrażliwości. Przy czytaniu wykresów warto więc pytać nie tylko o wysokość wyniku, lecz również o to, których odpowiedzi na wykresie zabrakło.
Nie należy również utożsamiać obecności protokołów z kilku źródeł z pełną walidacją zewnętrznego wdrożenia. Różnorodny materiał jest zaletą, ale nie odtwarza wszystkich języków, sposobów dokumentowania ani warunków pracy zespołów. W tej ocenie punktem odniesienia były określone dokumenty i ustalone zadania. W nowym ośrodku inne mogą być zarówno dane wejściowe, jak i konsekwencje pomyłki. Przed przeniesieniem wyniku na własny projekt potrzebny byłby test w jego rzeczywistych warunkach, z udziałem osób, które będą odpowiadały za końcową analizę. Szczególnie ważne jest uprzednie ustalenie, kiedy odpowiedź uznajemy za nieprzydatną i kierujemy zadanie do eksperta zamiast akceptować pozornie kompletny tekst.
Jak przełożyć to na bezpieczny pilotaż?
Poniższe kroki są praktyczną propozycją organizacji pracy, a nie procedurą przetestowaną w omawianym eksperymencie. Najpierw warto wybrać wąskie zadanie, na przykład przygotowanie roboczego zestawu elementów protokołu. Następnie ustalić, co sprawdza człowiek, co kontroluje słownik lub program, a czego systemowi nie wolno samodzielnie zatwierdzić. Ogólne polecenie „zaprojektuj badanie” nie zastępuje takiego podziału odpowiedzialności.
Przed użyciem odpowiedzi należy odnotować wersję modelu, treść instrukcji i źródła uzasadniające poszczególne decyzje. Kontrola powinna obejmować nie tylko płynność tekstu, ale również populację, komparator, chronologię, definicje ekspozycji i wyniku oraz kompletność kodów. Potrzebna jest możliwość odtworzenia decyzji i wskazania osoby, która zatwierdziła ostateczny dokument. Brak śladu kontroli nie staje się bezpieczny dlatego, że tekst wygląda profesjonalnie.
Ocena pilotażu powinna uwzględniać czas weryfikacji i poprawiania odpowiedzi, a nie wyłącznie czas jej wygenerowania. Warto mierzyć rodzaje pomyłek oraz to, czy narzędzie pomaga w trudnych przypadkach, czy tylko w typowych przykładach. Omawiana publikacja nie dostarcza gotowego rachunku kosztów wdrożenia ani dowodu oszczędności pracy w każdej placówce. Nie należy takich korzyści obiecywać na jej podstawie.
Oddzielnej oceny wymagają prywatność, cyberbezpieczeństwo i dopuszczalny zakres zastosowania. Badanie oparte na publicznych protokołach nie wykazuje bezpieczeństwa przesyłania dokumentacji pacjentów do usługi zewnętrznej. Nie zastępuje też analizy wymagań organizacyjnych i prawnych konkretnego wdrożenia. Do czasu jej wykonania nie należy traktować dobrego wyniku naukowego jako zgody na dowolne użycie danych lub automatyczne podejmowanie decyzji.
Co powinien zapamiętać pacjent, lekarz i kierownik projektu?
Dla pacjenta najważniejsze jest to, że badanie nie porównywało skuteczności leczenia przez człowieka i przez AI. Nie uzasadnia zmiany leku ani zastąpienia konsultacji chatbotem. Dla lekarza i badacza to argument za sprawdzaniem całego procesu, a nie tylko atrakcyjnej odpowiedzi. Dla kierownika projektu to przypomnienie, że wybór narzędzia wymaga dopasowania do zadania i kontroli skutków jego błędów.
Nie musimy wybierać między zachwytem a odrzuceniem technologii. Możemy korzystać z pomocy w przygotowaniu materiału roboczego, zachowując odpowiedzialność za definicje, dane i wnioski. W tym badaniu lepsza zgodność z protokołem oraz potwierdzenie części ocen przez ludzi są wartościowym sygnałem. Nie są jednak przepustką do autonomii. Zanim włączysz model do pracy zespołu, zapytaj: kto zweryfikuje wynik, według jakiej reguły i jak rozpoznamy niepowodzenie?
Źródło i przejrzystość
Zhang X, Heckmann NS, Del Castillo Suero M, Speca FP, Sessa M. Employing General-Purpose and Biomedical Large Language Models with Advanced Prompt Engineering for Pharmacoepidemiologic Study Design. Pharmaceutical Research, 2026. DOI: 10.1007/s11095-026-04190-5. Autorzy deklarują brak konfliktów interesów; finansowanie otwartego dostępu zapewnił Uniwersytet Kopenhaski. Artykuł źródłowy udostępniono na licencji CC BY 4.0. To samodzielne omówienie, nie tłumaczenie całej publikacji. Kwartyl czasopisma pozostaje niezweryfikowany. Materiał ma charakter edukacyjny.