Autorska ilustracja konceptualna przygotowana z użyciem AI, nie rycina badania, wynik diagnostyczny ani wizerunek rzeczywistej pacjentki.
Pytanie o niepokojący objaw intymny bywa trudniejsze do zadania niż pytanie o ból kolana. Rozmowa z chatbotem może wydawać się prostsza: jest dostępna od razu, nie okazuje zdziwienia i zwykle odpowiada spokojnym językiem. Ta wygoda nie rozstrzyga jednak, czy odpowiedź jest właściwa. Szczegółowy, uprzejmy tekst może nadal zawierać nieuzasadnione uspokojenie, pominięte zastrzeżenie albo zbyt stanowczą sugestię leczenia.
Badanie opublikowane we wrześniu 2026 roku w „Frontiers in Reproductive Health” pozwala przyjrzeć się temu problemowi na konkretnym przykładzie: informacjach o waginozie bakteryjnej, oznaczanej skrótem BV. Autorzy oceniali odpowiedzi pięciu publicznych chatbotów. Nie sprawdzali, czy chatbot potrafi bezpiecznie prowadzić leczenie pacjentki. Ta różnica jest podstawą uczciwego odczytania wyników.
Co naprawdę oceniono?
Badacze przygotowali 61 pytań po angielsku i zadali każde z nich raz pięciu interfejsom: ChatGPT, Gemini, Microsoft Copilot, DeepSeek i Doubao. Powstało 305 odpowiedzi. Każde pytanie otwierało nową rozmowę; analizowano pierwszą pełną odpowiedź, a nie najlepszą wersję wybraną po kolejnych próbach.
Nie były to historie chorób 305 kobiet. Nie wprowadzano dokumentacji medycznej ani danych identyfikujących rzeczywiste pacjentki. Były to hipotetyczne pytania opracowane przez badaczy, zapisane językiem przypominającym pytania osoby szukającej informacji. Słowo „pacjenckie” odnosiło się więc do sposobu sformułowania, a nie do pochodzenia pytań od badanych pacjentek.
Tematy obejmowały między innymi objawy, rozpoznawanie problemu, leczenie, nawroty, ciążę, zdrowie seksualne i samodzielne działania. Zestaw celowo zawierał sytuacje wymagające szczególnej ostrożności. Pięciu ginekologów-położników oceniało odpowiedzi niezależnie, a następnie uzgadniało oceny. Sprawdzano bezpieczeństwo, poprawność, zgodność z przygotowanymi ramami odniesienia i empatię. Czytelność oceniano osobno za pomocą wzorów analizujących tekst.
31 odpowiedzi budzących zastrzeżenia — ale nie 31 poszkodowanych pacjentek
Eksperci uznali 31 z 305 odpowiedzi, czyli 10,2% tej konkretnej próbki, za niebezpieczne lub potencjalnie niebezpieczne. Oznaczało to, że treść mogła prowadzić do niewłaściwego działania, błędnego przekonania albo opóźnienia potrzebnej oceny. Nie oznaczało, że zaobserwowano takie następstwa u ludzi.
Badanie nie śledziło decyzji pacjentek, przyjmowanych leków, wyników leczenia ani powikłań. Dlatego nagłówek „co dziesiąta pacjentka ucierpiała przez AI” byłby nieprawdziwy. Równie nieuprawnione byłoby stwierdzenie, że co dziesiąta dowolna odpowiedź każdego chatbota na pytanie medyczne jest niebezpieczna.
Wynik pokazuje coś węższego, ale ważnego: w uporządkowanym teście dotyczącym jednego obszaru zdrowia eksperci potrafili wskazać odpowiedzi, których nie należałoby bezkrytycznie przekazać jako indywidualnej porady. Problemów nie ograniczono do jednego interfejsu. Wystąpiły we wszystkich pięciu badanych narzędziach.
Dlaczego sam procent nie wystarczy?
Żeby zrozumieć odsetek, trzeba zapytać, skąd pochodzą jego mianownik i licznik. Tutaj mianownikiem były 305 odpowiedzi na pytania wybrane do konkretnego eksperymentu. Badacze nie losowali rozmów z całego internetu ani nie sprawdzali, o co najczęściej pytają polskie pacjentki.
Zestaw miał obejmować zarówno zwykłe potrzeby informacyjne, jak i trudne kwestie bezpieczeństwa. To rozsądny sposób poszukiwania słabych punktów, ale nie sposób mierzenia częstości błędów w codziennym użyciu. Test obejmujący wiele sytuacji wymagających ostrożności może dać inny wynik niż test prostych definicji. Nie czyni to go bezwartościowym; zmienia pytanie, na które odpowiada.
W dodatku oceniano publiczne interfejsy w określonym czasie i miejscu, a nie niezmienne modele zamknięte w laboratorium. Pytania zadawano w lipcu 2026 roku w Chinach, po angielsku, w pojedynczych wymianach. Tych warunków nie należy usuwać z interpretacji tylko dlatego, że końcowy procent dobrze wygląda w nagłówku.
Czy można wskazać najbezpieczniejszy chatbot?
Na podstawie tej pracy nie warto tworzyć takiej listy zakupowej. Porównanie nie wykazało statystycznie istotnej ogólnej różnicy bezpieczeństwa między interfejsami. Brak wykrytej różnicy nie oznacza jednak, że udowodniono ich równoważność. Badanie nie zostało zaprojektowane do takiego wniosku.
Każde pytanie zadano tylko raz. Nie wiadomo więc, jak często podobny problem pojawiałby się po wielokrotnym powtórzeniu tego samego pytania. Interfejsy sprawdzano też w różne dni, w stałej kolejności. Nie można oddzielić ewentualnego wpływu daty i zmian usługi od różnic między narzędziami.
Nie dokumentowano systematycznie wszystkich warunków dostępu, takich jak poziom abonamentu czy komunikaty o przełączeniu na inny model. Oceniający znali nazwy chatbotów, co pozostawia możliwość wpływu oczekiwań. Wynik jest zatem fotografią konkretnych odpowiedzi, nie certyfikatem jakości produktu na kolejne miesiące.
Empatia, poprawność i czytelność to różne rzeczy
Jednym z atutów badania jest rozdzielenie kilku cech odpowiedzi. Tekst może być łatwy do przeczytania, lecz pomijać ważne ograniczenie. Może zawierać poprawne informacje, ale nie odpowiadać wystarczająco ostrożnie na niepełny opis sytuacji. Może też brzmieć wspierająco, jednocześnie sugerując większą pewność, niż pozwalają informacje podane przez pytającą osobę.
Autorzy znaleźli różnice między ocenami poszczególnych interfejsów. Nie oznacza to jednak, że zmierzyli rzeczywiste rozumienie odpowiedzi przez pacjentki. Wzory czytelności opisują właściwości języka, a nie to, czy osoba po przeczytaniu tekstu podejmie bezpieczną decyzję. Nie przeprowadzono tutaj takiej obserwacji.
Podobna ostrożność dotyczy „zgodności z wytycznymi”. Autorzy przygotowali własne, oparte na źródłach ramy oceniania dla konkretnych pytań. Uzyskany wynik nie jest uniwersalnym procentem przestrzegania wszystkich zaleceń medycznych. Wskaźnik wygląda precyzyjnie, lecz jego znaczenie zależy od sposobu konstrukcji oceny.
Co to zmienia dla osoby szukającej informacji?
Najbardziej użyteczny wniosek nie brzmi „nigdy nie czytaj odpowiedzi AI”, lecz „nie myl wyjaśnienia z rozpoznaniem i planem leczenia”. Można wykorzystać tekst do zebrania pytań na konsultację, wyjaśnienia niezrozumiałego określenia albo zauważenia, jakich informacji brakuje. Samo uporządkowanie wypowiedzi nie potwierdza jednak jej poprawności.
Warto przyjrzeć się temu, czy odpowiedź ujawnia granice swojej pewności. Czy odróżnia możliwość od rozpoznania? Czy przyznaje, że krótki opis nie zastępuje oceny medycznej? Czy przedstawia źródło pozwalające sprawdzić twierdzenie? To pytania do krytycznej lektury, nie zwalidowany test, który gwarantuje bezpieczeństwo porady.
Nie należy również zamieniać przykładów błędnych zaleceń opisanych w artykule na własną instrukcję terapii. Ta publikacja nie służy ustalaniu dawek, wybieraniu antybiotyku ani rozstrzyganiu postępowania w konkretnej sytuacji. Jej przedmiotem jest jakość informacji. Decyzję dotyczącą leczenia trzeba od tej analizy wyraźnie oddzielić.
A co powinni sprawdzać twórcy edukacji medycznej?
Gdy tekst AI trafia na stronę gabinetu albo do materiału dla pacjentek, ważniejsze od gładkiego stylu staje się zachowanie sensu. Redakcja nie powinna usuwać słów „może”, „nie ustalono” lub „wymaga oceny” tylko dlatego, że skracają one zasięg atrakcyjnego nagłówka. Właśnie te zastrzeżenia często określają granicę między edukacją a nieuprawnioną obietnicą.
Z tego badania można zaczerpnąć także zasadę oddzielania pytań jakościowych. Sprawdzenie języka nie zastępuje sprawdzenia medycyny; ocena życzliwości nie zastępuje oceny ryzyka. Własna lista kontrolna redakcji może być pomocna organizacyjnie, ale nie należy przedstawiać jej jako narzędzia zwalidowanego w tej pracy.
Dla odbiorcy równie ważna jest informacja, czym materiał nie jest. Niniejszy artykuł omawia badanie odpowiedzi chatbotów. Nie rozpoznaje przyczyny dolegliwości, nie ocenia konkretnej rozmowy czytelniczki i nie udowadnia bezpieczeństwa żadnej aplikacji. Nie stanowi również porównania chatbotów z pełną konsultacją lekarską.
Co warto zabrać na konsultację?
Zamiast próbować samodzielnie wybierać między sprzecznymi odpowiedziami, można zanotować, co dokładnie pozostało niejasne. Przydatne pytanie brzmi: „Które elementy tej internetowej informacji odnoszą się do mojej sytuacji, a których nie można ustalić bez konsultacji?”. To propozycja rozmowy, nie wynik testowany w badaniu. Nie trzeba przedstawiać odpowiedzi chatbota jako rozpoznania, aby poruszyć temat, który wzbudził obawę lub wstyd. Ważne, żeby odróżnić własne doświadczenie od sugestii wygenerowanej przez narzędzie.
Mocna obserwacja, ograniczony wniosek
Autorzy zastosowali te same pytania dla pięciu interfejsów, niezależne oceny klinicystów i analizę sprawdzającą wpływ sposobu uzgadniania wyników. To zalety, dzięki którym warto potraktować obserwowane problemy poważnie. Nie usuwają one jednak ograniczeń doboru pytań, pojedynczej generacji, braku zaślepienia i braku wyników klinicznych.
Najuczciwsze podsumowanie jest proste: w badanym zestawie znalazły się odpowiedzi wymagające korekty lub ostrożniejszego sformułowania. Nie wiadomo z tej pracy, jak często powodują realną szkodę ani który system będzie bezpieczniejszy dla konkretnej osoby jutro. Życzliwy ton jest wartością rozmowy, ale nie dowodem trafności porady.
Źródło i przejrzystość
Miao L, Gu L, Gong Z, Gu Z, Qian X. A comparative cross-sectional evaluation of generative AI chatbots for patient-oriented bacterial vaginosis health advice: safety, accuracy, guideline concordance, empathy, and readability. Frontiers in Reproductive Health. 2026;8:1967818. Pełny artykuł i DOI.
Autorzy deklarują brak finansowania pracy i publikacji oraz brak komercyjnych lub finansowych konfliktów interesów. Źródło jest udostępnione na licencji CC BY. Ten materiał oparto na tekście głównym i tabelach; nie wykonano niezależnego ponownego oceniania wszystkich odpowiedzi z dodatków. Nie kopiowano rycin ani automatycznych opisów ilustracji wydawcy.