In dieser Studie wurden die Genauigkeit und Lesbarkeit von Antworten, die von Google und ChatGPT auf Fragen von Patienten zu okuloplastischen Themen bereitgestellt werden, verglichen. Zusätzlich wurde die Fähigkeit von ChatGPT bewertet, maßgeschneiderte Patientenaufklärungsmaterialien zu erstellen. Die häufigsten Patientenfragen zu zehn okuloplastischen Erkrankungen wurden sowohl in die Google-Suchmaschine als auch in das ChatGPT-Tool eingegeben. Die Lesbarkeit der Antworten wurde mit fünf validierten Lesbarkeitsindizes bewertet, und die Genauigkeit wurde von sechs okuloplastischen Chirurgen beurteilt. ChatGPT-Antworten auf Patientenfragen waren im Durchschnitt auf einem höheren Lesbarkeitsniveau als Google-Antworten sowie signifikant genauer und wurden von Experten bevorzugt. ChatGPT hat das Potenzial, Patienten genaue Informationen zu ihren okuloplastischen Erkrankungen bereitzustellen, und kann von okuloplastischen Chirurgen als Werkzeug zur Bereitstellung anpassbarer Patientenaufklärungsmaterialien genutzt werden

Journal Section:
Wissenstransfer

graphic

Zusammenfassung zu Cohen SA, Yadlapalli N, Tijerina JD, et al.: Comparing the ability of Google and ChatGPT to accurately respond to oculoplastics-related patient questions and generate customized oculoplastics patient education materials. Clin Ophthalmol 2024;18:2647–2655.

Einleitung

Seit dem November 2022 ist ChatGPT (Generative Pretrained Transformer) als Anwendung für die breite Öffentlichkeit kostenlos zugängig. Dabei handelt es sich um einen Chatbot, der in der Lage ist, als Text formulierte Sachverhalte zu verstehen und darauf zu reagieren und Fragen zu beantworten. Aktuell (Stand 21.02.2025) hat laut Internetrecherche ChatGPT mehr als 400 Millionen aktive Nutzer pro Woche, die Zugriffe auf chatgpt.com beliefen sich im Januar 2025 auf 3,8 Milliarden.

Unsere Patienten haben damit ein weiteres Tool an der Hand, mit dem sie sich z.B. zu Erkrankungen und Operationen belesen können. Für uns bedeutet das, dass potenzielle Patienten immer besser informiert sind und damit andere Gesprächsgrundlagen haben, auf die wir uns als Ärzte einstellen müssen. Bislang war das Internet, und mit ihm die Suchmaschine Google, die am häufigsten genutzte Datenquelle für Gesundheitsfragen. Fast 7% der täglich mehr als 8,5 Milliarden Suchanfragen sind Fragen zur Gesundheit.

Methoden

Die vorliegende zugrunde liegende Arbeit befasst sich mit der Genauigkeit und Lesbarkeit der generierten Antworten von ChatGPT und Google auf Okuloplastik-bezogene Patientenfragen. Gestellt wurden auf beiden Tools die 3 am häufigsten gestellten Patientenanfragen zu 10 okuloplastischen Erkrankungen. Weiterhin wurde ChatGPT angewiesen, Patientenaufklärungsmaterialien auf verschiedenen Leseniveaus zu erstellen. Verglichen und bewertet wurden die Antworten von 6 im Fellowship ausgebildeten und an verschiedenen akademischen Einrichtungen angestellten okuloplastischen Chirurgen.

Bei den 10 okuloplastischen Erkrankungen handelte es sich um: «Schilddrüsenerkrankung der Augen», «orbitale Zellulitis», «orbitaler Tumor», «Proptosis», «Ptosis», «Entropium», «Blepharospasmus», «Chalazion», «Obstruktion der Tränenwege» und «Epiphora» und die 3 zu diesen Themengebieten am häufigsten gestellten Fragen (Frequently Asked Questions = FAQ). Als Beispiel sei das Entropium genannt; hier waren z.B. die 3 am häufigsten gestellten Fragen: Was ist ein Entropium? Wie wird ein Entropium behandelt? Wie lange dauert der Heilungsverlauf? Daraus resultierten 30 FAQ, die in die Google-Suchmaschine wie auch bei ChatGPT V3.5 eingegeben wurden und deren Antworten einer Lesbarkeitsanalyse unterzogen wurden.

ChatGPT wurde außerdem angewiesen, Patientenaufklärungsmaterialien zu den 8 folgenden okuloplastischen Verfahren zu erstellen: Blepharoplastik, Brauenplastik, Dakryozystorhinostomie, Rhinoplastik, orbitale Dekompression, Levatorvorschub, Ektropiumreparatur und Botox bei Blepharospasmus.

Ergebnisse

Im Durchschnitt zeigte sich, dass die Antworten von ChatGPT mit 93% Genauigkeit ausfielen und auf einem höheren Niveau verfasst wurden als Google-Antworten mit 79% Genauigkeit. Auch wurden die Antworten von ChatGPT zu 79% von den Experten bevorzugt im Vergleich zu den Antworten von Google zur selben Frage.

Die von ChatGPT erstellten Patientenaufklärungsmaterialien wurden ohne Angabe eines Leseniveaus auf «College-Niveau» erstellt und galten von der Lesbarkeit und Verständlichkeit her als «sehr schwierig» (Flesch Reading Ease von 29,8). Nach Herabsetzen des Niveaus auf Leseniveau der 7. Klasse kam es zu einer signifikanten Verbesserung der Lesbarkeit und Verständlichkeit auf «Highschool-Niveau». Damit war es ChatGPT möglich, die Lesestufe der Patientenaufklärungen herabzusetzen, ohne die Genauigkeit der Angaben zu senken bzw. herabzusetzen.

Fazit für die Praxis

Das Wissen um die Möglichkeiten und die Anwendbarkeit von ChatGPT birgt sowohl für die Patienten als auch für den behandelnden Arzt bzw. den behandelnden Chirurgen großes Potenzial. So kann ChatGPT den Patienten und interessierten Personen genaue Informationen zu okuloplastischen Themen liefern. Auch kann Aufklärungsmaterial erstellt werden, das ohne Informationsverlust und ohne Verlust der Genauigkeit an ein niedrigeres Leseniveau angepasst werden kann. Dies führt zu besser informierten Patienten und somit sicher auch zu einer höheren Zufriedenheit und einem besseren Verständnis.

Disclosure Statement

Hiermit erkläre ich, dass keine Interessenkonflikte in Bezug auf den vorliegenden Kommentar bestehen.

© 2025 S. Karger GmbH, Freiburg
Copyright / Drug Dosage / Disclaimer
Copyright: All rights reserved. No part of this publication may be translated into other languages, reproduced or utilized in any form or by any means, electronic or mechanical, including photocopying, recording, microcopying, or by any information storage and retrieval system, without permission in writing from the publisher.
Drug Dosage: The authors and the publisher have exerted every effort to ensure that drug selection and dosage set forth in this text are in accord with current recommendations and practice at the time of publication. However, in view of ongoing research, changes in government regulations, and the constant flow of information relating to drug therapy and drug reactions, the reader is urged to check the package insert for each drug for any changes in indications and dosage and for added warnings and precautions. This is particularly important when the recommended agent is a new and/or infrequently employed drug.
Disclaimer: The statements, opinions and data contained in this publication are solely those of the individual authors and contributors and not of the publishers and the editor(s). The appearance of advertisements or/and product references in the publication is not a warranty, endorsement, or approval of the products or services advertised or of their effectiveness, quality or safety. The publisher and the editor(s) disclaim responsibility for any injury to persons or property resulting from any ideas, methods, instructions or products referred to in the content or advertisements.
2025