How accurately can ChatGPT 3.5 answer frequently asked questions by patients on glenohumeral osteoarthritis?

BackgroundConversational artificial intelligence (AI) systems like ChatGPT have emerged as valuable assets in providing accessible information across various domains, including the healthcare system. The use of ChatGPT may contribute to better patient education and better general healthcare knowledge. However, there is a paucity of data on the reliability of responses generated by ChatGPT in the context of specific medical diagnoses.MethodsWe identified 12 frequently asked questions by patients about glenohumeral osteoarthritis. These questions were formulated in both English and German, using common and medical terms for the condition, thus creating four groups for evaluation. The questions were then presented to ChatGPT 3.5. The generated responses were evaluated for accuracy by four independent orthopedic and trauma surgery consultants using a Likert scale (0 = fully inaccurate to 4 = fully accurate).ResultsAlthough there were two questions in two groups, all questions across all versions were answered with good accuracy by ChatGPT 3.5. The highest score on the Likert scale was 3.9 for the group where questions were posed in English using the medical term "glenohumeral osteoarthritis." The lowest score of 3.2 was for the group where questions were posed in English using the common term "shoulder arthrosis." On average, questions in English received a score of 3.5 on the Likert scale, slightly higher than those in German, which received a score of 3.4.ConclusionChatGPT 3.5 can already provide accurate responses to patients' frequently asked questions on glenohumeral osteoarthritis. ChatGPT can therefore be a valuable tool for patient communication and education in the field of orthopedics. Further studies, however, have to be performed in order to fully understand the mechanisms and impact of ChatGPT in the field. HintergrundGenerative Systeme der k & uuml;nstlichen Intelligenz (KI) wie ChatGPT haben sich als wertvolle Hilfsmittel f & uuml;r die Bereitstellung von Informationen in verschiedenen Bereichen, einschlie ss lich des Gesundheitswesens, erwiesen. Der Einsatz von ChatGPT kann zu einer besseren Patientenaufkl & auml;rung und einem besseren Allgemeinwissen & uuml;ber das Gesundheitswesen beitragen. Jedoch existieren nur wenige Daten & uuml;ber die Zuverl & auml;ssigkeit der von ChatGPT generierten Antworten im Zusammenhang mit spezifischen medizinischen Diagnosen.MethodenZun & auml;chst wurden 12 von Patienten h & auml;ufig gestellte Fragen zur glenohumeralen Osteoarthritis ermittelt. Diese Fragen wurden sowohl auf Englisch als auch auf Deutsch formuliert, wobei allgemeine und medizinische Begriffe f & uuml;r die Erkrankung verwendet wurden, sodass 4 Gruppen gebildet wurden. Die Fragen wurden dann in ChatGPT 3.5 eingegeben. Die generierten Antworten wurden von 4 unabh & auml;ngigen Fach & auml;rzten f & uuml;r Orthop & auml;die und Unfallchirurgie anhand einer Likert-Skala (0 = v & ouml;llig ungenau bis 4 = v & ouml;llig zutreffend) auf ihre Richtigkeit hin bewertet.ErgebnisseObwohl 2 Fragen in 2 Gruppen vorhanden waren, wurden alle Fragen & uuml;ber alle Versionen hinweg mit guter Genauigkeit von ChatGPT 3.5 beantwortet. Der h & ouml;chste Wert auf der Likert-Skala wurde mit 3,9 in der Gruppe erreicht, in der die Fragen auf Englisch gestellt wurden, wobei der medizinische Begriff ,,glenohumeral osteoarthritis" verwendet wurde. Den niedrigsten Wert erreichte mit 3,2 die Gruppe, in der die Fragen in englischer Sprache gestellt wurden und der gew & ouml;hnliche Begriff ,,shoulder arthrosis" verwendet wurde. Im Durchschnitt erhielten die Fragen in englischer Sprache einen Wert von 3,5 auf der Likert-Skala, etwas mehr als die Fragen in deutscher Sprache, die einen Wert von 3,4 erhielten.SchlussfolgerungChatGPT 3.5 kann bereits genaue Antworten auf h & auml;ufig gestellte Patientenfragen zur glenohumeralen Arthrose geben. Daher kann ChatGPT ein wertvolles Instrument f & uuml;r die Patientenkommunikation und -aufkl & auml;rung im Bereich der Orthop & auml;die sein. Weitere Studien m & uuml;ssen jedoch durchgef & uuml;hrt werden, um die Mechanismen und Auswirkungen von ChatGPT in diesem Bereich vollst & auml;ndig zu verstehen.