Assessing the Competence of ChatGPT-3.5 Artificial Intelligence System in Executing the ACLS Protocol of the AHA 2020
İbrahim Altundağ, Sinem Doğruyol, Burcu Genç Yavuz, Kaan Yusufoglu, Mustafa Ahmet Afacan, Şahin ÇolakUniversity of Health Sciences, Haydarpaşa Numune Training and Research Hospital, Department of Emergency Medicine, Istanbul, Türkiye.INTRODUCTION: Artificial intelligence (AI) has become the focus of current studies, particularly due to its contribution in preventing human labor and time loss. The most important contribution of AI applications in the medical field will be to provide opportunities for increasing clinicians' gains, reducing costs, and improving public health. This study aims to assess the proficiency of ChatGPT-3.5, one of the most advanced AI applications available today, in its knowledge of current information based on the American Heart Association (AHA) 2020 guidelines.
METHODS: An 80-question quiz in a question-and-answer format, which includes the current AHA 2020 application steps, was prepared and applied to ChatGPT-3.5 in both English (ChatGPT-3.5 English) and native language (ChatGPT-3.5 Turkish) versions. The questions were prepared only in the native language for emergency medicine specialists.
RESULTS: We found a similar success rate of over 80% in all questions asked to ChatGPT-3.5 and two independent emergency medicine specialists with at least 5 years of experience who did not know each other. ChatGPT-3.5 achieved a 100% success rate in all questions related to the General Overview for Current AHA Guideline, Airway Management, and Ventilation chapters in English.
DISCUSSION AND CONCLUSION: Our study indicates that ChatGPT-3.5 provides similar accurate and up-to-date responses as experienced emergency specialists in the AHA 2020 Advanced Cardiac Life Support Guidelines. With future updated versions of ChatGPT, instant access to accurate and up-to-date information based on textbooks and guidelines will be possible.
ChatGPT-3.5 Yapay Zeka Uygulamasının, AHA 2020 ACLS Protokolünü Uygulamadaki Yeterliliğinin Değerlendirilmesi
İbrahim Altundağ, Sinem Doğruyol, Burcu Genç Yavuz, Kaan Yusufoglu, Mustafa Ahmet Afacan, Şahin ÇolakSağlık Bilimleri Üniversitesi, Haydarpaşa Numune Eğitim ve Araştırma Hastanesi, Acil Tıp Kliniği, İstanbul, TürkiyeGİRİŞ ve AMAÇ: Yapay zeka, özellikle insan iş gücü ve zaman kaybının önlenmesindeki katkılarıı nedeniyle güncel çalışmaların odağı haline gelmiştir. Yapay zeka uygulamalarının tıp alanındaki en önemli katkısı, klinisyenlerin kazanımlarının artırılması, maliyetlerin azaltılması ve halk sağlığının iyileştirilmesi için fırsatlar sunması olacaktır. Bu çalışma, günümüzde en gelişmiş yapay zeka uygulamalarından biri olan ChatGPT-3.5'in Amerikan Kalp Derneği (AHA) 2020 kılavuzlarına dayanan güncel bilgiler konusundaki yeterliliğini değerlendirmeyi amaçlamaktadır.
YÖNTEM ve GEREÇLER: Güncel AHA 2020 uygulama adımlarını içeren soru-cevap formatında 80 soruluk bir test hazırlandı. Sorular hem İngilizce (ChatGPT-3.5 İngilizce) hem de anadil (ChatGPT-3.5 Türkçe) versiyonlarında ChatGPT-3.5'e soruldu. Acil tıp uzmanları için sadece ana dilde soru soruldu.
BULGULAR: ChatGPT-3.5 ve birbirini tanımayan en az 5 yıllık deneyime sahip iki bağımsız acil tıp uzmanına sorulan tüm sorularda %80'in üzerinde benzer bir başarı oranı tespit edildi. ChatGPT-3.5, Güncel AHA Kılavuzuna Genel Bakış, Havayolu Yönetimi ve Ventilasyon bölümleriyle ilgili İngilizce olarak hazırlanmış tüm sorularda %100 başarı oranı elde etmiştir.
TARTIŞMA ve SONUÇ: Çalışmamız ChatGPT-3.5'in AHA 2020 İleri Kardiyak Yaşam Desteği Kılavuzu ile ilgili sorulara deneyimli acil durum uzmanları ile benzer doğru ve güncel yanıtlar verdiğini göstermektedir. ChatGPT'nin gelecekteki güncellenmiş sürümleriyle, textbook ve kılavuzlara dayalı doğru ve güncel bilgilere anında erişim mümkün olacaktır.
Manuscript Language: English