Google lần đầu tiết lộ về chatbot mới này trong một nghiên cứu công bố tháng 12/2022 nhưng chưa được áp dụng phổ biến. Chatbot với tên gọi Med-PaLM được phát triển trên cơ sở của PaLM, mô hình ngôn ngữ lớn (LLM) mới nhất và tiên tiến nhất của Google.
Với đặc thù về y tế, Med-PaLM được cho là có thể đưa ra các câu trả lời chuyên ngành y tế chất lượng hơn so với các chatbot thông thường khác. Một số ý kiến chuyên gia cho rằng Med-PaLM sẽ rất hữu ích tại các quốc gia "hạn chế về khả năng tiếp cận các y, bác sĩ".
Nghiên cứu trên Nature cho biết Med-PaLM đã đạt được điểm số 67,6% đối với bài kiểm tra trắc nghiệm Thi cấp phép y tế (USMLE) của Mỹ, vượt tỷ lệ đạt tối thiểu là 60%. Nghiên cứu nêu rõ chuyên môn về y khoa của Med-PaLM khá tốt song vẫn chưa thể bằng các y, bác sĩ.
Google khẳng định Med-PaLM là công cụ mô hình ngôn ngữ lớn (LLM) đầu tiên đỗ USMLE. Một nghiên cứu được công bố hồi tháng 5 cho biết Med-PaLM 2 đạt được điểm số 86,5% trong bài kiểm tra USMLE, cao điểm hơn chatbot phiên bản gốc, song nghiên cứu này chưa được các chuyên gia khác thẩm định để có thể khẳng định độ chính xác. Ngoài Med-PaLM, chatbot ChatGPT của OpenAI cũng được cho là gần như có thể vượt qua bài thi này.
Chuyên gia khoa học máy tính tại Đại học Bath của Vương quốc Anh, James Davenport, nhấn mạnh "có sự khác biệt lớn trong việc trả lời câu hỏi y khoa và xử lý tính huống thực tiễn, bao gồm việc chẩn đoán và đưa ra phương pháp điều trị".
Trong khi đó, chuyên gia về AI của Đại học Leeds, Anthony Cohn, cho rằng khả năng chatbot đưa ra thông tin sai lệch vẫn khá lớn đối với các mô hình trên cơ sở LLM, do bản chất mang tính thống kê của hệ thống này. Do đó, ông cho rằng chỉ nên sử dụng các chatbot này như một trợ lý, thay vì như một bác sĩ thật có quyền quyết định việc chữa trị bệnh nhân.
