Nghiên cứu trên do nhóm dược sĩ thuộc Đại học Long Island (Mỹ) thực hiện từ tháng 1/2022 đến tháng 4/2023 đối với ChatGPT phiên bản miễn phí của công ty OpenAI. Theo đó, Phó Giáo sư chuyên ngành dược Sara Grossman cùng nhóm nghiên cứu đã đưa ra 45 câu hỏi thực tế liên quan đến dịch vụ thông tin thuốc của trường Dược thuộc Đại học Long Island. Một số dược sĩ trong nhóm đã nghiên cứu và trả lời 45 câu hỏi. Một số dược sĩ khác sẽ kiểm tra lại mỗi câu hỏi và trả lời. Những câu trả lời này được dùng làm tiêu chí để đối chiếu với các phản hồi của ChatGPT. Sau đó, nhóm nghiên cứu đã loại bỏ 6 câu hỏi vì thiếu tài liệu giải đáp, để lại 39 câu hỏi cho ChatGPT trả lời.
Kết quả cho thấy chỉ 10 trong số 39 phản hồi của ChatGPT được đánh giá là thỏa đáng căn cứ những tiêu chí các dược sĩ đặt ra. Đối với các câu hỏi còn lại, ChatGPT không trả lời trực tiếp 11 câu, trả lời không chính xác đối với 10 câu và trả lời sai hoặc không đầy đủ đối với 12 câu.
Trước kết quả này, trưởng nhóm nghiên cứu Sara Grossman nhận định rằng các chuyên gia chăm sóc sức khỏe và bệnh nhân nên thận trọng khi sử dụng ChatGPT tìm hiểu thông tin liên quan đến thuốc và bất kỳ ai sử dụng ChatGPT để tham khảo thông tin về thuốc cũng nên xác minh lại bằng các nguồn đáng tin cậy khác.
Đối với mỗi câu hỏi, các nhà nghiên cứu yêu cầu ChatGPT cung cấp tài liệu tham khảo để có thể xác minh thông tin. Chỉ có 8 câu trả lời có các tài liệu tham khảo và tất cả các tài liệu này đều không còn tồn tại. Đáng chú ý, các nhà nghiên cứu hỏi ChatGPT liệu có sự tương tác giữa thuốc Paxlovid điều trị COVID-19 của hãng Pfizer và thuốc cao huyết áp verapamil hay không và ChatGPT trả lời không có tương tác nào được ghi nhận khi uống 2 loại thuốc này cùng lúc. Tuy nhiên, Phó Giáo sư Grossman cho biết trên thực tế, 2 thuốc này có thể tương tác với nhau và việc sử dụng kết hợp Paxlovid và verapamil có thể khiến huyết áp người bệnh hạ xuống rất thấp. Bà nhấn mạnh nếu không biết về sự tương tác này, bệnh nhân có thể gặp phải tác dụng phụ không mong muốn, trong khi thực tế có thể phòng ngừa được.
Trong nghiên cứu, bà Grossman lưu ý rằng các nhà quản lý dược phẩm Mỹ đã cấp phép lưu hành thuốc Paxlovid lần đầu tiên vào tháng 12/2021, ít tháng sau khi ứng dụng ChatGPT phiên bản miễn phí bị giới hạn sử dụng các tập dữ liệu. Như vậy, nhiều người dùng Paxlovid có thể không biết dữ liệu mà mình tiếp cận là lỗi thời và thông tin ChatGPT cung cấp là không chính xác. Bà Grossman cho rằng có thể ChatGPT phiên bản tính phí sẽ cho kết quả tốt hơn.
Theo bà Grossman, nghiên cứu chỉ đưa ra đánh giá nhanh về hiệu suất của chatbot này từ đầu năm nay và có thể phiên bản miễn phí của ChatGPT hiện đã được cải thiện, theo đó cho kết quả tốt hơn.
