Mô hình ngôn ngữ AI GPT-3 có khả năng suy luận như một sinh viên đại học?

Khám phá quá trình nhận thức của mô hình ngôn ngữ AI GPT-3

Nghiên cứu của các nhà tâm lý học tại Đại học California tại Los Angeles, Mỹ (UCLA) vừa được công bố trên tạp chí Nature Human Behaviour vào ngày 31/7/2023 chỉ ra rằng mô hình AI GPT-3 có thể giải quyết các vấn đề lý luận ở mức độ tương đương với sinh viên đại học.

GPT-3 được yêu cầu giải quyết một loạt vấn đề lý luận thường xuất hiện trong các bài đánh giá trí thông minh hay kiểm tra tiêu chuẩn hóa như SAT (kỳ thi đánh giá năng lực xét tuyển đại học trong hệ thống giáo dục Mỹ). Theo đó, kết quả đáng ngạc nhiên là GPT-3 không chỉ làm tốt như con người mà còn mắc lỗi tương tự.

Con người giải quyết các vấn đề mới một cách dễ dàng mà không cần bất kỳ sự đào tạo hay thực hành đặc biệt nào bằng cách so sánh chúng với các vấn đề quen thuộc và mở rộng giải pháp cho vấn đề mới. Quá trình này được gọi là lý luận loại suy, từ lâu đã được cho là khả năng độc nhất của con người. 

Các nhà nghiên cứu bị thu hút bởi tiềm năng của AI trong việc tiếp cận khả năng suy nghĩ, lập luận giống con người, đặt ra những câu hỏi quan trọng cho sự phát triển AI trong tương lai: Liệu các mô hình ngôn ngữ học AI có thể làm được điều này không? GPT-3 bắt chước suy luận của con người như một sản phẩm phụ của bộ dữ liệu đào tạo ngôn ngữ khổng lồ hay nó đang sử dụng một loại quy trình nhận thức mới?

GPT-3 thực sự suy nghĩ như con người?

Giáo sư tâm lý học Hongjing Lu từ UCLA - tác giả chính của nghiên cứu cho biết: "Chúng tôi rất ngạc nhiên khi các mô hình ngôn ngữ AI như GPT-3 có thể suy luận. Trong hai năm qua, công nghệ này đã có một bước nhảy vọt so với những phiên bản trước đó".

Tuy nghiên cứu đạt được kết quả ấn tượng về khả năng nhận thức, suy luận của AI, các nhà khoa học cũng lưu ý, GPT-3 vẫn thất bại ở một số nhiệm vụ tưởng chừng như đơn giản.

Nhà nghiên cứu tâm lý học Taylor Webb - tác giả đầu tiên của nghiên cứu cho biết: "Hệ thống này tồn tại những hạn chế lớn. Nó có thể suy luận tương tự, nhưng không thể làm những việc rất dễ dàng đối với con người, chẳng hạn như sử dụng các công cụ để giải quyết một nhiệm vụ vật lý. Khi chúng tôi đưa ra những dạng bài toán trẻ em có thể giải nhanh chóng thì AI lại gợi ý những điều vô nghĩa".

Ông Webb và các đồng nghiệp đã thử nghiệm khả năng của GPT-3 trong việc giải quyết một loạt vấn đề mà AI chưa từng tiếp cận trước đây, lấy cảm hứng từ một thử nghiệm có tên là Ma trận lũy tiến của Raven. Đây là một trong những công cụ được sử dụng nhiều nhất để đo lường lý luận tương tự, khả năng trừu tượng hóa và nhận thức.

GPT-3 được yêu cầu dự đoán hình ảnh tiếp theo theo quy luật sắp xếp các hình dạng phức tạp. Để cho phép GPT-3 "nhìn thấy" các hình dạng, ông Webb đã chuyển đổi hình ảnh sang định dạng văn bản mà ứng dụng AI này có thể xử lý.

Các nhà nghiên cứu đã yêu cầu 40 sinh viên UCLA giải các bài toán tương tự.

Giáo sư Hongjing Lu cho biết, GPT-3 đã giải chính xác 80% vấn đề, trong khi đó, điểm trung bình của những sinh viên đại học tham gia thử nghiệm chỉ đạt dưới 60%.

Các nhà nghiên cứu cũng yêu cầu GPT-3 giải một loạt câu hỏi tương tự trong kỳ thi SAT nhưng chưa từng được công bố trên internet. Điều này đồng nghĩa với việc các câu hỏi đó khó có thể nằm trong dữ liệu đào tạo của GPT-3. 

Các nhà khoa học đã so sánh điểm của GPT-3 với kết quả điểm SAT của các sinh viên đại học và nhận thấy rằng kết quả của AI cao hơn điểm trung bình của con người.

Sau đó, các nhà nghiên cứu đã yêu cầu GPT-3 và các sinh viên tình nguyện giải quyết phép loại suy dựa trên truyện ngắn - yêu cầu họ đọc một đoạn văn rồi xác định một câu chuyện khác có cùng ý nghĩa. Công nghệ AI xử lý kém hơn các sinh viên về những vấn đề này.

Các nhà khoa học cho biết, đến thời điểm hiện tại, GPT-3 vẫn chưa thể giải quyết các vấn đề đòi hỏi phải hiểu không gian vật lý. Ví dụ, nếu được yêu cầu sử dụng một số công cụ cho trước để di chuyển một vật từ địa điểm này sang địa điểm khác, GPT-3 thường đề xuất các giải pháp kỳ lạ.

Tuy nhiên, nghiên cứu này đã cho thấy tiềm năng của AI trong việc tiếp cận khả năng suy nghĩ, lập luận giống con người và giới hạn của AI là vô tận bởi công nghệ học sâu GPT đã ra mắt đến phiên bản thế hệ thứ 4 GPT-4 vượt trội hơn so với GPT-3 và chắc chắn sẽ không dừng lại ở đây.

Bên cạnh việc khám phá tiềm năng của GPT-3, các nhà nghiên cứu của UCLA cũng phát triển mô hình máy học AI "tâm lý" của riêng họ, lấy cảm hứng từ nhận thức của con người và so sánh khả năng của nó với các ứng dụng AI thương mại hiện nay.

Con người không học bằng cách sử dụng toàn bộ internet như phương pháp AI đang được đào tạo. Và các nhà khoa học của UCLA hy vọng sẽ khám phá xem liệu các mô hình học ngôn ngữ AI có thực sự suy nghĩ giống như con người hay chỉ bắt chước suy nghĩ của chúng ta.