AI tìm hiểu khả năng giải mã ngôn ngữ thông qua tính năng “tự động sửa lỗi” của não bộ

Bộ não của bạn đã sử dụng tính năng ‘tự động sửa lỗi’ để giải mã ngôn ngữ và các mô hình AI đã giúp chúng ta chứng minh điều đó, một nghiên cứu mới cho biết

Mô hình AI dùng để xử lý ngôn ngữ tự nhiên

Làm sao chúng ta biết nói và đọc?

Đây là tiền đề dẫn đến kết quả của một nghiên cứu mới từ Viện Công nghệ Massachusetts. Tại đây các nhà nghiên cứu đã sử dụng các mô hình AI để xem xét cách thức và lý do tại sao bộ não của chúng ta hiểu ngôn ngữ. Thật kỳ lạ, bộ não của chúng ta có cơ chế hoạt động khá giống với tính năng tự động sửa lỗi vốn có trên các ứng dụng keyboard ở điện thoại thông minh.

Nghiên cứu mới được công bố trên Kỷ yếu của Viện Hàn lâm Khoa học Quốc gia cho thấy chức năng của các mô hình ngôn ngữ AI này (trên ứng dụng bàn phím) khá giống với phương pháp xử lý ngôn ngữ trong não người, cho thấy não người có thể sử dụng dự đoán từ tiếp theo để thúc đẩy quá trình xử lý ngôn ngữ. .

Thế hệ mô hình ngôn ngữ trí tuệ nhân tạo gần đây nhất được thiết kế để dự đoán từ tiếp theo trong văn bản, giống như tính năng tự động sửa lỗi trên iMessage, nhưng những người quan sát công nghệ này đang nhận thấy điều gì đó mới mẻ hơn. Những mô hình này cũng có vẻ như đang học điều gì đó về ý nghĩa của văn bản, thể hiện khả năng hiểu ngôn ngữ ở mức độ sâu hơn.

Nancy Kanwisher, giáo sư Khoa học thần kinh về nhận thức và là tác giả của nghiên cứu này cho biết: “Mô hình dự đoán từ tiếp theo càng tốt thì nó càng phù hợp với não người. Thật ngạc nhiên khi các mô hình này rất phù hợp với cơ chế xử lý ngôn ngữ của não bộ.”

Deep neural networks

Mô hình dự đoán từ tiếp theo mới của AI này là một phần của lý thuyết mạng nơ-ron sâu – deep neural networks – một danh mục các mô hình AI. Trong thập kỷ qua, những mô hình này đã được sử dụng để bắt chước các chức năng của bộ não, cụ thể là nhận dạng vật thể.

Mạng lưới thần kinh có thể hoạt động tương tự như bộ não con người vì nó được mô phỏng lỏng lẻo theo bộ não. Chúng bao gồm hàng nghìn nút xử lý được kết nối dày đặc, truyền thông tin cho nhau.

Mô hình mạng nơ-ron, hiện được gọi là “học sâu”, thường được tìm thấy trong nhiều sản phẩm công nghệ hàng ngày, chẳng hạn được sử dụng trong ứng dụng nhận dạng giọng nói trên điện thoại thông minh và công cụ dịch tự động của Google .

Trong nghiên cứu mới này, một nhóm các nhà nghiên cứu tại MIT đã phân tích 43 mô hình ngôn ngữ khác nhau, nhiều mô hình trong số đó được tối ưu hóa để dự đoán từ tiếp theo. Các mô hình này, bao gồm GPT-3, có thể tự động tạo ra văn bản thực tế khi được đưa ra lời nhắc, hoặc các mô hình khác được thiết kế để cung cấp chức năng điền vào chỗ trống để hoàn thiện văn bản.

Các nhà nghiên cứu đã thể hiện mỗi mô hình bằng một chuỗi từ để đo hoạt động của các nút thần kinh của nó. Sau đó, họ so sánh các mô hình này với hoạt động trong não người, được đo lường khi các đối tượng thử nghiệm thực hiện các nhiệm vụ ngôn ngữ như nghe, đọc các câu đầy đủ và đọc từng từ một.

Nghiên cứu chỉ ra rằng các mô hình dự đoán từ tiếp theo hoạt động tốt nhất khi đó là các mô hình hoạt động giống nhất với các mô hình của não người. Ngoài ra, hoạt động trong các mô hình tương tự cũng tương quan với các biện pháp hành vi của con người, chẳng hạn như tốc độ mọi người có thể đọc văn bản.

“Chúng tôi nhận thấy rằng các mô hình dự đoán tốt các phản ứng thần kinh cũng có xu hướng dự đoán tốt nhất các phản ứng hành vi của con người, dưới dạng thời gian đọc. Và sau đó, cả hai điều này được giải thích bằng hiệu suất của mô hình trên dự đoán từ tiếp theo. Hình tam giác này thực sự kết nối mọi thứ với nhau, ”Martin Schrimpf, một sinh viên tốt nghiệp làm việc tại Trung tâm Bộ não, Tư duy và Máy học MIT cho biết.

Kết quả nghiên cứu mới cho thấy dự đoán từ tiếp theo là một trong những chức năng quan trọng trong xử lý ngôn ngữ, hỗ trợ một giả thuyết đã được đề xuất trước đó nhưng vẫn chưa được xác nhận rõ ràng. Các nhà khoa học đã không tìm thấy bất kỳ mạch não hoặc cơ chế nào tiến hành kiểu xử lý đó.

Joshua Tenenbaum, giáo sư khoa học về tính toán nhận thức tại MIT cho biết: “Một trong những thách thức của xử lý ngôn ngữ là xử lý theo thời gian thực. Ngay khi tín hiệu ngôn ngữ xuất hiện thì phải bắt đầu xử lý để có thể hiểu ngôn ngữ theo thời gian thực.”

Trong tương lai, các nhà nghiên cứu có kế hoạch xây dựng các biến thể của mô hình dự đoán từ tiếp theo để xem những thay đổi nhỏ giữa mỗi mô hình ảnh hưởng như thế nào đến khả năng xử lý của chúng. Họ cũng có kế hoạch kết hợp các mô hình ngôn ngữ này với các mô hình máy học được phát triển để thực hiện các nhiệm vụ khác của não bộ, chẳng hạn như nhận thức về thế giới vật chất.

“Nếu chúng ta có thể hiểu những gì các mô hình ngôn ngữ này làm và cách chúng có thể kết nối với các mô hình làm những việc giống như nhận thức và suy nghĩ của bộ não hơn, thì điều đó có thể cung cấp cho chúng ta các mô hình tích hợp phức tạp hơn về cách mọi thứ hoạt động trong não bộ,” Tenenbaum nói .

“Điều này có thể đưa chúng ta hướng tới các mô hình trí tuệ nhân tạo tốt hơn, cũng như cung cấp cho chúng ta những mô hình tốt hơn về cách hoạt động của bộ não và cách trí thông minh xuất hiện, so với những gì chúng ta đã biết trong quá khứ.”

Theo thedebrief

 

Đặt Câu hỏi hoặc để lại Bình luận - Yêu cầu của bạn

Share via
Copy link