Facebook đang đặt cược giao diện lớn tiếp theo là cuộc trò chuyện
Bots vẫn không thể trò chuyện như con người. Nhưng các nhà nghiên cứu AI của Facebook đang tạo ra những bước ngoặt lớn với ý nghĩa cho các ứng dụng nhắn tin của công ty và hơn thế nữa.
Facebook đang đặt cược giao diện lớn tiếp theo là cuộc trò chuyện
[Ảnh: PhonlamaiPhoto / iStock]
BỞI MARK SULLIVANĐỌC LÂU
Bài viết này là một phần của loạt bài biên tập của Fast Company Các quy tắc mới của AI . Hơn 60 năm trong kỷ nguyên của trí tuệ nhân tạo, các công ty công nghệ lớn nhất thế giới mới bắt đầu mở ra những gì có thể với AI Biệt và vật lộn với cách nó có thể thay đổi tương lai của chúng ta. Nhấn vào đây để đọc tất cả các câu chuyện trong bộ.
Trở lại năm 2015, chatbot đã lớn. Và một trong những người được quảng cáo rầm rộ nhất là M của Facebook , công ty có nghĩa là một bot đa năng, linh hoạt, có thể làm nhiều việc khác nhau như mua đồ, sắp xếp việc giao quà, đặt bàn nhà hàng và lên kế hoạch đi du lịch. Nhưng buzz là lớn hơn nhiều so với bot. Khi Facebook thử nghiệm M với một nhóm 2.500 người trong Vùng Vịnh, phần mềm đã không thực hiện được hầu hết các nhiệm vụ mà nó được yêu cầu thực hiện.
Sau sự bùng nổ nhiệt tình ban đầu đối với M và các chatbot khác (bot bot là ứng dụng mới, Giám đốc điều hành của Microsoft Microsoft Satya Nadella tuyên bố ), một làn sóng thất vọng theo sau. Chatbots không trò chuyện nhiều như robot. Đó là bởi vì họ được đào tạo để chỉ nói về một tập hợp hẹp, và để thực hiện các nhiệm vụ cụ thể, hạn chế. Họ không thể có một cuộc trò chuyện tự nhiên với mọi người, tạo ra phản hồi của riêng họ dựa trên sự hiểu biết chung về từ và nghĩa của chúng. Họ chỉ có thể cung cấp trả lời chung chung.
Trước khi M rời khỏi phiên bản beta, Facebook đã tiết lộ kế hoạch lớn cho bot , mặc dù một số công nghệ ngôn ngữ tự nhiên đã tìm thấy các chatbot Messenger ít táo bạo hơn có thể thực hiện những việc đơn giản, đơn giản như nhận đơn đặt hàng thực phẩm hoặc đưa ra thông tin Q & A. Các công ty như American Express và 1-800-FLOWERS vẫn sử dụng loại chatbot có tham vọng thấp này để trả lời các câu hỏi về dịch vụ khách hàng, nhận đơn đặt hàng cơ bản và cung cấp số dư tài khoản. Nhiều người sẽ kết nối bạn với một đại diện của con người nếu bạn hỏi họ bất cứ điều gì ngoài sự hiểu biết hạn chế của họ.
Liên quan: Hướng dẫn viên AI Miên AI của Facebook đã chết, sống lâu M
Nhưng nhóm nghiên cứu AI của Facebook đã chuyển từ loại chatbot có đầu óc đơn lẻ đó. Những gì chúng ta đã nói trong ba đến bốn năm qua là nghiên cứu về đối thoại hướng đến mục tiêu không phải là con đường chúng ta cần khám phá, bởi vì nó quá khó, cổ phần quá cao, nhà nghiên cứu ngôn ngữ tự nhiên của Facebook, Antoine Bordes nói. tôi. Nếu một chatbot du lịch cuốn sách sai máy bay, chuyến bay sai, đó là một sai lầm rất lớn về tiền bạc, về du lịch, v.v., ông nói.
Thay vì tập trung vào các cơ chế của các nhiệm vụ cụ thể, Bordes giải thích, Facebook đang lùi lại để giải quyết vấn đề sâu sắc hơn khi dạy các tác nhân ảo để trò chuyện như mọi người. Nếu chatbot có thể hiểu và giao tiếp với con người tốt hơn, thì suy nghĩ sẽ có, cuối cùng họ có thể tạo ra những trợ lý tốt hơn có thể giúp mọi người hoàn thành các nhiệm vụ thực tế như đặt vé máy bay.
Facebook đã đầu tư nghiêm túc vào nỗ lực này, tuyển dụng một số tài năng giỏi nhất về ngôn ngữ tự nhiên AI. Công ty muốn chỉ ra rằng không giống như một số công ty công nghệ lớn, nó cung cấp kết quả nghiên cứu AI của mình cho toàn bộ cộng đồng nghiên cứu bằng cách đăng nó trực tuyến , nơi nó có thể giúp đỡ những người khác đang xây dựng AI thế hệ tiếp theo. Nhưng nghiên cứu này chắc chắn cũng sẽ kết thúc trong các sản phẩm của riêng mình.
Ứng dụng nhắn tin là một ngôi nhà tự nhiên, bao gồm cả Messenger và WhatsApp, sau này Facebook cũng sở hữu và vẫn đang tìm cách kiếm tiền . Với việc CEO Mark Zuckerberg nói lên một tầm nhìn mới cho công ty, tập trung vào các cuộc trò chuyện riêng tư, Messenger và WhatsApp sẽ cần thêm các tính năng để duy trì vị trí dẫn đầu của họ trên các nền tảng nhắn tin khác như WeChat, Telegram và iMessage của Apple.
Xây dựng một thuật toán có thể trò chuyện ngẫu nhiên với một người đã trở thành mục tiêu chính của các công ty công nghệ lớn, với Amazon, Google và Microsoft đều tham gia Facebook để đặt cược vào sức mạnh của cuộc trò chuyện của con người, không chỉ trong các ứng dụng nhắn tin dựa trên văn bản, mà còn cho trợ lý giọng nói và kinh nghiệm khác. Nhờ các nghiên cứu gần đây, đường dẫn đến máy tính thực sự đàm thoại đã đột nhiên trở nên rõ ràng hơn, nhưng giải thưởng về việc đạt được điều đó trước tiên vẫn còn dành cho bạn.
Nói cách khác, nghiên cứu ngôn ngữ tự nhiên của Facebook không chỉ dừng lại ở việc phục hồi M hoặc cải thiện các chatbot dựa trên Messenger. Đó là về tương lai của toàn bộ công ty.
NHẬP MẠNG THẦN KINH
Xây dựng một tác nhân kỹ thuật số có thể có một cuộc trò chuyện giống như thật với một người được cho là khó khăn nhất trong tất cả các vấn đề ngôn ngữ tự nhiên. Nó đòi hỏi một cỗ máy để học một từ điển đầy đủ các từ, với tất cả các công dụng và sắc thái của chúng, và sau đó sử dụng chúng trong cuộc trò chuyện trực tiếp với một con người không thể đoán trước.
Chỉ trong vài năm gần đây, cộng đồng AI ngôn ngữ tự nhiên đã bắt đầu có những bước tiến lớn hơn đối với các bot kiến thức chung. Điều đó một phần là do những tiến bộ lớn trong mạng lưới thần kinh, đó là các thuật toán học máy nhận ra các mẫu bằng cách phân tích lượng dữ liệu khổng lồ.
Trong phần lớn lịch sử của AI, loài người đã theo dõi phần mềm khi nó trải qua quá trình học máy. Trong một kỹ thuật gọi là học có giám sát, giáo viên con người từ từ huấn luyện mạng lưới thần kinh theo thời gian bằng cách cung cấp câu trả lời đúng cho một vấn đề, sau đó điều chỉnh thuật toán để nó đạt được cùng một giải pháp.
Học tập có giám sát có thể hoạt động tốt khi có rất nhiều dữ liệu được dán nhãn một cách siêng năng, bằng cách xác định các bức ảnh có mèo, chó hoặc các vật phẩm khác trong đó. Nhưng phương pháp này thường không hoạt động trong thế giới chatbot. Bảng điểm được dán nhãn từ hàng ngàn giờ của các cuộc trò chuyện giữa người với người thực sự rất khó tìm thấy với số lượng lớn và rất tốn kém cho một công ty duy nhất tạo ra.
Liên quan: Để hiểu trí tuệ nhân tạo năm 2019, hãy xem chương trình truyền hình năm 1960 này
Vì rất khó để dạy các chatbot cách có các cuộc hội thoại bằng các phương pháp cũ hơn này, các nhà nghiên cứu đã tìm kiếm các giải pháp thay thế cho việc học có giám sát để cho các mạng thần kinh tự học từ dữ liệu mà không cần con người trong vòng lặp.
Một cách để cắt giảm nhu cầu về dữ liệu đào tạo là dạy cho máy một mức độ cơ bản của lẽ thường. Nếu một máy tính có một số hiểu biết về thế giới, như kích thước tương đối của các vật thể, cách mọi người sử dụng chúng và một số kiến thức về cách các định luật vật lý tác động đến chúng, thì nó có thể thu hẹp lựa chọn của nó chỉ trong phạm vi khả năng .
Mọi người làm điều này một cách tự nhiên. Chẳng hạn, giả sử bạn đang lái xe bên cạnh một vách đá dựng đứng và đột nhiên nhìn thấy một tảng đá lớn trên con đường phía trước. Bạn muốn tránh va vào đá. Nhưng khi xem xét các lựa chọn của bạn, bạn sẽ không bao giờ quyết định thực hiện một bước ngoặt bất ngờ về phía vách đá. Bạn biết chiếc xe sẽ rơi dữ dội vào những tảng đá bên dưới, vì trọng lực.
Yann LeCun [Ảnh: lịch sự của Facebook]
Phần lớn việc học mà chúng ta làm. . . Theo quan sát của thế giới, ông cho biết, VP VP và nhà khoa học AI chính của Yann LeCun, một huyền thoại trong lĩnh vực AI , người đã giải quyết những thách thức lớn nhất của nó kể từ những năm 1980. Chúng tôi học được rất nhiều điều từ cha mẹ và những người khác, nhưng chúng tôi cũng học được rất nhiều chỉ bằng cách tương tác với thế giới, thông qua thử và thất bại và sửa chữa.
AI được đào tạo sử dụng kỹ thuật này, được gọi là học tập không giám sát, hoạt động theo cách tương tự. Chẳng hạn, một chiếc xe tự trị thu thập dữ liệu về thế giới thông qua nhiều cảm biến và camera, giống như một đứa trẻ học về thế giới thông qua năm giác quan của mình. Với phương pháp này, các nhà khoa học cung cấp cho máy một lượng lớn dữ liệu đào tạo để nhai lại. Họ không yêu cầu nó tạo ra một câu trả lời đúng hoặc dỗ nó theo một mục tiêu nhất định. Thay vào đó, họ yêu cầu nó chỉ xử lý và học hỏi từ dữ liệu, tìm các mẫu và ánh xạ mối quan hệ giữa các điểm dữ liệu khác nhau.
Trong nhiều trường hợp, dữ liệu cần thiết này rất khó để có được. Nhưng có một lĩnh vực của AI nơi mạng lưới thần kinh có thể tìm hiểu rất nhiều về thế giới mà không cần cảm biến: xử lý ngôn ngữ tự nhiên. Các nhà nghiên cứu có thể sử dụng một lượng lớn văn bản hiện có để giúp các thuật toán hiểu thế giới con người, đó là một phần cần thiết của việc hiểu ngôn ngữ.
Giả sử một mạng lưới thần kinh được cung cấp hai cụm từ này để hiểu:
Cúp vô địch không vừa trong vali vì nó quá lớn.
Cúp vô địch không vừa trong vali vì nó quá nhỏ.
Để biết rằng, nó được đề cập đến những điều khác nhau trong mỗi câu, người mẫu cần biết điều gì đó về các vật thể trên thế giới và mối quan hệ của chúng với nhau. LeCun có đủ cấu trúc trong văn bản mà họ đang được đào tạo để biết rằng khi bạn có một vật thể phù hợp với một vật thể khác, thì một trong số chúng không thể phù hợp nếu nó quá lớn, LeCun nói.
Kỹ thuật này có thể trở thành bí mật cho một thế hệ mới của các chatbot Facebook hữu ích và trò chuyện hơn.
GẶP BERT VÀ ROBERTA
Những tiến bộ hiện tại trong việc đào tạo các hệ thống ngôn ngữ tự nhiên không giám sát đã bắt đầu tại Google vào năm 2018. Các nhà nghiên cứu của nó đã tạo ra một mô hình học tập sâu, được gọi là BERT (Đại diện bộ mã hóa hai chiều từ Transformers) và đưa ra văn bản không được giám sát từ 11.038 cuốn sách cùng với 2,5 tỷ từ từ các mục Wikipedia tiếng Anh. Các nhà nghiên cứu đã ngẫu nhiên che dấu một số từ nhất định trong văn bản và thách thức người mẫu tìm ra cách điền chúng vào.
Sau khi mạng lưới thần kinh phân tích toàn bộ văn bản đào tạo, nó tìm thấy các mẫu từ và câu thường xuất hiện trong cùng một ngữ cảnh, giúp nó hiểu các mối quan hệ cơ bản giữa các từ. Và vì các từ là đại diện của các đối tượng hoặc khái niệm trong thế giới thực, mô hình đã học được nhiều thứ hơn là chỉ mối quan hệ ngôn ngữ giữa các từ: Nó bắt đầu hiểu cách các đối tượng liên quan với nhau.
BERT không phải là mô hình đầu tiên sử dụng phương pháp không giám sát để đào tạo máy tính để hiểu ngôn ngữ của con người. Nhưng nó là người đầu tiên tìm hiểu nghĩa của một từ trong ngữ cảnh của nó.
Tôi sẽ nói rằng đó là một trong hai hoặc ba bước đột phá lớn nhất trong xử lý ngôn ngữ tự nhiên, theo ông Jianfeng Gao, một nhà quản lý nghiên cứu đối tác trong Deep Learning Group của Microsoft Research. Bạn thấy mọi người sử dụng mô hình này làm cơ sở mới để xây dựng tất cả các mô hình xử lý ngôn ngữ tự nhiên khác. Cho đến nay, bài nghiên cứu BERT có hơn 1.000 trích dẫn học thuật như các nhà nghiên cứu khác đã xây dựng trên mô hình của Google.
Liên quan: Sự thúc đẩy quyền riêng tư của Facebook khiến Messenger trở thành tâm điểm chú ý nhưng cạm bẫy rất nhiều
LeCun và nhóm của anh ấy nằm trong số đó. Họ đã xây dựng phiên bản mô hình của riêng mình, sau đó thực hiện một số điều chỉnh tối ưu hóa, mở rộng đáng kể lượng dữ liệu đào tạo và tăng thời gian đào tạo cho phép. Sau khi mạng lưới thần kinh đã chạy hàng tỷ phép tính, mô hình ngôn ngữ của Facebook, được gọi là RoBERTa, đã hoạt động tốt hơn đáng kể so với mô hình của Google. Nó đã chứng minh mức độ chính xác 88,5% so với BERT, đạt 80,5%.
BERT và RoBERTa đại diện cho một cách tiếp cận hoàn toàn mới để dạy máy tính cách trò chuyện. LeCun cho biết, trong quá trình thực hiện việc này, hệ thống phải thể hiện ý nghĩa của các từ mà nó nhìn thấy, cấu trúc của câu, ngữ cảnh. Kết quả là, nó học được ngôn ngữ là gì, điều này thật kỳ lạ bởi vì nó không biết gì về thực tế vật lý của thế giới. Nó không có tầm nhìn, nó không có thính giác, nó không có gì cả. Tất cả những gì nó biết là ngôn ngữ, chữ, và câu.
GẦN HƠN VỚI MỘT CUỘC TRÒ CHUYỆN THỰC SỰ
LeCun cho biết một mô hình ngôn ngữ tự nhiên được đào tạo bằng BERT hoặc RoBERTa vẫn không có nhiều ý nghĩa thông thường, chỉ đủ để bắt đầu tạo ra các phản hồi trò chuyện dựa trên nền tảng kiến thức chung. Đó thực sự chỉ là khởi đầu của quá trình đào tạo một thuật toán để nói chuyện như một người.
Các nhà nghiên cứu ngôn ngữ tự nhiên của Facebook cũng đang cố gắng xây dựng nhiều tính năng hơn của cuộc trò chuyện trên nền tảng của RoBERTa. Họ bắt đầu bằng cách nghiên cứu các cuộc trò chuyện thực tế của con người với chatbot để hiểu cách thức và thời điểm cuộc trò chuyện có thể bị phá vỡ hoặc trở nên nhàm chán. Phát hiện của họ đã thúc đẩy nghiên cứu đề xuất các cách đào tạo bot để tránh các loại thất bại phổ biến nhất của cuộc trò chuyện.
Chẳng hạn, các chatbot thường mâu thuẫn với nhau vì họ không nhớ lại những gì họ đã nói trong một cuộc trò chuyện. Một chatbot có thể tuyên bố tình yêu của nó dành cho Hiệp sĩ Rider chạy lại một phút và nói rằng nó không thích chương trình truyền hình tiếp theo. Các chatbot tạo phản hồi ban đầu của riêng họ (thay vì lấy các ví dụ từ dữ liệu huấn luyện) có xu hướng trả lời các câu hỏi theo những cách mơ hồ để tránh mắc lỗi. Họ thường có vẻ điếc về mặt cảm xúc, khiến họ ít tham gia hơn.
Chatbots cũng phải có khả năng kêu gọi kiến thức để trở thành những người giao tiếp thú vị. Những người có thể rút ra một loạt thông tin đa dạng có nhiều khả năng duy trì các cuộc trò chuyện lâu hơn với con người. Nhưng các chatbot hiện tại được đào tạo kiến thức từ một khu vực duy nhất tương ứng với nhiệm vụ mà bot được thiết kế để thực hiện, điều này trở thành một vấn đề khi con người bắt đầu bình luận về các chủ đề nằm ngoài miền của bot. Ví dụ, hỏi một bot giao bánh pizza về bất kỳ chủ đề nào khác ngoài pizza và cuộc trò chuyện sẽ nhanh chóng kết thúc.
Liên quan: Cách tạo chatbot thực sự đáng nói
Là một thuốc giải độc, các nhà nghiên cứu của Facebook đã làm việc để đào tạo các mô hình ngôn ngữ tự nhiên để thu thập dữ liệu từ nhiều lĩnh vực kiến thức và đưa thông tin vào luồng hội thoại theo cách tự nhiên. Nghiên cứu trong tương lai sẽ tập trung vào việc dạy các bot khi nào và làm thế nào để điều khiển cuộc trò chuyện từ một chủ đề chung trở lại một nhiệm vụ cụ thể.
Một trong những thách thức lớn nhất của việc phát triển chatbot là cho phép họ tiếp tục học hỏi sau khi chúng được triển khai. Ý nghĩa của từ có thể thay đổi theo thời gian, và các thuật ngữ và tiếng lóng mới trở nên quan trọng về mặt văn hóa. Đồng thời, một chatbot không thể quá gợi ý, chatbot Tay của Tây đã học quá sớm từ các cuộc trò chuyện trực tuyến và biến thành một kẻ phân biệt chủng tộc xúc phạm trong vòng 24 giờ . Facebook đang dạy các chatbot thử nghiệm của mình để học hỏi từ khi cuộc trò chuyện diễn ra tốt đẹp và phân tích ngôn ngữ của một đối tác trò chuyện của con người để khám phá xem một bot đã nói điều gì đó ngớ ngẩn hay nhàm chán.
Sẽ rất nguy hiểm khi dự đoán khi những tiến bộ mà Facebook đang thực hiện trong phòng thí nghiệm có thể dẫn đến các chatbot nhắn tin có thể tham gia vào một cuộc đối thoại với kỹ năng giống như con người hời hợt. Nhưng nó có thể không lâu đến khi chúng ta có thể tự đánh giá kết quả. Jason Weston, nhà nghiên cứu của Facebook cho biết, chúng tôi tin rằng chúng tôi rất gần với việc có một bot nơi mọi người có thể nói chuyện với bot và thấy giá trị của nó.
Facebook đang đặt cược giao diện lớn tiếp theo là cuộc trò chuyện
[Ảnh: PhonlamaiPhoto / iStock]
BỞI MARK SULLIVANĐỌC LÂU
Bài viết này là một phần của loạt bài biên tập của Fast Company Các quy tắc mới của AI . Hơn 60 năm trong kỷ nguyên của trí tuệ nhân tạo, các công ty công nghệ lớn nhất thế giới mới bắt đầu mở ra những gì có thể với AI Biệt và vật lộn với cách nó có thể thay đổi tương lai của chúng ta. Nhấn vào đây để đọc tất cả các câu chuyện trong bộ.
Trở lại năm 2015, chatbot đã lớn. Và một trong những người được quảng cáo rầm rộ nhất là M của Facebook , công ty có nghĩa là một bot đa năng, linh hoạt, có thể làm nhiều việc khác nhau như mua đồ, sắp xếp việc giao quà, đặt bàn nhà hàng và lên kế hoạch đi du lịch. Nhưng buzz là lớn hơn nhiều so với bot. Khi Facebook thử nghiệm M với một nhóm 2.500 người trong Vùng Vịnh, phần mềm đã không thực hiện được hầu hết các nhiệm vụ mà nó được yêu cầu thực hiện.
Sau sự bùng nổ nhiệt tình ban đầu đối với M và các chatbot khác (bot bot là ứng dụng mới, Giám đốc điều hành của Microsoft Microsoft Satya Nadella tuyên bố ), một làn sóng thất vọng theo sau. Chatbots không trò chuyện nhiều như robot. Đó là bởi vì họ được đào tạo để chỉ nói về một tập hợp hẹp, và để thực hiện các nhiệm vụ cụ thể, hạn chế. Họ không thể có một cuộc trò chuyện tự nhiên với mọi người, tạo ra phản hồi của riêng họ dựa trên sự hiểu biết chung về từ và nghĩa của chúng. Họ chỉ có thể cung cấp trả lời chung chung.
Trước khi M rời khỏi phiên bản beta, Facebook đã tiết lộ kế hoạch lớn cho bot , mặc dù một số công nghệ ngôn ngữ tự nhiên đã tìm thấy các chatbot Messenger ít táo bạo hơn có thể thực hiện những việc đơn giản, đơn giản như nhận đơn đặt hàng thực phẩm hoặc đưa ra thông tin Q & A. Các công ty như American Express và 1-800-FLOWERS vẫn sử dụng loại chatbot có tham vọng thấp này để trả lời các câu hỏi về dịch vụ khách hàng, nhận đơn đặt hàng cơ bản và cung cấp số dư tài khoản. Nhiều người sẽ kết nối bạn với một đại diện của con người nếu bạn hỏi họ bất cứ điều gì ngoài sự hiểu biết hạn chế của họ.
Liên quan: Hướng dẫn viên AI Miên AI của Facebook đã chết, sống lâu M
Nhưng nhóm nghiên cứu AI của Facebook đã chuyển từ loại chatbot có đầu óc đơn lẻ đó. Những gì chúng ta đã nói trong ba đến bốn năm qua là nghiên cứu về đối thoại hướng đến mục tiêu không phải là con đường chúng ta cần khám phá, bởi vì nó quá khó, cổ phần quá cao, nhà nghiên cứu ngôn ngữ tự nhiên của Facebook, Antoine Bordes nói. tôi. Nếu một chatbot du lịch cuốn sách sai máy bay, chuyến bay sai, đó là một sai lầm rất lớn về tiền bạc, về du lịch, v.v., ông nói.
Thay vì tập trung vào các cơ chế của các nhiệm vụ cụ thể, Bordes giải thích, Facebook đang lùi lại để giải quyết vấn đề sâu sắc hơn khi dạy các tác nhân ảo để trò chuyện như mọi người. Nếu chatbot có thể hiểu và giao tiếp với con người tốt hơn, thì suy nghĩ sẽ có, cuối cùng họ có thể tạo ra những trợ lý tốt hơn có thể giúp mọi người hoàn thành các nhiệm vụ thực tế như đặt vé máy bay.
Facebook đã đầu tư nghiêm túc vào nỗ lực này, tuyển dụng một số tài năng giỏi nhất về ngôn ngữ tự nhiên AI. Công ty muốn chỉ ra rằng không giống như một số công ty công nghệ lớn, nó cung cấp kết quả nghiên cứu AI của mình cho toàn bộ cộng đồng nghiên cứu bằng cách đăng nó trực tuyến , nơi nó có thể giúp đỡ những người khác đang xây dựng AI thế hệ tiếp theo. Nhưng nghiên cứu này chắc chắn cũng sẽ kết thúc trong các sản phẩm của riêng mình.
Ứng dụng nhắn tin là một ngôi nhà tự nhiên, bao gồm cả Messenger và WhatsApp, sau này Facebook cũng sở hữu và vẫn đang tìm cách kiếm tiền . Với việc CEO Mark Zuckerberg nói lên một tầm nhìn mới cho công ty, tập trung vào các cuộc trò chuyện riêng tư, Messenger và WhatsApp sẽ cần thêm các tính năng để duy trì vị trí dẫn đầu của họ trên các nền tảng nhắn tin khác như WeChat, Telegram và iMessage của Apple.
Xây dựng một thuật toán có thể trò chuyện ngẫu nhiên với một người đã trở thành mục tiêu chính của các công ty công nghệ lớn, với Amazon, Google và Microsoft đều tham gia Facebook để đặt cược vào sức mạnh của cuộc trò chuyện của con người, không chỉ trong các ứng dụng nhắn tin dựa trên văn bản, mà còn cho trợ lý giọng nói và kinh nghiệm khác. Nhờ các nghiên cứu gần đây, đường dẫn đến máy tính thực sự đàm thoại đã đột nhiên trở nên rõ ràng hơn, nhưng giải thưởng về việc đạt được điều đó trước tiên vẫn còn dành cho bạn.
Nói cách khác, nghiên cứu ngôn ngữ tự nhiên của Facebook không chỉ dừng lại ở việc phục hồi M hoặc cải thiện các chatbot dựa trên Messenger. Đó là về tương lai của toàn bộ công ty.
NHẬP MẠNG THẦN KINH
Xây dựng một tác nhân kỹ thuật số có thể có một cuộc trò chuyện giống như thật với một người được cho là khó khăn nhất trong tất cả các vấn đề ngôn ngữ tự nhiên. Nó đòi hỏi một cỗ máy để học một từ điển đầy đủ các từ, với tất cả các công dụng và sắc thái của chúng, và sau đó sử dụng chúng trong cuộc trò chuyện trực tiếp với một con người không thể đoán trước.
Chỉ trong vài năm gần đây, cộng đồng AI ngôn ngữ tự nhiên đã bắt đầu có những bước tiến lớn hơn đối với các bot kiến thức chung. Điều đó một phần là do những tiến bộ lớn trong mạng lưới thần kinh, đó là các thuật toán học máy nhận ra các mẫu bằng cách phân tích lượng dữ liệu khổng lồ.
Trong phần lớn lịch sử của AI, loài người đã theo dõi phần mềm khi nó trải qua quá trình học máy. Trong một kỹ thuật gọi là học có giám sát, giáo viên con người từ từ huấn luyện mạng lưới thần kinh theo thời gian bằng cách cung cấp câu trả lời đúng cho một vấn đề, sau đó điều chỉnh thuật toán để nó đạt được cùng một giải pháp.
Học tập có giám sát có thể hoạt động tốt khi có rất nhiều dữ liệu được dán nhãn một cách siêng năng, bằng cách xác định các bức ảnh có mèo, chó hoặc các vật phẩm khác trong đó. Nhưng phương pháp này thường không hoạt động trong thế giới chatbot. Bảng điểm được dán nhãn từ hàng ngàn giờ của các cuộc trò chuyện giữa người với người thực sự rất khó tìm thấy với số lượng lớn và rất tốn kém cho một công ty duy nhất tạo ra.
Liên quan: Để hiểu trí tuệ nhân tạo năm 2019, hãy xem chương trình truyền hình năm 1960 này
Vì rất khó để dạy các chatbot cách có các cuộc hội thoại bằng các phương pháp cũ hơn này, các nhà nghiên cứu đã tìm kiếm các giải pháp thay thế cho việc học có giám sát để cho các mạng thần kinh tự học từ dữ liệu mà không cần con người trong vòng lặp.
Một cách để cắt giảm nhu cầu về dữ liệu đào tạo là dạy cho máy một mức độ cơ bản của lẽ thường. Nếu một máy tính có một số hiểu biết về thế giới, như kích thước tương đối của các vật thể, cách mọi người sử dụng chúng và một số kiến thức về cách các định luật vật lý tác động đến chúng, thì nó có thể thu hẹp lựa chọn của nó chỉ trong phạm vi khả năng .
Mọi người làm điều này một cách tự nhiên. Chẳng hạn, giả sử bạn đang lái xe bên cạnh một vách đá dựng đứng và đột nhiên nhìn thấy một tảng đá lớn trên con đường phía trước. Bạn muốn tránh va vào đá. Nhưng khi xem xét các lựa chọn của bạn, bạn sẽ không bao giờ quyết định thực hiện một bước ngoặt bất ngờ về phía vách đá. Bạn biết chiếc xe sẽ rơi dữ dội vào những tảng đá bên dưới, vì trọng lực.
Yann LeCun [Ảnh: lịch sự của Facebook]
Phần lớn việc học mà chúng ta làm. . . Theo quan sát của thế giới, ông cho biết, VP VP và nhà khoa học AI chính của Yann LeCun, một huyền thoại trong lĩnh vực AI , người đã giải quyết những thách thức lớn nhất của nó kể từ những năm 1980. Chúng tôi học được rất nhiều điều từ cha mẹ và những người khác, nhưng chúng tôi cũng học được rất nhiều chỉ bằng cách tương tác với thế giới, thông qua thử và thất bại và sửa chữa.
AI được đào tạo sử dụng kỹ thuật này, được gọi là học tập không giám sát, hoạt động theo cách tương tự. Chẳng hạn, một chiếc xe tự trị thu thập dữ liệu về thế giới thông qua nhiều cảm biến và camera, giống như một đứa trẻ học về thế giới thông qua năm giác quan của mình. Với phương pháp này, các nhà khoa học cung cấp cho máy một lượng lớn dữ liệu đào tạo để nhai lại. Họ không yêu cầu nó tạo ra một câu trả lời đúng hoặc dỗ nó theo một mục tiêu nhất định. Thay vào đó, họ yêu cầu nó chỉ xử lý và học hỏi từ dữ liệu, tìm các mẫu và ánh xạ mối quan hệ giữa các điểm dữ liệu khác nhau.
Trong nhiều trường hợp, dữ liệu cần thiết này rất khó để có được. Nhưng có một lĩnh vực của AI nơi mạng lưới thần kinh có thể tìm hiểu rất nhiều về thế giới mà không cần cảm biến: xử lý ngôn ngữ tự nhiên. Các nhà nghiên cứu có thể sử dụng một lượng lớn văn bản hiện có để giúp các thuật toán hiểu thế giới con người, đó là một phần cần thiết của việc hiểu ngôn ngữ.
Giả sử một mạng lưới thần kinh được cung cấp hai cụm từ này để hiểu:
Cúp vô địch không vừa trong vali vì nó quá lớn.
Cúp vô địch không vừa trong vali vì nó quá nhỏ.
Để biết rằng, nó được đề cập đến những điều khác nhau trong mỗi câu, người mẫu cần biết điều gì đó về các vật thể trên thế giới và mối quan hệ của chúng với nhau. LeCun có đủ cấu trúc trong văn bản mà họ đang được đào tạo để biết rằng khi bạn có một vật thể phù hợp với một vật thể khác, thì một trong số chúng không thể phù hợp nếu nó quá lớn, LeCun nói.
Kỹ thuật này có thể trở thành bí mật cho một thế hệ mới của các chatbot Facebook hữu ích và trò chuyện hơn.
GẶP BERT VÀ ROBERTA
Những tiến bộ hiện tại trong việc đào tạo các hệ thống ngôn ngữ tự nhiên không giám sát đã bắt đầu tại Google vào năm 2018. Các nhà nghiên cứu của nó đã tạo ra một mô hình học tập sâu, được gọi là BERT (Đại diện bộ mã hóa hai chiều từ Transformers) và đưa ra văn bản không được giám sát từ 11.038 cuốn sách cùng với 2,5 tỷ từ từ các mục Wikipedia tiếng Anh. Các nhà nghiên cứu đã ngẫu nhiên che dấu một số từ nhất định trong văn bản và thách thức người mẫu tìm ra cách điền chúng vào.
Sau khi mạng lưới thần kinh phân tích toàn bộ văn bản đào tạo, nó tìm thấy các mẫu từ và câu thường xuất hiện trong cùng một ngữ cảnh, giúp nó hiểu các mối quan hệ cơ bản giữa các từ. Và vì các từ là đại diện của các đối tượng hoặc khái niệm trong thế giới thực, mô hình đã học được nhiều thứ hơn là chỉ mối quan hệ ngôn ngữ giữa các từ: Nó bắt đầu hiểu cách các đối tượng liên quan với nhau.
BERT không phải là mô hình đầu tiên sử dụng phương pháp không giám sát để đào tạo máy tính để hiểu ngôn ngữ của con người. Nhưng nó là người đầu tiên tìm hiểu nghĩa của một từ trong ngữ cảnh của nó.
Tôi sẽ nói rằng đó là một trong hai hoặc ba bước đột phá lớn nhất trong xử lý ngôn ngữ tự nhiên, theo ông Jianfeng Gao, một nhà quản lý nghiên cứu đối tác trong Deep Learning Group của Microsoft Research. Bạn thấy mọi người sử dụng mô hình này làm cơ sở mới để xây dựng tất cả các mô hình xử lý ngôn ngữ tự nhiên khác. Cho đến nay, bài nghiên cứu BERT có hơn 1.000 trích dẫn học thuật như các nhà nghiên cứu khác đã xây dựng trên mô hình của Google.
Liên quan: Sự thúc đẩy quyền riêng tư của Facebook khiến Messenger trở thành tâm điểm chú ý nhưng cạm bẫy rất nhiều
LeCun và nhóm của anh ấy nằm trong số đó. Họ đã xây dựng phiên bản mô hình của riêng mình, sau đó thực hiện một số điều chỉnh tối ưu hóa, mở rộng đáng kể lượng dữ liệu đào tạo và tăng thời gian đào tạo cho phép. Sau khi mạng lưới thần kinh đã chạy hàng tỷ phép tính, mô hình ngôn ngữ của Facebook, được gọi là RoBERTa, đã hoạt động tốt hơn đáng kể so với mô hình của Google. Nó đã chứng minh mức độ chính xác 88,5% so với BERT, đạt 80,5%.
BERT và RoBERTa đại diện cho một cách tiếp cận hoàn toàn mới để dạy máy tính cách trò chuyện. LeCun cho biết, trong quá trình thực hiện việc này, hệ thống phải thể hiện ý nghĩa của các từ mà nó nhìn thấy, cấu trúc của câu, ngữ cảnh. Kết quả là, nó học được ngôn ngữ là gì, điều này thật kỳ lạ bởi vì nó không biết gì về thực tế vật lý của thế giới. Nó không có tầm nhìn, nó không có thính giác, nó không có gì cả. Tất cả những gì nó biết là ngôn ngữ, chữ, và câu.
GẦN HƠN VỚI MỘT CUỘC TRÒ CHUYỆN THỰC SỰ
LeCun cho biết một mô hình ngôn ngữ tự nhiên được đào tạo bằng BERT hoặc RoBERTa vẫn không có nhiều ý nghĩa thông thường, chỉ đủ để bắt đầu tạo ra các phản hồi trò chuyện dựa trên nền tảng kiến thức chung. Đó thực sự chỉ là khởi đầu của quá trình đào tạo một thuật toán để nói chuyện như một người.
Các nhà nghiên cứu ngôn ngữ tự nhiên của Facebook cũng đang cố gắng xây dựng nhiều tính năng hơn của cuộc trò chuyện trên nền tảng của RoBERTa. Họ bắt đầu bằng cách nghiên cứu các cuộc trò chuyện thực tế của con người với chatbot để hiểu cách thức và thời điểm cuộc trò chuyện có thể bị phá vỡ hoặc trở nên nhàm chán. Phát hiện của họ đã thúc đẩy nghiên cứu đề xuất các cách đào tạo bot để tránh các loại thất bại phổ biến nhất của cuộc trò chuyện.
Chẳng hạn, các chatbot thường mâu thuẫn với nhau vì họ không nhớ lại những gì họ đã nói trong một cuộc trò chuyện. Một chatbot có thể tuyên bố tình yêu của nó dành cho Hiệp sĩ Rider chạy lại một phút và nói rằng nó không thích chương trình truyền hình tiếp theo. Các chatbot tạo phản hồi ban đầu của riêng họ (thay vì lấy các ví dụ từ dữ liệu huấn luyện) có xu hướng trả lời các câu hỏi theo những cách mơ hồ để tránh mắc lỗi. Họ thường có vẻ điếc về mặt cảm xúc, khiến họ ít tham gia hơn.
Chatbots cũng phải có khả năng kêu gọi kiến thức để trở thành những người giao tiếp thú vị. Những người có thể rút ra một loạt thông tin đa dạng có nhiều khả năng duy trì các cuộc trò chuyện lâu hơn với con người. Nhưng các chatbot hiện tại được đào tạo kiến thức từ một khu vực duy nhất tương ứng với nhiệm vụ mà bot được thiết kế để thực hiện, điều này trở thành một vấn đề khi con người bắt đầu bình luận về các chủ đề nằm ngoài miền của bot. Ví dụ, hỏi một bot giao bánh pizza về bất kỳ chủ đề nào khác ngoài pizza và cuộc trò chuyện sẽ nhanh chóng kết thúc.
Liên quan: Cách tạo chatbot thực sự đáng nói
Là một thuốc giải độc, các nhà nghiên cứu của Facebook đã làm việc để đào tạo các mô hình ngôn ngữ tự nhiên để thu thập dữ liệu từ nhiều lĩnh vực kiến thức và đưa thông tin vào luồng hội thoại theo cách tự nhiên. Nghiên cứu trong tương lai sẽ tập trung vào việc dạy các bot khi nào và làm thế nào để điều khiển cuộc trò chuyện từ một chủ đề chung trở lại một nhiệm vụ cụ thể.
Một trong những thách thức lớn nhất của việc phát triển chatbot là cho phép họ tiếp tục học hỏi sau khi chúng được triển khai. Ý nghĩa của từ có thể thay đổi theo thời gian, và các thuật ngữ và tiếng lóng mới trở nên quan trọng về mặt văn hóa. Đồng thời, một chatbot không thể quá gợi ý, chatbot Tay của Tây đã học quá sớm từ các cuộc trò chuyện trực tuyến và biến thành một kẻ phân biệt chủng tộc xúc phạm trong vòng 24 giờ . Facebook đang dạy các chatbot thử nghiệm của mình để học hỏi từ khi cuộc trò chuyện diễn ra tốt đẹp và phân tích ngôn ngữ của một đối tác trò chuyện của con người để khám phá xem một bot đã nói điều gì đó ngớ ngẩn hay nhàm chán.
Sẽ rất nguy hiểm khi dự đoán khi những tiến bộ mà Facebook đang thực hiện trong phòng thí nghiệm có thể dẫn đến các chatbot nhắn tin có thể tham gia vào một cuộc đối thoại với kỹ năng giống như con người hời hợt. Nhưng nó có thể không lâu đến khi chúng ta có thể tự đánh giá kết quả. Jason Weston, nhà nghiên cứu của Facebook cho biết, chúng tôi tin rằng chúng tôi rất gần với việc có một bot nơi mọi người có thể nói chuyện với bot và thấy giá trị của nó.
Nhận xét
Đăng nhận xét