“Tôi nghĩ rằng nó cho phép chúng ta suy nghĩ kỹ hơn và phản ánh nhiều hơn về các vấn đề an toàn,” Altman nói. “Một phần trong chiến lược của chúng tôi là: thay đổi gia tăng trên thế giới tốt hơn là thay đổi đột ngột.” Hoặc, như Phó chủ tịch OpenAI Mira Moratti đã nói, khi tôi hỏi cô ấy về công việc của nhóm bảo mật hạn chế quyền truy cập mở vào phần mềm, “Nếu chúng ta định học cách triển khai những công nghệ mạnh mẽ này, hãy bắt đầu khi tiền đặt cọc còn rất thấp. . ”

Trong khi chính GPT-3 Chạy trên 285.000 lõi CPU tại một cụm siêu máy tính ở Iowa, OpenAI hoạt động ngoài khu vực Mission của San Francisco, trong một nhà máy sản xuất hành lý được tân trang lại. Vào tháng 11 năm ngoái, tôi đã gặp Ilya Sotskefer ở đó, cố gắng tìm ra lời giải thích của một giáo dân về cách GPT-3 thực sự hoạt động.

“Đó là ý tưởng cơ bản của GPT-3,” Sotskever chăm chú nói, cúi người về phía trước trên ghế. Anh ấy có một cách trả lời câu hỏi khá thú vị: Một số câu mở đầu sai – “Tôi có thể cung cấp cho bạn một mô tả gần giống với mô tả mà bạn đã yêu cầu” – bị ngắt quãng bởi những khoảng dừng dài trầm ngâm, như thể anh ấy đang lập biểu đồ cho toàn bộ câu trả lời đang diễn ra.

Cuối cùng, ông nói: “ Ý tưởng cơ bản của GPT-3 là một cách liên hệ khái niệm trực quan về khả năng hiểu với một thứ có thể được đo lường và hiểu một cách máy móc, và đó là nhiệm vụ dự đoán từ tiếp theo trong văn bản. Các dạng trí tuệ nhân tạo khác cố gắng mã hóa thông tin về thế giới: chiến lược đánh cờ của các bậc thầy vĩ đại, các nguyên tắc khí hậu học. Nhưng trí thông minh GPT-3, nếu là từ chỉ trí thông minh, thì nó xuất phát từ dưới lên: thông qua động từ nguyên tố để dự đoán từ tiếp theo. Đối với đào tạo GPT-3, mô hình được đưa ra một “lời nhắc” — chẳng hạn như một vài câu hoặc đoạn văn bản từ một bài báo hoặc một cuốn tiểu thuyết hoặc một bài báo khoa học — và sau đó được yêu cầu đề xuất một danh sách các từ có thể có. có thể hoàn thành trình tự, được sắp xếp theo xác suất. Trong giai đoạn đầu của quá trình đào tạo, những từ được đề xuất là vô nghĩa. Hỏi thuật toán với một câu như “Người viết đã xóa từ cuối cùng khỏi từ đầu tiên…” Và đoán sẽ là một dòng vô nghĩa: danh sách – từ còn thiếu chính xác xuất hiện: “đoạn văn.” Sau đó, chương trình củng cố và làm suy yếu bất kỳ kết nối thần kinh ngẫu nhiên nào tạo ra đề xuất cụ thể đó Tất cả các kết nối tạo ra các dự đoán không chính xác. Sau đó, nó sẽ chuyển sang bộ định tuyến tiếp theo. Theo thời gian, với đủ số lần lặp lại, chương trình sẽ học.

Trở lại vào tháng 1, OpenAI đã thêm một tính năng cho phép người dùng đưa ra hướng dẫn GPT-3 trực tiếp dưới dạng lời nhắc, thay vì chỉ yêu cầu họ mở rộng một đoạn văn bản mẫu. Ví dụ: khi sử dụng chế độ Trợ giúp, GPT-3 đã từng được nhắc: “Viết một bài luận thảo luận về vai trò của siêu hư cấu trong công việc của Italo Calvino.” Một đoạn ngắn bắt đầu như sau:

Tác giả người Ý Italo Calvino được coi là một chuyên gia về siêu hư cấu, một thể loại viết trong đó tác giả phá vỡ bức tường thứ tư để thảo luận về hành động viết của chính mình. Đối với Calvino, siêu hư cấu là một cách khám phá bản chất của thực tế và những cách mà câu chuyện có thể hình thành nhận thức của chúng ta về thế giới. Tiểu thuyết của ông thường liên quan đến các cấu trúc vui tươi và mê cung thao túng ranh giới giữa thực và ảo. Ví dụ, trong trường hợp nếu khách du lịch đang ở vào một đêm mùa đông, người đọc liên tục bị gián đoạn bởi các cuộc thảo luận ở cấp độ meta của hành động đọc và bản chất của việc kể chuyện. . . .

Bạn có thể đưa ra lời nhắc giống hệt nhau, lặp đi lặp lại GPT-3 và mỗi lần nó sẽ tạo ra một phản hồi duy nhất, một số thuyết phục hơn những người khác nhưng hầu như tất cả đều rất đơn giản. Những lời nhắc có thể có dưới mọi hình thức: “Cho tôi danh sách tất cả các thành phần trong nước sốt Bolognese”, “Viết một bài thơ về một ngôi làng bên bờ biển của Pháp theo phong cách John Ashbery”, “Giải thích vụ nổ Big Bang bằng ngôn ngữ kéo dài 8 năm -dạ hiểu. ”Vào thời điểm vài lần đầu tiên tôi sử dụng các kích thích GPT-3 kiểu này, tôi cảm thấy thực sự nổi da gà chạy dọc sống lưng. từ tiếp theo.

Nhưng AI đã có một lịch sử lâu dài trong việc tạo ra ảo tưởng về trí thông minh hoặc sự hiểu biết mà không thực sự cung cấp hàng hóa. tại giấy thảo luận nhiều Được công bố vào năm ngoái, giáo sư ngôn ngữ học Emily Bender của Đại học Washington, cựu nhà nghiên cứu Google Timnit Gebru và một nhóm đồng tác giả đã tuyên bố rằng các mô hình ngôn ngữ lớn chỉ là ‘những con vẹt ngẫu nhiên’: nghĩa là chương trình đang sử dụng ngẫu nhiên chỉ để trộn lại các câu được viết bởi con người. Bender gần đây đã nói với tôi qua email: “Những gì đã thay đổi không phải là một số bước trên một ngưỡng nhất định đối với ‘trí tuệ nhân tạo”. Thay vào đó, cô ấy nói, những gì đã thay đổi là’ phần cứng, phần mềm và những đổi mới kinh tế cho phép tích lũy và xử lý lượng lớn tập hợp dữ liệu ‘- cũng như văn hóa Công nghệ mà “những người xây dựng và bán những thứ như vậy có thể có” còn lâu mới xây dựng nó trên nền tảng của dữ liệu không chính xác.’ ‘