Đại học Stanford xếp hạng các mô hình AI lớn về tính minh bạch

Chúng ta biết bao nhiêu về trí tuệ nhân tạo?

Câu trả lời khi nói đến các mô hình ngôn ngữ lớn được phát hành bởi các công ty như OpenAI, Google và Meta trong năm qua: về cơ bản là không có gì.

Các công ty này thường không công bố thông tin về dữ liệu được sử dụng để đào tạo mô hình của họ hoặc phần cứng họ sử dụng để chạy chúng. Không có hướng dẫn sử dụng cho hệ thống AI, cũng như không có danh sách mọi thứ mà hệ thống này có thể làm hoặc các loại thử nghiệm an toàn mà chúng đã trải qua. Mặc dù một số mô hình AI đã trở thành nguồn mở – nghĩa là mã của chúng được cung cấp miễn phí – nhưng công chúng vẫn chưa biết nhiều về quá trình tạo ra chúng hoặc điều gì xảy ra sau khi chúng được phát hành.

Tuần này, các nhà nghiên cứu của Đại học Stanford tiết lộ một hệ thống tính điểm mà họ hy vọng sẽ thay đổi tất cả.

Hệ thống được gọi là Chỉ báo minh bạch cho mô hình cơ sởxếp hạng 10 mô hình chính của ngôn ngữ AI—đôi khi được gọi là “mô hình cốt lõi”—theo mức độ minh bạch của chúng.

Chỉ mục này bao gồm các mô hình phổ biến như GPT-4 từ OpenAI (hỗ trợ phiên bản trả phí của ChatGPT), PaLM 2 từ Google (hỗ trợ Bard) và LLaMA 2 từ Meta. Nó cũng bao gồm các mô hình ít được biết đến hơn như Titan Text của Amazon và Inflection AI’s Inflection. -1,Mô hình chạy chatbot Pi.

Để đạt được bảng xếp hạng, các nhà nghiên cứu đã đánh giá từng mô hình dựa trên 100 tiêu chí, bao gồm cả việc liệu nhà sản xuất có tiết lộ nguồn dữ liệu đào tạo hay không, thông tin về phần cứng được sử dụng, nhân công tham gia đào tạo và các chi tiết khác. Bảng xếp hạng cũng bao gồm thông tin về lao động và dữ liệu được sử dụng để tạo ra mô hình, cùng với những gì các nhà nghiên cứu gọi là “chỉ số hạ nguồn”, liên quan đến cách mô hình sẽ được sử dụng sau khi nó được phát hành. (Ví dụ: một câu hỏi được đặt ra là: “Nhà phát triển có tiết lộ các giao thức lưu trữ, truy cập và chia sẻ dữ liệu người dùng không?”)

READ  Lược sử về các trò chơi bất bại (không chủ ý)

Theo các nhà nghiên cứu, mô hình minh bạch nhất trong số mười mô hình là LLaMA 2, với tỷ lệ đánh giá là 54%. GPT-4 có điểm minh bạch cao thứ ba, ở mức 40%, cùng điểm minh bạch với PaLM 2.

Percy Liang, người đứng đầu Trung tâm Nghiên cứu Mô hình Cơ bản của Stanford, gọi dự án là phản ứng cần thiết trước tình trạng suy giảm tính minh bạch trong ngành AI. Ông nói, với việc tiền đổ vào AI và các công ty công nghệ lớn nhất đang tranh giành quyền thống trị, xu hướng mới nhất của nhiều công ty là che giấu bí mật của mình.

Ông Liang nói: “Ba năm trước, mọi người đã xuất bản và tiết lộ thêm thông tin chi tiết về các mô hình của họ. “Hiện tại, không có thông tin nào về những mô hình này là gì, chúng được chế tạo như thế nào và chúng được sử dụng ở đâu”.

Tính minh bạch hiện nay đặc biệt quan trọng khi các mô hình trở nên mạnh mẽ hơn và hàng triệu người tích hợp các công cụ AI vào cuộc sống hàng ngày của họ. Biết nhiều hơn về cách thức hoạt động của các hệ thống này sẽ giúp các cơ quan quản lý, nhà nghiên cứu và người dùng hiểu rõ hơn về những gì họ đang giải quyết và cho phép họ đặt câu hỏi hay hơn về các công ty đằng sau mô hình.

Ông Liang nói: “Có một số quyết định khá quan trọng được đưa ra về việc xây dựng những mô hình này nhưng chưa được chia sẻ”.

Tôi thường nghe thấy một trong ba câu trả lời phổ biến từ các giám đốc điều hành AI khi tôi hỏi họ tại sao họ không chia sẻ công khai thêm thông tin về mô hình của mình.

READ  Người dùng Google Play Points được giảm giá 40% cho Pixel 8, 8 Pro và máy tính bảng

Đầu tiên là kiện tụng. Một số công ty AI đã bị các tác giả, nghệ sĩ và công ty truyền thông kiện, cáo buộc họ sử dụng trái phép các tác phẩm có bản quyền để đào tạo mô hình AI của họ. Cho đến nay, hầu hết các vụ kiện đều nhắm vào các dự án AI nguồn mở hoặc các dự án đã tiết lộ thông tin chi tiết về mô hình của họ. (Xét cho cùng, thật khó để kiện một công ty vì đã ăn tác phẩm nghệ thuật của bạn nếu bạn không biết mình đã ăn tác phẩm nghệ thuật nào.) Luật sư tại các công ty AI lo lắng rằng càng nói nhiều về cách xây dựng mô hình của họ thì họ càng dễ gặp phải một vụ kiện tụng tốn kém và khó chịu.

Phản ứng phổ biến thứ hai là cạnh tranh. Hầu hết các công ty AI tin rằng mô hình của họ thành công vì họ có một loại nước sốt bí mật nào đó – bộ dữ liệu chất lượng cao mà các công ty khác không có, kỹ thuật tinh chỉnh để tạo ra kết quả tốt hơn và một số tối ưu hóa mang lại lợi thế cho họ. Họ cho rằng nếu bạn buộc các công ty AI tiết lộ những công thức nấu ăn này, bạn sẽ khiến họ từ bỏ trí tuệ khó kiếm được của mình cho các đối thủ cạnh tranh, những người có thể dễ dàng bắt chước họ.

Câu trả lời thứ ba tôi thường nghe nhất là sự an toàn. Một số chuyên gia AI lập luận rằng các công ty AI càng tiết lộ nhiều thông tin về mô hình của họ thì AI sẽ tiến bộ càng nhanh – bởi vì mỗi công ty sẽ thấy tất cả các đối thủ cạnh tranh của mình đang làm gì và sẽ ngay lập tức cố gắng vượt qua họ bằng cách xây dựng một hệ thống tốt hơn, lớn hơn, nhanh hơn. người mẫu. Những người này nói rằng điều đó sẽ khiến xã hội có ít thời gian hơn để quản lý AI và làm chậm nó, điều này có thể khiến tất cả chúng ta gặp rủi ro nếu AI trở nên quá mạnh mẽ và quá nhanh.

READ  Bản dựng Windows 11 Insider: Có gì mới?

Các nhà nghiên cứu tại Đại học Stanford không tin những lời giải thích này. Họ tin rằng cần phải tạo áp lực buộc các công ty AI phải công bố càng nhiều thông tin càng tốt về các mô hình mạnh mẽ, bởi vì người dùng, nhà nghiên cứu và cơ quan quản lý cần nhận thức được cách thức hoạt động của các mô hình này, hạn chế của chúng và mức độ nguy hiểm của chúng.

Rishi Bomasani, một trong những nhà nghiên cứu cho biết: “Khi ảnh hưởng của công nghệ này tăng lên thì tính minh bạch sẽ giảm đi”.

Tôi đồng ý. Các mô hình cơ bản quá mạnh nên không thể mơ hồ, và càng biết nhiều về các hệ thống này, chúng ta càng hiểu rõ những mối đe dọa mà chúng có thể gây ra, những lợi ích mà chúng có thể mang lại hoặc cách chúng có thể được tổ chức.

Nếu các giám đốc điều hành AI lo lắng về các vụ kiện, họ có thể phải đấu tranh để được miễn trừ sử dụng hợp pháp để bảo vệ khả năng sử dụng thông tin có bản quyền để đào tạo mô hình của họ thay vì che giấu bằng chứng. Nếu họ lo ngại về việc tiết lộ bí mật thương mại cho đối thủ cạnh tranh, họ có thể tiết lộ các loại thông tin khác hoặc bảo vệ ý tưởng của mình thông qua bằng sáng chế. Và nếu họ lo lắng về việc bắt đầu một cuộc chạy đua vũ trang AI… à, chẳng phải chúng ta đã tham gia một cuộc đua rồi sao?

Chúng ta không thể thực hiện cuộc cách mạng AI trong bóng tối. Chúng ta cần nhìn vào bên trong hộp đen của trí tuệ nhân tạo nếu muốn cho phép nó thay đổi cuộc sống của chúng ta.

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *