Theo báo cáo từ Microsoft, Microsoft đang nghiên cứu một mô hình ngôn ngữ AI quy mô lớn mới có tên MAI-1, có thể cạnh tranh với các mô hình mới nhất của Google, Anthropic và OpenAI. thông tin. Đây là lần đầu tiên Microsoft phát triển một mô hình AI nội bộ ở quy mô này kể từ khi đầu tư hơn 10 tỷ USD vào OpenAI để có quyền tái sử dụng các mô hình AI của công ty khởi nghiệp này. GPT-4 của OpenAI không chỉ hỗ trợ ChatGPT mà còn cả Microsoft Copilot.

Sự phát triển của MAI-1 đang được dẫn dắt bởi Mustafa Soliman, cựu lãnh đạo AI của Google, người gần đây nhất giữ chức vụ Giám đốc điều hành của công ty khởi nghiệp AI Inflection trước khi Microsoft mua lại phần lớn nhân viên và tài sản trí tuệ của công ty khởi nghiệp này với giá 650 triệu USD vào tháng 3. Mặc dù MAI-1 có thể dựa trên các công nghệ do các cựu nhân viên Inflection mang đến, nhưng nó được cho là một mô hình ngôn ngữ lớn (LLM) hoàn toàn mới, như đã được xác nhận bởi hai nhân viên Microsoft quen thuộc với dự án.

Với gần 500 tỷ tham số, MAI-1 sẽ lớn hơn nhiều so với các mô hình nguồn mở trước đây của Microsoft (chẳng hạn như Phi-3 mà chúng tôi đã đề cập vào tháng trước), đòi hỏi nhiều sức mạnh tính toán và dữ liệu đào tạo hơn. Điều này được cho là đã đưa MAI-1 vào một đẳng cấp tương tự như GPT-4 của OpenAI, tức là… tin đồn Cho hơn một nghìn tỷ thông số (trong sự kết hợp của các chuyên gia) và cao hơn nhiều so với các mô hình nhỏ hơn như mô hình Meta và Mistral với 70 tỷ thông số.

Sự phát triển của MAI-1 báo hiệu một cách tiếp cận kép đối với AI trong Microsoft, tập trung vào các mô hình ngôn ngữ nhỏ chạy cục bộ cho thiết bị di động và các mô hình mới hơn, lớn hơn chạy trên nền tảng đám mây. Apple được cho là đang khám phá một cách tiếp cận tương tự. Nó cũng nêu bật mong muốn của công ty trong việc khám phá sự phát triển AI độc lập với OpenAI, công nghệ hiện đang hỗ trợ các tính năng AI đầy tham vọng nhất của Microsoft, bao gồm cả chatbot được tích hợp trong Windows.

Theo một nguồn thông tin, mục đích chính xác của MAI-1 vẫn chưa được xác định (ngay cả trong Microsoft) và việc sử dụng tối ưu nó sẽ phụ thuộc vào hiệu suất của nó. Để đào tạo mô hình, Microsoft đã dành riêng một cụm máy chủ lớn có GPU Nvidia và thu thập dữ liệu đào tạo từ nhiều nguồn khác nhau, bao gồm văn bản được tạo bởi GPT-4 của OpenAI và dữ liệu Internet công cộng.

Tùy thuộc vào tiến độ trong những tuần tới, thông tin cho thấy Microsoft có thể xem trước MAI-1 ngay tại hội nghị Nhà phát triển Xây dựng vào cuối tháng này, theo báo cáo của một trong những nguồn được bài đăng trích dẫn.