Nhà nghiên cứu AI Andrej Karpathy đã gây "chấn động" khi để một tác tử AI coding chạy 700 thử nghiệm liên tục trong hai ngày, tìm ra 20 cách tối ưu hóa quá trình huấn luyện mô hình ngôn ngữ Zing News.
Thử nghiệm gây chấn động giới AI
Tóm tắt bởi AI
1 nguồnĐiểm chính
- AI coding tìm ra 20 cách tối ưu hóa huấn luyện mô hình ngôn ngữ [1]
- Thử nghiệm 'autoresearch' tăng hiệu suất huấn luyện lên 11% [1]
- Tác tử AI thực hiện 700 thử nghiệm liên tục trong 2 ngày [1]
Thử nghiệm "autoresearch" của Andrej Karpathy
Thí nghiệm của Andrej Karpathy, một nhà nghiên cứu AI nổi tiếng, tập trung vào việc cải thiện quá trình huấn luyện mô hình ngôn ngữ nhỏ Zing News. Tác tử AI coding đã thực hiện 700 thử nghiệm khác nhau, liên tục trong hai ngày Zing News. Kết quả, hệ thống đã tìm ra 20 phương pháp tối ưu hóa Zing News.
Tối ưu hóa hiệu suất huấn luyện
Các phương pháp tối ưu hóa này được gọi là "autoresearch" Zing News. Khi áp dụng cho mô hình ngôn ngữ lớn hơn, "autoresearch" giúp tăng hiệu suất huấn luyện lên 11% Zing News.
Ứng dụng thực tế
Tobias Lütke, CEO của Shopify, đã thử nghiệm "autoresearch" để tối ưu hóa một mô hình AI dựa trên dữ liệu nội bộ của công ty Zing News.
Nghe tóm tắt
Tính năng nghe audio — sắp ra mắt
