Not All Tokens Are What You Need for Pretraining

Rho-1 đặt câu hỏi liệu mọi token có đóng góp như nhau khi pretraining. Selective Language Modeling dùng mô hình tham chiếu chấm điểm token và tập trung hàm mất mát vào những token phù hợp với phân phối mục tiêu.

Rho-1 đặt câu hỏi liệu mọi token có đóng góp như nhau khi pretraining. Selective Language Modeling dùng mô hình tham chiếu chấm điểm token và tập trung hàm mất mát vào những token phù hợp với phân phối mục tiêu.

Khi đọc bài gốc, hãy xác định bài toán, đầu vào, đầu ra và giả định của phương pháp.

Rho-1 đặt câu hỏi liệu mọi token có đóng góp như nhau khi pretraining. Selective Language Modeling dùng mô hình tham chiếu chấm điểm token và tập trung hàm mất mát vào những token phù hợp với phân phối mục tiêu.

Đối chiếu baseline, dữ liệu, giao thức đánh giá và ablation trong bài gốc. Mục giới thiệu này không cung cấp một đánh giá độc lập hoặc bảng kết quả thực nghiệm.