Học máy
International Conference on Learning Representations
LỊCH HỘI NGHỊ
BÀI BÁO
Bài báo nghiên cứu mức độ cô đọng của Transformer khi biểu diễn ngôn ngữ hình thức. Các chứng minh so sánh kích thước biểu diễn với automata và logic thời gian, đồng thời chỉ ra độ khó của việc kiểm chứng mô hình.
Nghiên cứu kiểm tra vì sao mô hình ngôn ngữ gặp khó khăn khi yêu cầu được cung cấp qua nhiều lượt hội thoại. Phương pháp mô phỏng tách năng lực giải bài toán khỏi độ tin cậy và phân tích ảnh hưởng của những giả định hình thành quá sớm.
Polar Express giải bài toán phân rã cực của ma trận trong bộ tối ưu Muon. Phương pháp chọn đa thức qua bài toán minimax, sử dụng phép nhân ma trận phù hợp GPU và phân tích sai số trong tính toán độ chính xác hữu hạn.
Bài báo phân tích hiện tượng căn chỉnh an toàn chỉ tập trung vào vài token đầu của câu trả lời. Các thí nghiệm và mục tiêu fine-tuning có điều chuẩn khảo sát cách kéo dài hành vi an toàn và hạn chế sự suy giảm sau fine-tuning.
In-Run Data Shapley đánh giá đóng góp của dữ liệu đối với một lần huấn luyện cụ thể. Phương pháp tích lũy giá trị Shapley của các bước cập nhật gradient, tránh phải huấn luyện lại mô hình trên nhiều tập con dữ liệu.
SAM 2 mở rộng phân đoạn theo prompt từ ảnh sang video. Kiến trúc Transformer với bộ nhớ dạng streaming kết hợp quy trình thu thập dữ liệu có tương tác, giúp theo dõi vùng được chỉ định qua các khung hình.