Attention is All you Need
Transformer dùng attention để mô hình hóa chuỗi mà không cần mạng hồi quy hoặc tích chập.
Học máy
NeurIPS
Conference on Neural Information Processing Systems
LỊCH HỘI NGHỊ
Các kỳ hội nghị
BÀI BÁO
Bài báo theo năm
1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
Giải Best Paper chính thức · NguồnBài báo khảo sát việc tăng độ sâu mạng trong học tăng cường tự giám sát theo mục tiêu. Các thí nghiệm locomotion và manipulation phân tích cách kiến trúc sâu, kết nối residual và quy mô huấn luyện ảnh hưởng đến hành vi đạt mục tiêu.
Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
Giải Best Paper chính thức · NguồnNghiên cứu phân biệt thời điểm mô hình diffusion bắt đầu sinh mẫu hữu ích và thời điểm ghi nhớ dữ liệu huấn luyện. Thí nghiệm cùng mô hình random features phân tích cách động lực học tối ưu tạo ra một khoảng huấn luyện có khả năng khái quát hóa.
Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators
Giải Best Paper chính thức · NguồnSTDE xử lý chi phí tính các toán tử vi phân bậc cao trong mạng neural. Phương pháp kết hợp Taylor-mode automatic differentiation với ngẫu nhiên hóa phép co tensor để ước lượng toán tử, phục vụ các bài toán như physics-informed neural networks.