To Grok Grokking: Provable Grokking in Ridge Regression

Bài báo chứng minh hiện tượng khái quát hóa xuất hiện muộn trong ridge regression. Phân tích gradient descent với weight decay liên hệ thời gian trì hoãn với siêu tham số và khảo sát cách điều chỉnh chúng để làm mạnh hoặc loại bỏ grokking.

Bài báo chứng minh hiện tượng khái quát hóa xuất hiện muộn trong ridge regression. Phân tích gradient descent với weight decay liên hệ thời gian trì hoãn với siêu tham số và khảo sát cách điều chỉnh chúng để làm mạnh hoặc loại bỏ grokking.

Khi đọc bài gốc, hãy xác định bài toán, đầu vào, đầu ra và giả định của phương pháp.

Bài báo chứng minh hiện tượng khái quát hóa xuất hiện muộn trong ridge regression. Phân tích gradient descent với weight decay liên hệ thời gian trì hoãn với siêu tham số và khảo sát cách điều chỉnh chúng để làm mạnh hoặc loại bỏ grokking.

Đối chiếu baseline, dữ liệu, giao thức đánh giá và ablation trong bài gốc. Mục giới thiệu này không cung cấp một đánh giá độc lập hoặc bảng kết quả thực nghiệm.