Robot cảm nhận và hành động như thế nào?

Camera và cảm biến giúp robot nhận biết môi trường. Thông tin đó thường có nhiễu, vì vậy robot cần ước lượng vị trí của chính nó và vật xung quanh.

Perception trích xuất thông tin từ camera, lidar hoặc cảm biến khác. Localization ước lượng pose trong một hệ tọa độ. Cần theo dõi timestamp và frame để ghép đúng các quan sát.

Sai số calibration, đồng bộ thời gian và phép biến đổi giữa các frame có thể gây lỗi hệ thống dù detector tốt. Theo dõi uncertainty của state estimate và thử nghiệm bằng log trước khi điều khiển phần cứng.

Bạn muốn robot đi tới một điểm, nhưng đường đi có thể có vật cản. Bộ lập kế hoạch tìm đường, còn bộ điều khiển biến đường đó thành lệnh chuyển động.

Planner chọn quỹ đạo hoặc đường đi theo ràng buộc. Controller dùng sai số trạng thái để tạo lệnh. Hai khối hoạt động ở các tốc độ khác nhau và cần cơ chế dừng khi đầu vào không còn đáng tin cậy.

Phân tách global planning và local control giúp kiểm tra từng thành phần. Kiểm soát độ trễ, giới hạn vận tốc và freshness của dữ liệu; tránh đánh giá toàn hệ thống chỉ bằng thành công của một lần demo.

Bắt đầu trong mô phỏng và môi trường kiểm soát. Kiểm tra xem robot làm gì khi cảm biến bị thiếu hoặc đường đi bị chặn.

Tách các bài kiểm thử: cảm biến, perception, planner và controller. Dùng recorded data cho perception; dùng simulation cho tương tác. Khi chạy thật, cần người giám sát và cơ chế dừng phù hợp.

Phân tích failure mode giữa simulation và thực tế: ma sát, trễ và nhiễu có thể khác. Ghi log inputs, state, command và thời điểm để tái hiện lỗi; xác định điều kiện được phép thử phần cứng.

Camera thấy vật thể ở bên trái ảnh, nhưng cánh tay cần vị trí trong hệ tọa độ của nó. Nếu bỏ qua quan hệ giữa hai hệ, robot có thể đi sai hướng dù camera nhận đúng vật thể. Tương tự, một quan sát cũ không nhất thiết mô tả hiện tại.

Mỗi thông điệp perception nên ghi timestamp và frame. Dùng calibration để đổi tọa độ camera sang robot base; controller kiểm tra tuổi quan sát và giới hạn lệnh trước khi thực thi. Observation là dữ liệu đo; state estimate kết hợp dữ liệu với mô hình và có độ bất định.

Với quy ước vector cột, $p_{base}=T_{base\leftarrow camera}p_{camera}$ trong tọa độ đồng nhất. Composition phải cùng hướng frame và cùng đơn vị. Một transform chính xác nhưng dùng timestamp sai vẫn tạo sai số khi robot đang chuyển động.

Latency budget gồm capture, transport, perception, planning và actuation. Thiết kế điều kiện từ chối dữ liệu stale và trạng thái dừng phù hợp trước khi thử trên phần cứng; demo thành công một lần không xác nhận an toàn tổng thể.