Nhìn một cánh tay robot gắp sản phẩm từ bàn và đặt vào hộp, chúng ta chỉ thấy một hành động kéo dài vài giây.
Nhưng bên trong vài giây đó là một chuỗi xử lý liên tục giữa camera, cảm biến, AI và hệ thống điều khiển robot.
Có thể hình dung nó giống cách con người làm việc: mắt nhìn – não xử lý – cơ thể hành động.
1. Perception – giúp robot “nhìn”
Đầu tiên robot phải biết xung quanh mình có gì.
Công việc này thường được gọi là Perception, có thể hiểu đơn giản là khả năng nhận biết môi trường.
Camera RGB ghi lại hình ảnh giống camera thông thường.
Trong một số bài toán, người ta sử dụng thêm Depth Camera – camera có khả năng đo khoảng cách. Nhờ đó hệ thống không chỉ biết “đây là một chiếc hộp”, mà còn biết chiếc hộp cách camera bao xa.
Một số hệ thống có thể kết hợp thêm LiDAR, cảm biến lực, encoder hoặc những cảm biến khác tùy nhiệm vụ.
Dữ liệu từ nhiều cảm biến đôi khi được kết hợp với nhau. Kỹ thuật này thường được gọi là Sensor Fusion – hợp nhất dữ liệu cảm biến.
Camera → RGB Image + Depth → Object Detection → 3D Position
2. AI biến hình ảnh thành thông tin robot có thể sử dụng
Camera chỉ tạo ra dữ liệu.
AI mới là phần giúp hệ thống hiểu dữ liệu đó.
Ví dụ camera nhìn thấy một chiếc cốc. Mô hình thị giác máy tính có thể xác định:
Object: Cup
Position: (x, y, z)
Orientation: hướng của chiếc cốc
Confidence: mức độ chắc chắn của kết quả nhận dạng
Ba giá trị x, y, z có thể hiểu đơn giản là tọa độ của vật thể trong không gian ba chiều.
Robot lúc này không còn nhìn thấy một bức ảnh.
Nó có một thông tin cụ thể hơn:
“Có một chiếc cốc ở vị trí này.”
3. Planning – robot phải nghĩ xem nên làm thế nào
Biết vị trí chiếc cốc vẫn chưa đủ.
Robot phải tính đường đi của cánh tay để tới đó mà không đập vào bàn hay những vật thể xung quanh.
Đây là bài toán Motion Planning – lập kế hoạch chuyển động.
Hệ thống có thể phải tính:
Robot đang ở đâu? → Đích ở đâu? → Có vật cản không? → Đi theo quỹ đạo nào?
Sau khi có quỹ đạo, hệ thống điều khiển mới gửi lệnh xuống các động cơ ở từng khớp của robot.
Camera/Sensor → Perception → AI Model → Planning → Robot Controller → Motor / Robot Arm
Đây là phiên bản đơn giản của một pipeline Physical AI.
4. Nhưng robot lấy đâu ra khả năng này?
Đây mới là phần khó.
Chúng ta không thể viết thủ công tất cả tình huống:
“Nếu cốc nằm bên trái thì làm A.”
“Nếu cốc quay 30 độ thì làm B.”
“Nếu có hộp chắn phía trước thì làm C.”
Thế giới thực có quá nhiều biến số.
Vì vậy, một hướng quan trọng của robotics hiện đại là để robot học từ dữ liệu và trải nghiệm, thay vì lập trình riêng cho từng tình huống.
Dữ liệu đó có thể đến từ camera, cảm biến, robot thực, con người điều khiển robot hoặc môi trường mô phỏng. Các quy trình robot hiện đại cũng kết hợp thu thập demonstration, huấn luyện policy, đánh giá trong simulation rồi mới triển khai lên robot thật.
Đây cũng là lý do việc thu thập dữ liệu Physical AI không đơn giản là “quay thật nhiều video”.
Video cần gắn được với hành động.
Camera thấy gì? Robot đang ở trạng thái nào? Cánh tay di chuyển ra sao? Gripper – bộ phận dùng để kẹp đồ vật – đang mở hay đóng?
Khi những thông tin đó được đồng bộ theo thời gian, chúng ta bắt đầu có một bộ dữ liệu mà robot có thể học từ đó.
Và câu hỏi tiếp theo sẽ thú vị hơn:
Robot thực sự học những dữ liệu này bằng cách nào?
Đó là câu chuyện của Imitation Learning, VLA, Simulation và Sim-to-Real.