Agent chạy xong chưa chắc đã làm đúng

Có một cảm giác rất dễ chịu khi nhìn một quy trình tự động chạy hết từ đầu đến cuối. Các bước lần lượt chuyển sang màu xanh, không có cảnh báo, không có dòng lỗi nào hiện ra, cuối cùng là một dấu tích báo rằng mọi thứ đã hoàn thành. Chỉ cần nhìn vào đó, chúng ta rất dễ thở phào và nghĩ: vậy là xong.

Với những quy trình tự động kiểu cũ, cảm giác yên tâm ấy phần lớn là có cơ sở. Máy được giao một chuỗi việc khá rõ: lấy dữ liệu ở đây, kiểm tra điều kiện kia, tính toán theo công thức có sẵn rồi ghi kết quả sang một nơi khác. Nếu một bước quan trọng bị hỏng, hệ thống thường sẽ dừng lại hoặc ít nhất cũng để lại một dấu hiệu đủ rõ để người vận hành biết rằng có chuyện không ổn.

Nhưng khi AI bắt đầu xuất hiện ở giữa quy trình, mọi thứ trở nên thú vị hơn và cũng khó đoán hơn. Một AI Agent — có thể hiểu đơn giản là AI được giao mục tiêu rồi tự đọc thông tin, chọn công cụ và thực hiện nhiều bước để hoàn thành công việc — không chỉ làm theo một công thức cứng. Nó còn phải hiểu, lựa chọn và đôi khi tự suy luận xem bước tiếp theo nên là gì.

Chính khả năng đó làm AI hữu ích. Nhưng cũng chính khả năng đó tạo ra một kiểu lỗi khá lạ: hệ thống có thể chạy hết, nhìn hoàn toàn bình thường, nhưng kết quả cuối cùng vẫn sai.

Dấu tích màu xanh chỉ nói rằng bài đã được nộp

Hãy thử hình dung một học sinh làm bài kiểm tra. Em ấy làm đủ mười câu, viết kín hai mặt giấy, không bỏ sót câu nào và nộp bài đúng giờ. Nếu chỉ theo dõi quá trình, mọi thứ đều hoàn hảo: bắt đầu đúng lúc, làm đủ việc, kết thúc đúng hạn. Nhưng chúng ta đều hiểu rằng “đã nộp bài” và “làm đúng bài” là hai chuyện khác nhau.

Tôi thấy AI Agent cũng gần giống như vậy. Khi hệ thống báo đã hoàn thành, điều chắc chắn nhất mà ta biết chỉ là nó đã đi đến cuối quy trình. Còn việc nó có hiểu đúng yêu cầu hay không, có lấy đúng dữ liệu hay không, có suy luận hợp lý hay không thì cần một lớp kiểm tra khác.

Ví dụ, ta giao cho AI đọc một báo cáo quảng cáo rồi tìm nguyên nhân vì sao hiệu quả giảm. AI có thể mở đúng tệp, đọc được dữ liệu, viết một bản phân tích khá mạch lạc, lưu thành tài liệu rồi gửi lại cho người phụ trách. Không bước nào lỗi cả. Thậm chí bản phân tích còn có thể trông rất thuyết phục.

Nhưng chỉ cần AI lấy nhầm khoảng thời gian, bỏ qua một thay đổi trong cách đo lường hoặc hiểu sai vai trò của một chiến dịch, kết luận phía sau đã có thể lệch. Cái khó là những sai lệch như vậy không nhất thiết đi kèm với tiếng còi báo động. Không có dòng chữ đỏ nào bật lên để nói rằng “đoạn này đang sai”. Đôi khi cái sai được trình bày rất tròn trịa, có mở đầu, có lý lẽ, có kết luận và vì thế càng dễ được tin.

Đó là lúc tôi thấy một câu hỏi cũ không còn đủ nữa. Trước đây ta thường hỏi: “Quy trình có chạy ổn không?”. Với AI, có lẽ phải hỏi thêm: “Kết quả có đúng không, và mình biết nó đúng bằng cách nào?”

Quy trình tự động truyền thống thường giống một công thức nấu ăn. Nếu có nguyên liệu A thì làm bước B, nếu thiếu dữ liệu thì dừng, nếu không truy cập được thì báo lỗi. Tất nhiên công thức vẫn có thể được viết sai ngay từ đầu, nhưng ít nhất chiếc máy sẽ lặp lại cái sai ấy khá đều đặn và dễ đoán.

AI thì khác. Nó có thêm một khoảng tự do để diễn giải. Có lúc chính khoảng tự do ấy giúp nó xử lý được những việc trước đây phải cần con người. Nhưng cũng vì có khoảng tự do đó, ta không thể chỉ nhìn vào việc “máy đã chạy hết chưa” để đánh giá hệ thống có đáng tin hay không.

Có lẽ nên cho AI được sai ở nơi hậu quả còn nhỏ

Có một ý tôi thấy ngày càng quan trọng khi nghĩ về AI Agent: đừng để lần đầu nó mắc sai lầm là lúc đang làm việc thật với dữ liệu thật, khách hàng thật và tiền thật.

Điều này nghe giống chuyện học lái xe. Không ai mong một người mới tập lái sẽ không bao giờ đạp nhầm, đánh lái chậm hay xử lý lúng túng. Vì vậy người ta thường tập ở một nơi ít xe, tốc độ thấp và hậu quả còn kiểm soát được. Không phải vì bãi tập giống hệt đường phố, mà vì đó là nơi phù hợp để những sai lầm đầu tiên xuất hiện.

Với AI cũng vậy. Nếu AI chỉ tóm tắt một tài liệu để tham khảo, việc nó hiểu lệch một ý có thể chưa gây hậu quả lớn. Nhưng khi AI được quyền gửi thư cho khách hàng, thay đổi dữ liệu, điều chỉnh ngân sách quảng cáo, đăng nội dung công khai hoặc thực hiện một hành động khó hoàn tác, mỗi sai lệch nhỏ đều có thể đi xa hơn nhiều.

Trước khi trao những quyền như vậy, có thể để AI làm việc trên bản sao dữ liệu thay vì bản thật, tạo thư ở dạng bản nháp thay vì gửi ngay, đề xuất thay đổi thay vì tự áp dụng, hoặc chạy qua những tình huống giả lập mà ta cố tình cài vào vài vấn đề khó chịu. Cách làm cụ thể không quan trọng bằng một nguyên tắc: hãy tìm hiểu xem AI thường sai ở đâu trước khi cho nó quyền gây ra hậu quả lớn.

Đây cũng là lý do tôi không còn quá tin vào những bản trình diễn chỉ chạy trên dữ liệu đẹp. Trong một buổi giới thiệu, mọi thứ thường được chuẩn bị rất sạch: tên tệp rõ ràng, dữ liệu đủ, không có ô trống, yêu cầu được viết cẩn thận và các nguồn thông tin không mâu thuẫn với nhau. Trong hoàn cảnh như vậy, một Agent rất dễ trông thông minh.

Công việc thật thì hiếm khi tử tế như thế. Có ngày dữ liệu đến muộn, có người đổi tên tệp, có hai báo cáo cho hai con số khác nhau, có một cột mới xuất hiện hoặc có người viết yêu cầu chỉ bằng một câu rất mơ hồ. Những lúc ấy, điều đáng quan tâm không chỉ là AI có cố làm tiếp được không, mà là nó có biết dừng lại khi chưa đủ chắc chắn hay không.

Tôi ngày càng đánh giá cao một hệ thống biết nói “chưa đủ dữ liệu để kết luận”. Một câu trả lời như vậy nghe không ấn tượng bằng một bản phân tích dài và tự tin, nhưng trong nhiều tình huống nó đáng tin hơn rất nhiều. Biết mình không chắc đôi khi là một năng lực quan trọng hơn việc lúc nào cũng có câu trả lời.

Vì thế, khi kiểm tra một Agent, có lẽ không cần biến mọi thứ thành một bảng điểm quá phức tạp ngay từ đầu. Chỉ cần quan sát vài điều rất cơ bản: nó có dùng đúng dữ liệu không, có hiểu đúng việc được giao không, kết luận có thật sự đi ra từ thông tin đang có không, hành động có nằm trong giới hạn được phép không và quan trọng nhất là nó có biết khi nào nên dừng lại để hỏi người hay không.

Những câu hỏi đó nghe đơn giản, nhưng chúng thay đổi khá nhiều cách ta thiết kế hệ thống. Ta bắt đầu hiểu rằng không phải việc nào cũng nên giao cho AI với cùng một mức quyền. Có việc sai một chút cũng không sao và có thể làm lại rất nhanh; có việc chỉ nên để AI đề xuất; cũng có việc cần một người xác nhận trước khi nút cuối cùng được bấm.

Điều này không có nghĩa con người phải đứng sau AI để duyệt từng bước. Nếu mọi thứ đều phải kiểm tra bằng tay thì tự động hóa cũng mất phần lớn ý nghĩa. Cái cần thiết hơn là đặt con người vào đúng chỗ: những nơi mà một quyết định sai có thể ảnh hưởng đến tiền, khách hàng, dữ liệu quan trọng hoặc những thứ khó lấy lại như cũ.

Từ “chạy được” đến “dùng được” còn một khoảng khá xa

Một điều nữa tôi thấy dễ bị bỏ quên là khi AI làm sai, ta phải có cách nhìn lại xem nó đã đi qua những bước nào. Nếu hệ thống chỉ ghi một dòng “đã hoàn thành”, lần sau khi kết quả có vấn đề chúng ta gần như chỉ còn cách đoán.

Một nhật ký hoạt động đủ rõ sẽ hữu ích hơn rất nhiều. Không nhất thiết phải lưu mọi thứ vô hạn, nhưng ít nhất cần biết AI đã nhận yêu cầu gì, dùng nguồn nào, gọi công cụ nào, thực hiện hành động gì và ở chỗ nào nó phải tự suy đoán. Khi biết đường đi, ta mới có cơ hội hiểu vì sao kết quả cuối cùng lệch.

Nếu không có những dấu vết ấy, việc sửa AI rất dễ trở thành một vòng lặp kỳ lạ: thấy nó sai một lần thì thêm một câu hướng dẫn, lần sau sai kiểu khác lại thêm một câu nữa. Phần hướng dẫn ngày càng dài nhưng ta vẫn không thật sự biết vấn đề nằm ở dữ liệu, ở cách giao việc, ở công cụ hay ở việc ta đã trao cho AI một mục tiêu quá mơ hồ.

Có một nghịch lý khá thú vị ở đây. AI càng làm được nhiều việc, con người càng không cần chỉ cho nó từng cú bấm; nhưng đồng thời, ranh giới lại càng phải rõ hơn. Ta có thể để AI tự tìm cách đi, nhưng phải nói rõ nó đang đi về đâu, được phép dùng gì, việc nào được tự quyết, lúc nào phải dừng và thế nào mới được xem là một kết quả đủ tốt.

Tôi nghĩ đây là phần ít hào nhoáng nhất của câu chuyện AI. Một màn trình diễn đẹp thường khiến người ta chú ý đến việc hệ thống có thể tự làm được bao nhiêu bước. Còn một hệ thống dùng được lâu dài lại phụ thuộc nhiều vào những thứ không mấy ấn tượng: cách kiểm tra kết quả, giới hạn quyền, nhật ký hoạt động, điểm cần con người xác nhận và khả năng phát hiện khi AI không chắc chắn.

Có lẽ vì vậy mà sau một thời gian nhìn các quy trình có AI tham gia, câu hỏi trong đầu tôi cũng thay đổi. Tôi vẫn muốn biết nó có chạy ổn hay không, nhưng điều đó chỉ còn là bước đầu. Sau dấu tích màu xanh, tôi muốn biết thêm ba chuyện: nó có làm đúng không, mình biết điều đó bằng cách nào, và nếu nó sai thì mình có phát hiện trước khi hậu quả đi quá xa không.

Ba câu hỏi ấy làm câu chuyện về AI bớt “kỳ diệu” đi một chút, nhưng lại khiến nó thực tế hơn. Bởi cuối cùng, một hệ thống chạy được trước mặt mọi người trong vài phút chưa chắc đã là một hệ thống có thể giao việc mỗi ngày. Khoảng cách giữa hai thứ đó nằm ở khả năng kiểm tra, giới hạn và học từ những lần sai.

Và có lẽ với AI Agent, dấu tích màu xanh không nên là dấu chấm hết. Nó chỉ là dấu hiệu cho biết một phần việc đã xong, còn câu hỏi quan trọng hơn vẫn ở phía sau: xong rồi, nhưng có đúng không?