250.000 cuộc hội thoại Claude hé lộ cách con người đang làm việc với AI

Một hệ thống AI chạy trơn tru chưa chắc là một hệ thống tốt.

Đôi khi chính những lúc AI hiểu sai, buộc chúng ta phải giải thích lại, kiểm tra lại giả định và tự hỏi mình thực sự muốn gì mới là lúc chất lượng công việc được cải thiện.

Đó là một trong những điều thú vị nhất tôi rút ra từ nghiên cứu mới của nhóm Social and Language Technologies (SALT) Lab tại Stanford trên 249.834 cuộc hội thoại thực tế với Claude.

Nghiên cứu không chỉ hỏi người dùng đang dùng AI để viết nội dung, code hay tìm thông tin. Họ đi vào ba câu hỏi khó hơn:

1. Con người đang mang loại công việc nào đến cho AI?
2. Khi làm cùng AI, con người còn giữ bao nhiêu quyền kiểm soát?
3. Khi hai bên “lệch sóng”, chuyện gì xảy ra và người dùng xử lý thế nào?

Kết quả cho thấy một bức tranh khá khác với hình dung đơn giản rằng AI chủ yếu được dùng để xử lý việc vặt.

Người dùng đã đưa cả những công việc có ảnh hưởng thật và khó đảo ngược vào AI. Nhưng khi mức độ quan trọng tăng, họ thường tương tác nhiều hơn, chỉnh đầu ra nhiều hơn và giữ quyền điều hướng nhiều hơn — chứ không đơn giản giao toàn bộ việc cho máy.

Và đây là phần quan trọng nếu chúng ta đang xây AI Agent, workflow tự động hay ứng dụng AI trong Marketing: mục tiêu không nên là loại bỏ con người khỏi quy trình bằng mọi giá. Mục tiêu nên là đặt con người đúng chỗ.

Tóm tắt nhanh

Nếu chỉ giữ lại vài ý từ nghiên cứu này, tôi sẽ giữ 6 điểm:

1. AI không còn chỉ được dùng cho việc ít hậu quả. Khoảng 56% các cuộc hội thoại có tác vụ được nghiên cứu nằm ở mức “consequential” trở lên; khoảng 12% được xếp vào nhóm high-stakes.
2. Việc càng quan trọng, người dùng càng tham gia sâu hơn. Hội thoại high-stakes trung bình khoảng 12,4 lượt, so với 6,5 lượt ở nhóm tác vụ ít hậu quả.
3. Con người vẫn đang dẫn dắt phần lớn quá trình. Khoảng 72% hội thoại thuộc kiểu human-led: người dùng giữ trách nhiệm chính, Claude hỗ trợ.
4. Người dùng thường sửa đầu ra AI thay vì dùng nguyên văn. Ở nhóm công việc consequential, “adaptation” là kiểu tương tác phổ biến nhất và đạt khoảng 60%.
5. Ma sát rất phổ biến. Friction xuất hiện trong khoảng 49,7% hội thoại, nhưng nhiều trường hợp lại giúp người dùng làm rõ mục tiêu hoặc sửa cách tiếp cận.
6. AI đang đóng vai trò dạy và hỗ trợ học khá nhiều. Nghiên cứu ghi nhận hành vi “teaching” trong khoảng 67% hội thoại, dù lợi ích học tập không phân bố đồng đều.

Những con số này không có nghĩa “56% mọi người dùng AI trên thế giới đang giao việc quan trọng cho AI”. Đây là dữ liệu từ một mẫu người dùng Claude trong một khoảng thời gian cụ thể. Phần giới hạn nghiên cứu tôi sẽ quay lại ở cuối bài.

Vì sao nghiên cứu này đáng chú ý?

Một vấn đề lớn khi nghiên cứu AI hiện nay là dữ liệu sử dụng thực tế thường nằm trong tay chính các công ty AI.

Nhà nghiên cứu bên ngoài có hai lựa chọn không hoàn hảo:

• dùng dữ liệu công khai, nhưng dữ liệu đó có thể thiên về những cuộc hội thoại casual, thử nghiệm hoặc không phản ánh công việc thật;
• hoặc đọc các phân tích do chính phòng lab công bố, nhưng khi đó câu hỏi nghiên cứu vẫn chủ yếu do công ty lựa chọn.

Anthropic thử một hướng khác: cho ba nhóm nghiên cứu độc lập tự thiết kế câu hỏi, sau đó chạy chúng trên dữ liệu sử dụng Claude thông qua Anthropic Insights, công cụ phân tích bảo vệ quyền riêng tư của hãng.

Ba nhóm gồm Stanford SALT Lab, Human Information Processing Lab tại Oxford và METR. Mỗi nhóm phân tích khoảng 250.000 cuộc hội thoại Claude.ai hoặc Claude Code trong giai đoạn tháng 4–5/2026.

Các nhà nghiên cứu không được đọc raw conversation, user ID hay organization ID. Họ chỉ nhận dữ liệu tổng hợp theo các nhóm ngữ nghĩa. Anthropic sau đó công khai chính các đầu ra tổng hợp này trên Hugging Face.

Với nghiên cứu Stanford, câu hỏi trung tâm không phải “Claude giỏi tới đâu”, mà là con người và AI đang phối hợp với nhau ra sao trong công việc thật.

Đây là lý do tôi thấy nghiên cứu này đặc biệt hữu ích khi nghĩ về AI Agent và Automation.

1. Người dùng đã đưa công việc có hậu quả thật vào AI

Một giả định khá tự nhiên trong giai đoạn đầu của GenAI là:

Việc đơn giản thì giao cho AI; việc quan trọng thì con người tự làm.

Dữ liệu Stanford cho thấy ranh giới đó đang mờ đi.

Trong các hội thoại có actionable task, khoảng 56% được xếp ở mức consequential trở lên, nghĩa là kết quả có thể ảnh hưởng đến người khác hoặc không dễ sửa lại sau đó. Khoảng 12% nằm ở nhóm high-stakes.

Các lĩnh vực tư vấn chuyên môn như pháp lý và tài chính có mức criticality cao hơn nhiều nhóm khác.

Nhưng điều đáng chú ý hơn là cách người dùng phản ứng khi mức độ hậu quả tăng.

Họ không đơn giản “tin AI hơn”. Ngược lại, họ đầu tư nhiều công sức hơn vào quá trình làm việc với AI.

Hội thoại high-stakes trung bình dài khoảng 12,4 lượt, gần gấp đôi mức 6,5 lượt của nhóm ephemeral — những việc ngắn hạn, ít hậu quả.

Người dùng cũng cung cấp yêu cầu cụ thể hơn và thêm bối cảnh dần trong quá trình tương tác.

Điều này gợi ý gì cho AI workflow?

Trong công việc thực tế, mức độ quan trọng của tác vụ nên ảnh hưởng trực tiếp đến cách thiết kế workflow.

Ví dụ trong Marketing:

• Nhờ AI tạo 20 biến thể headline là tác vụ dễ sửa, hậu quả thấp.
• Nhờ AI phân tích nguyên nhân CPA tăng đã có rủi ro cao hơn vì một kết luận sai có thể dẫn đến quyết định sai.
• Cho AI tự thay đổi ngân sách campaign qua API lại là một cấp khác, vì hành động đã tác động trực tiếp đến tiền và hệ thống production.
• Cho AI tự gửi email tới khách hàng, ghi dữ liệu vào CRM hoặc xóa record cũng có tính không đảo ngược cao hơn việc chỉ tạo bản nháp.

Vì vậy, khi nói “AI có thể làm việc này”, tôi nghĩ cần thêm một câu nữa:

AI có nên được quyền tự thực hiện việc này hay không?

Hai câu hỏi nghe giống nhau, nhưng về vận hành là hai bài toán hoàn toàn khác.

2. Human-led vẫn là trạng thái phổ biến

Nghiên cứu Stanford xây một thang đo về Human–AI Agency để xem ai đang giữ quyền điều hướng và trách nhiệm chính trong quá trình hoàn thành công việc.

Khoảng 72% hội thoại thuộc nhóm H4, nơi con người là bên dẫn dắt và chịu trách nhiệm chính, còn AI cung cấp hỗ trợ đáng kể.

Đây là điểm đáng chú ý vì rất nhiều cuộc thảo luận về AI Agent hiện nay thường hình dung tương lai theo hướng:

Human giao mục tiêu → Agent tự chạy → Human chỉ nhận kết quả.

Dữ liệu thực tế trong nghiên cứu này cho thấy cách dùng phổ biến hơn vẫn là:

Human định hướng → AI hỗ trợ → Human đọc, sửa, bổ sung → AI tiếp tục → Human quyết định.

Khi mức độ quan trọng tăng, người dùng cũng ít có xu hướng sử dụng nguyên văn đầu ra AI hơn.

Kiểu tương tác adaptation — lấy đầu ra của AI rồi chỉnh lại cho phù hợp với bối cảnh — đạt khoảng 60% ở nhóm consequential tasks. Trong khi đó, việc dùng trực tiếp output giảm khi stakes tăng.

Điều này có ý nghĩa lớn với cách đánh giá năng suất AI.

Nếu chỉ đo:

“AI tạo bản đầu nhanh hơn bao nhiêu?”

thì chúng ta có thể bỏ qua phần công việc thật sự nằm ở phía sau:

• kiểm tra dữ liệu;
• sửa claim;
• điều chỉnh theo business context;
• phát hiện trường hợp ngoại lệ;
• quyết định xem đầu ra có đáng dùng hay không.

Trong nhiều workflow, AI không thay hoàn toàn người làm. Nó dịch chuyển vai trò của con người từ tạo ra từng chi tiết sang định hướng, kiểm tra và phán đoán.

3. Friction không phải lúc nào cũng là lỗi cần loại bỏ

Một phát hiện tôi thấy đặc biệt thú vị: friction xuất hiện trong khoảng 49,7% hội thoại.

Friction ở đây có thể là:

• AI hiểu sai yêu cầu;
• AI gặp giới hạn khả năng;
• người dùng mô tả vấn đề chưa đủ rõ;
• hai bên lặp đi lặp lại mà chưa hội tụ;
• câu trả lời không phù hợp khiến người dùng phải sửa cách yêu cầu.

Theo phản xạ thiết kế sản phẩm thông thường, friction thường được xem là thứ cần giảm càng nhiều càng tốt.

Nhưng nghiên cứu Stanford cho thấy có một lớp productive friction — ma sát có ích.

Ví dụ:

Người dùng đưa yêu cầu chưa rõ → AI hiểu sai → người dùng nhận ra mục tiêu của mình chưa đủ cụ thể → bổ sung bối cảnh → kết quả sau tốt hơn.

Hoặc:

AI đưa ra một kết luận → người dùng phản biện → AI phải giải thích hoặc sửa lại → người dùng hiểu vấn đề sâu hơn.

Người dùng cố gắng phục hồi khi gặp friction trong khoảng 78,7% trường hợp. Các chiến lược như làm rõ yêu cầu, sửa lỗi cụ thể hoặc thách thức lập luận của mô hình thường giúp cuộc hội thoại quay lại đúng hướng.

Vì sao điều này quan trọng với thiết kế Agent?

Khi xây Agent, rất dễ bị hấp dẫn bởi ý tưởng:

Càng ít hỏi con người càng tốt.

Nhưng có những câu hỏi của Agent là một phần của kiểm soát chất lượng.

Ví dụ:

• “Khoảng thời gian nào được xem là chuẩn so sánh?”
• “Anh đang ưu tiên ROAS hay số lượng khách hàng mới?”
• “Nguồn dữ liệu nào là source of truth?”
• “Hai nguồn hiện đang mâu thuẫn, tôi nên dừng hay ưu tiên nguồn nào?”
• “Hành động này sẽ sửa dữ liệu production. Có tiếp tục không?”

Nếu Agent tự đoán để giữ trải nghiệm “mượt”, hệ thống có thể nhanh hơn nhưng rủi ro cũng tăng.

Trong một số workflow quan trọng, dừng đúng lúc tốt hơn chạy hết quy trình.

4. AI có thể giúp học — nhưng cũng có thể làm con người bớt suy nghĩ

Stanford tìm thấy hành vi AI hỗ trợ “teaching” trong khoảng 67% hội thoại.

Teaching ở đây không chỉ là một người vào Claude để học môn học. Nó còn xuất hiện khi AI giải thích code, hướng dẫn quy trình, phân tích một khái niệm hoặc giúp người dùng hiểu lý do phía sau một quyết định.

Đây là một mặt tích cực của AI: nó có thể biến nhiều công việc thành cơ hội học ngay trong lúc làm.

Nhưng nghiên cứu cũng đặt ra một câu hỏi khó hơn:

AI đang làm con người giỏi hơn, hay chỉ đang thay con người thực hiện phần khó?

Hai người có thể cùng dùng AI mỗi ngày nhưng kết quả dài hạn rất khác nhau.

Người A:

Đưa yêu cầu → lấy output → dùng luôn → xong việc.

Người B:

Tự hình thành giả thuyết → nhờ AI phản biện → hỏi lý do → kiểm chứng nguồn → sửa lại → rút bài học.

Trong ngắn hạn, cả hai đều có thể nhanh hơn trước.

Nhưng trong dài hạn, người B đang dùng AI như một lớp mở rộng khả năng suy nghĩ, còn người A có nguy cơ biến AI thành phần thay thế cho chính năng lực cần được rèn luyện.

Nghiên cứu có một số tín hiệu cho thấy cách sử dụng AI để học và hiểu sâu không phân bố đồng đều giữa các nhóm người dùng. Đây là mối tương quan đáng theo dõi, nhưng chưa nên diễn giải thành quan hệ nhân quả.

5. Từ nghiên cứu đến thực hành: một khung 4 câu hỏi trước khi giao quyền cho AI

Phần dưới đây không phải framework của Stanford. Đây là cách tôi chuyển các phát hiện của nghiên cứu thành một khung đơn giản để áp dụng khi thiết kế AI workflow.

Trước khi quyết định một bước nào đó cho AI tự chạy, hãy hỏi 4 câu:

Câu 1 — Nếu AI sai, hậu quả lớn đến đâu?

Phân biệt giữa:

• sai một bản nháp;
• sai một phân tích;
• sai một quyết định;
• sai một hành động đã tác động production.

Hậu quả càng lớn, quyền tự chủ càng nên thấp.

Câu 2 — Hành động có dễ đảo ngược không?

Ví dụ:

• tạo draft: rất dễ quay lại;
• ghi thêm một dòng log: khá dễ sửa;
• gửi email tới khách hàng: khó thu hồi;
• thay ngân sách quảng cáo: đã tác động thật;
• xóa dữ liệu: có thể không thể phục hồi.

Reversibility là một biến rất hữu ích khi quyết định Agent được phép làm tới đâu.

Câu 3 — Có bằng chứng để kiểm tra đầu ra không?

AI làm tốt hơn khi chúng ta có cách xác nhận nó đúng hay sai.

Ví dụ:

• tổng số phải khớp nguồn;
• campaign name phải tồn tại;
• URL phải thuộc danh sách được phép;
• claim phải có nguồn;
• file export phải qua validation;
• báo cáo phải khớp kỳ dữ liệu.

Nếu không có ground truth hoặc test rõ, việc tự động hóa sâu sẽ khó kiểm soát hơn.

Câu 4 — Ai chịu trách nhiệm quyết định cuối cùng?

Nếu câu trả lời vẫn là một con người cụ thể, workflow phải để người đó có đủ:

• thông tin;
• bằng chứng;
• quyền dừng;
• lịch sử thay đổi;
• cách rollback.

Nếu không biết ai chịu trách nhiệm khi Agent sai, hệ thống chưa đủ rõ để tăng quyền tự chủ.

Ma trận gợi ý: AI nên tự chạy đến đâu?

Loại tác vụ	Hậu quả	Khả năng đảo ngược	Quyền AI gợi ý
Tạo ý tưởng, nháp nội dung	Thấp	Cao	Có thể tự chạy
Phân tích dữ liệu, đề xuất hành động	Trung bình	Cao	AI làm, người kiểm tra
Sửa dữ liệu, thay cấu hình, gửi thông tin ra ngoài	Cao	Trung bình/thấp	Bắt buộc checkpoint
Chi tiền, xóa dữ liệu, quyết định pháp lý/tài chính	Rất cao	Thấp	AI tư vấn; con người quyết định

Đây không phải quy tắc tuyệt đối. Nhưng nó giúp chuyển câu hỏi từ:

“Có tự động hóa được không?”

sang:

“Mức tự chủ nào phù hợp với rủi ro của bước này?”

6. 5 nguyên tắc tôi sẽ dùng khi thiết kế AI Agent cho Marketing

Từ nghiên cứu này, tôi thấy có 5 nguyên tắc thực hành đáng giữ lại.

1. Tách rõ Analyze → Recommend → Act

Đừng cho một Agent vừa phân tích, vừa kết luận, vừa tự hành động ngay từ phiên bản đầu.

Nên tách quyền:

Đọc dữ liệu → Phân tích → Đề xuất → Phê duyệt → Thực thi.

Khi hệ thống chứng minh được độ ổn định, mới xem xét gộp bớt checkpoint.

2. Đánh giá chất lượng đầu ra, không chỉ trạng thái “Success”

Một workflow có thể chạy hết, không báo lỗi, nhưng vẫn:

• lấy sai khoảng thời gian;
• đọc sai metric;
• bịa nguyên nhân;
• dùng nguồn cũ;
• chọn sai campaign;
• gửi đề xuất không phù hợp mục tiêu kinh doanh.

Vì vậy execution success không đồng nghĩa task success.

Cần có eval hoặc QA cho chính chất lượng kết quả.

3. Cho phép Agent dừng khi thiếu dữ liệu

Agent tốt không phải Agent luôn trả lời.

Một số trạng thái hợp lệ nên là:

• thiếu nguồn;
• dữ liệu mâu thuẫn;
• confidence thấp;
• ngoài phạm vi quyền;
• cần con người xác nhận.

Trong hệ thống có hậu quả thật, “BLOCKED” đôi khi là output đúng nhất.

4. Giữ log, evidence và rollback

Khi Agent có quyền tác động công cụ, cần biết:

• nó đã đọc gì;
• đã quyết định dựa trên rule nào;
• đã thay đổi cái gì;
• kết quả trước và sau;
• ai phê duyệt;
• cách hoàn tác.

Nếu một thay đổi production không thể audit lại, quyền tự chủ đang đi nhanh hơn governance.

5. Đừng loại bỏ mọi friction

Một checkpoint có thể làm workflow chậm thêm 30 giây nhưng tránh một quyết định sai kéo dài nhiều ngày.

Một câu hỏi làm rõ có thể khiến trải nghiệm bớt “magical” nhưng giúp Agent hiểu đúng mục tiêu.

Một bước kiểm tra nguồn có thể giảm số lượng output nhưng tăng độ tin cậy.

Tối ưu workflow không phải tối ưu số bước ít nhất. Tối ưu là giảm những bước không tạo giá trị nhưng giữ lại những điểm ma sát giúp kiểm soát rủi ro và chất lượng.

Nghiên cứu này có giới hạn gì?

Đây là phần rất quan trọng trước khi dùng những con số trên để kết luận rộng.

1. Đây là dữ liệu Claude, không phải toàn bộ thị trường AI

Mẫu nghiên cứu gồm các cuộc hội thoại Claude.ai hoặc Claude Code trong một cửa sổ thời gian cố định tháng 4–5/2026.

Hành vi người dùng ChatGPT, Gemini, Copilot hay các hệ thống doanh nghiệp có thể khác.

2. Đây là snapshot, không phải xu hướng dài hạn

Nghiên cứu cho thấy một thời điểm cụ thể. Khi model, UX và hành vi người dùng thay đổi, tỷ lệ có thể thay đổi.

3. Việc phân loại vẫn dựa vào AI

Anthropic Insights dùng Claude để đánh giá conversation theo những câu hỏi do researcher thiết kế rồi mới tổng hợp kết quả.

Điều này bảo vệ quyền riêng tư, nhưng tạo ra một rủi ro phương pháp: câu hỏi viết chưa tốt có thể tạo cluster gây hiểu lầm.

Anthropic thừa nhận một facet của nghiên cứu Oxford đã bị loại hoàn toàn vì họ nghi prompt được diễn đạt không tốt.

4. Researcher không đọc raw conversation

Đây vừa là điểm mạnh về privacy, vừa là giới hạn trong validation. Một số lỗi phân loại sẽ khó phát hiện vì không thể quay lại đọc từng hội thoại gốc.

5. Hành vi không đồng nghĩa kết quả đúng

Việc người dùng tương tác nhiều hơn với AI trong high-stakes task không chứng minh rằng quyết định cuối cùng tốt hơn.

Nghiên cứu mô tả cách con người làm việc với AI, không phải chứng minh AI luôn cải thiện chất lượng quyết định.

Vì vậy câu kết luận phù hợp hơn là:

Người dùng đang đưa AI sâu hơn vào công việc có hậu quả, nhưng đồng thời có xu hướng tăng mức tham gia và kiểm soát khi stakes tăng.

Chứ không nên biến nó thành:

“AI đã đủ đáng tin để xử lý phần lớn công việc quan trọng.”

Hai câu này khác nhau rất nhiều.

Kết luận: mục tiêu không phải “Human out of the loop”

Nếu nhìn AI chỉ qua khả năng tạo output, rất dễ đi đến mục tiêu:

càng tự động càng tốt.

Nhưng khi AI bước vào công việc thật, bài toán thay đổi.

Chúng ta phải cân bằng ít nhất bốn thứ:

Task Criticality × Reversibility × Human Agency × Quality Control

AI có thể làm nhiều hơn trước. Điều đó không tự động có nghĩa AI nên được trao nhiều quyền hơn ở mọi bước.

Một workflow tốt có thể để AI tự xử lý phần lớn thao tác, nhưng vẫn giữ con người ở đúng những điểm cần:

• phán đoán;
• chịu trách nhiệm;
• kiểm tra bằng chứng;
• phê duyệt hành động khó đảo ngược.

Và có lẽ một nguyên tắc rất đơn giản đáng giữ lại là:

Việc càng khó sửa khi sai, càng không nên tối ưu bằng cách loại con người ra khỏi vòng kiểm soát.

Nếu bạn đang xây AI Agent hoặc Automation cho Marketing, có thể đọc thêm 3 nguyên tắc để bắt đầu AI Agent đúng cách và bài AI làm việc qua đêm: bottleneck mới là khả năng giao việc.

Nếu workflow của bạn đã bắt đầu chạm vào dữ liệu thật, CRM, ngân sách quảng cáo hoặc các hành động production nhưng chưa rõ nên đặt checkpoint ở đâu, gửi brief dự án. Tôi có thể cùng bạn bóc tách từng bước theo mức độ rủi ro trước khi nghĩ đến tự động hóa sâu hơn.

Nguồn tham khảo

1. Anthropic — Enabling independent research on how people use Claude, 26/08/2026.
2. Yijia Shao, Dora Zhao, Vishakh Padmakumar, Jennifer Wang, Diyi Yang — Human–AI Collaboration at Scale: Task Criticality, Agency, and Friction Across 250,000 Conversations, Stanford SALT Lab, 21/08/2026.
3. Anthropic — Enabling Independent Research Dataset, dữ liệu tổng hợp công khai theo giấy phép CC BY 4.0.