Inkling là gì? Kiến trúc và khả năng tùy chỉnh AI

Trả lời nhanh: Inkling là gì? Đây là mô hình AI open-weight đa phương thức do Thinking Machines Lab phát hành, có 975 tỷ tham số tổng nhưng khoảng 41 tỷ tham số hoạt động cho mỗi token. Inkling hỗ trợ text, hình ảnh, âm thanh, context tới 1 triệu token và được định vị làm nền tảng để fine-tuning theo dữ liệu, hành vi và workflow riêng.

Cập nhật lần cuối: 20/08/2026

Cuộc đua AI thường được kể như cuộc đua benchmark: mô hình nào trả lời đúng nhiều hơn, code tốt hơn hay có context dài hơn.

Inkling chọn một câu chuyện khác. Thinking Machines Lab công khai thừa nhận đây không phải mô hình mạnh nhất tổng thể, dù mở hay đóng. Thay vào đó, công ty định vị Inkling là một nền tảng rộng, đa phương thức và đủ linh hoạt để người dùng tùy chỉnh.

Đây là một lựa chọn chiến lược đáng chú ý. Nếu mô hình tổng quát ngày càng trở thành hạ tầng có thể thuê qua API, lợi thế của doanh nghiệp có thể chuyển từ “dùng model nào” sang “model đã học được gì về quy trình riêng, được đánh giá ra sao và tích hợp sâu đến mức nào”.

Bài viết này giải thích kiến trúc Inkling theo ngôn ngữ thực tế, đồng thời trả lời câu hỏi quan trọng hơn: một model được thiết kế cho customization có ý nghĩa gì với Vibe Coding, AI Agent và hệ thống tự động hóa?

Inkling là gì?

Inkling là mô hình nền tảng đa phương thức dạng open-weight của Thinking Machines Lab, được phát hành ngày 15/07/2026. Mô hình có kiến trúc Mixture-of-Experts, 975 tỷ tham số tổng, 41 tỷ tham số active, context tối đa 1 triệu token và khả năng xử lý text, hình ảnh, âm thanh để tạo đầu ra văn bản.

Thinking Machines Lab cho biết Inkling được pretrain trên 45 nghìn tỷ token gồm text, hình ảnh, âm thanh và video. Mô hình được post-train cho toán, code có công cụ, audio, image, chat và safety, trong đó phần lớn compute hậu huấn luyện được dùng cho reinforcement learning trên môi trường tổng hợp và do con người tạo.

Các con số này do nhà phát triển công bố. Khi đánh giá cho một hệ thống production, cần kiểm tra lại trên tập dữ liệu và workflow thật của chính doanh nghiệp.

Open-weight có giống open-source không?

Không hoàn toàn.

Inkling công khai trọng số trên Hugging Face theo giấy phép Apache 2.0. Điều này cho phép tải checkpoint, chạy inference và tạo phiên bản fine-tune trong phạm vi giấy phép.

Tuy nhiên, open-weight không tự động có nghĩa toàn bộ quy trình là open-source theo nghĩa đầy đủ. Dữ liệu huấn luyện chi tiết, pipeline lọc dữ liệu, toàn bộ mã training và mọi quyết định vận hành không nhất thiết được công bố.

Khái niệm	Điều người dùng nhận được	Điều có thể vẫn đóng
Closed model	API hoặc ứng dụng	Trọng số, dữ liệu, training code
Open-weight	Trọng số và model card	Một phần dữ liệu, pipeline, chi tiết huấn luyện
Open-source đầy đủ	Mã, giấy phép mở và khả năng tái tạo rộng hơn	Vẫn có thể thiếu data do bản quyền hoặc riêng tư

Vì vậy, cách mô tả chính xác là Inkling là mô hình open-weight có giấy phép Apache 2.0, không nên rút gọn thành “mọi thứ đều mở”.

Vì sao Inkling có 975B tham số nhưng chỉ 41B active?

Inkling dùng kiến trúc Mixture-of-Experts (MoE). Thay vì kích hoạt toàn bộ mạng cho mỗi token, một router chọn một nhóm expert phù hợp để xử lý token đó.

Theo công bố của Thinking Machines Lab:

mô hình có 66 layer;
mỗi MoE layer có 256 routed expert;
có thêm 2 shared expert luôn hoạt động;
mỗi token chọn 6 routed expert;
tổng tham số là 975B;
tham số active cho mỗi token khoảng 41B.

Hãy hình dung một công ty có hàng trăm chuyên gia nhưng mỗi yêu cầu chỉ chuyển tới một nhóm phù hợp. Công ty vẫn phải “nuôi” toàn bộ đội ngũ, nhưng chi phí xử lý một nhiệm vụ không bằng việc huy động tất cả cùng lúc.

MoE tiết kiệm điều gì?

MoE giảm lượng tính toán được kích hoạt trên mỗi token so với một dense model có cùng số tham số tổng. Nó cho phép tăng dung lượng biểu diễn mà không tăng FLOPs theo tỷ lệ tương ứng.

MoE không giải quyết điều gì?

Tất cả trọng số vẫn cần được lưu và phân phối trên phần cứng. Hugging Face cho biết checkpoint bf16 cần khoảng 2 TB VRAM, còn bản NVFP4 cần khoảng 600 GB VRAM. Đây không phải model mà phần lớn cá nhân có thể tải về laptop rồi chạy thoải mái.

Nói ngắn gọn:

Sparse compute không đồng nghĩa small deployment.

Một nhóm nhỏ thường thực tế hơn khi dùng API, dịch vụ inference được quản lý hoặc nền tảng fine-tuning, thay vì tự vận hành checkpoint lớn.

Inkling xử lý context 1 triệu token thế nào?

Attention trên chuỗi dài rất tốn bộ nhớ và compute. Inkling không dùng global attention ở mọi layer. Mô hình xen kẽ:

5 layer sliding-window attention;
1 layer global attention.

Sliding-window layer chỉ nhìn một vùng token gần, giúp xử lý quan hệ cục bộ với chi phí thấp hơn. Global layer định kỳ kết nối thông tin ở phạm vi rộng hơn.

Kiến trúc này tạo một sự đánh đổi:

tiết kiệm chi phí hơn so với global attention toàn bộ;
hỗ trợ context dài;
nhưng thông tin xa không trực tiếp tương tác ở mọi layer.

Context dài cũng không đảm bảo model sẽ nhớ và suy luận hoàn hảo trên toàn bộ đầu vào. Với codebase hoặc kho tài liệu lớn, vẫn cần thiết kế retrieval, chia nhiệm vụ và benchmark khả năng tìm đúng thông tin ở các vị trí khác nhau.

Vì sao Inkling dùng relative position thay cho RoPE?

Phần lớn model hiện đại dùng Rotary Positional Embedding (RoPE) để mã hóa vị trí token. Inkling sử dụng một dạng relative positional embedding dựa trên hướng nghiên cứu của Shaw và cộng sự từ năm 2018.

Theo Thinking Machines Lab, lựa chọn này hoạt động tốt hơn trong thử nghiệm của họ và extrapolate tốt hơn sang chuỗi dài so với RoPE.

Điểm đáng chú ý không phải “công nghệ cũ tốt hơn công nghệ mới”. Bài học là một model có thể quay lại ý tưởng cũ khi profile mục tiêu thay đổi. Với Inkling, khả năng mở rộng context và hiệu quả ở chuỗi dài quan trọng hơn việc bám theo công thức phổ biến nhất.

Đội xây hệ thống không nên suy rộng claim này sang mọi model. Đây là kết quả được nhà phát triển báo cáo trong recipe cụ thể của Inkling.

Inkling đa phương thức theo cách nào?

Inkling nhận text, hình ảnh và âm thanh, sau đó tạo đầu ra text. Dữ liệu pretrain còn gồm video, nhưng model card hiện tập trung vào các modality đầu vào chính là text, image và audio.

ByteByteGo nhấn mạnh một lựa chọn kiến trúc đáng chú ý: Inkling không đặt một encoder đã pretrain riêng ở trước model cho mọi modality. Hình ảnh và âm thanh được chuyển thành biểu diễn phù hợp rồi đi vào quá trình học chung.

Ý nghĩa với builder là một workflow có thể đưa nhiều dạng context vào cùng model:

screenshot giao diện và yêu cầu sửa code;
file âm thanh cuộc gọi và câu hỏi về nội dung;
hình biểu đồ cùng phần mô tả;
text yêu cầu kết hợp với bằng chứng đa phương thức.

Tuy nhiên, “native multimodal” không có nghĩa mọi modality đều mạnh ngang nhau. Cần eval riêng cho tiếng Việt, audio nhiễu, hình có chữ nhỏ và format thực tế của doanh nghiệp.

Thinking effort có thể điều chỉnh là gì?

Inkling hỗ trợ mức reasoning effort. Ở thư viện Transformers, các lựa chọn được liệt kê từ none, minimal, low, medium, high, xhigh đến max.

Trong quá trình RL, Thinking Machines Lab thay đổi system message và chi phí trên token để model học cách dùng lượng token suy nghĩ khác nhau cho từng sample. Kết quả là người triển khai có thể chọn profile chi phí và chất lượng theo nhiệm vụ.

Nhiệm vụ	Effort gợi ý để thử	Lý do
Phân loại đơn giản	none hoặc minimal	Ưu tiên latency và chi phí
Tóm tắt có cấu trúc	low hoặc medium	Cần tuân thủ format, suy luận vừa phải
Sửa lỗi code nhiều file	high	Cần lập kế hoạch và kiểm tra quan hệ
Agent dùng nhiều công cụ	high đến max	Chuỗi quyết định dài, nhưng cần giới hạn ngân sách

Đây chỉ là điểm bắt đầu. Mức đúng phải được chọn bằng eval, vì effort cao hơn có thể tăng latency và chi phí mà không cải thiện mọi loại task.

Điểm khác biệt thật sự của Inkling có phải benchmark không?

Không nên đọc Inkling chỉ qua một bảng leaderboard.

Nhà phát triển công bố nhiều kết quả như 77,6 trên SWE-bench Verified, 97,1 trên AIME 2026 và 73,5 trên MMMU Pro Standard 10 ở cấu hình effort 0,99. Nhưng chính bài công bố cũng ghi rõ một số con số dùng harness nội bộ, còn kết quả đối thủ có thể là số tự công bố.

Benchmark hữu ích để sàng lọc, nhưng không trả lời được các câu hỏi production:

model có hiểu schema và thuật ngữ riêng không?
tỷ lệ tool call sai là bao nhiêu?
chi phí trên một nhiệm vụ hoàn thành là bao nhiêu?
latency P95 ở context thực tế thế nào?
sau fine-tune, năng lực tổng quát có suy giảm không?
model có tuân thủ ranh giới dữ liệu và hành động không?

Điểm đáng quan tâm hơn là Inkling được phát hành cùng trọng số, hỗ trợ fine-tuning trên Tinker và có hệ sinh thái inference từ nhiều nhà cung cấp. Nó tạo thêm lựa chọn giữa API đóng hoàn toàn và tự huấn luyện model từ đầu.

Tùy chỉnh Inkling có thể tạo giá trị ở đâu?

Hành vi và format ổn định

Fine-tuning có thể giúp model học format output, giọng điệu, quy ước tool call hoặc cách giải một nhóm nhiệm vụ lặp lại. Điều này phù hợp khi prompt dài vẫn tạo kết quả thiếu nhất quán.

Kiến thức và pattern chuyên biệt

Một tổ chức có thể huấn luyện model trên ví dụ đã được cấp quyền để model quen với cách phân loại, thuật ngữ hoặc chuỗi quyết định riêng.

Fine-tuning không phải cách tốt nhất để cập nhật mọi sự kiện mới. Kiến thức thay đổi nhanh thường phù hợp hơn với retrieval hoặc tool truy vấn nguồn sống.

Tối ưu chi phí cho workload lớn

Nếu một task lặp lại đủ nhiều, model được tùy chỉnh có thể đạt chất lượng mục tiêu ở effort thấp hơn hoặc với ít prompt token hơn. Nhưng lợi ích chỉ có ý nghĩa sau khi tính cả chi phí tạo data, train, eval, hosting và vận hành.

Agentic coding và Vibe Coding

Với coding Agent, customization có thể dạy model quy ước codebase, cách dùng công cụ, chuẩn kiểm thử và quy trình review. Giá trị không nằm ở việc viết thêm code nhanh, mà ở khả năng giảm lỗi tích hợp và số vòng sửa.

Bài AI làm việc qua đêm và bottleneck giao việc phân tích kỹ hơn vì sao specification và evaluation trở thành điểm nghẽn khi Agent có thể làm lâu hơn.

Khi nào không nên fine-tune Inkling?

Không nên bắt đầu fine-tuning chỉ vì model cho phép.

Hãy ưu tiên prompt, retrieval hoặc workflow rule nếu:

task chưa ổn định và yêu cầu còn thay đổi mỗi tuần;
chưa có tập ví dụ đạt chuẩn;
lỗi chủ yếu do thiếu dữ liệu mới;
volume quá thấp để bù chi phí vận hành;
chưa có eval độc lập;
output cần tính xác định mà code hoặc schema validation giải quyết tốt hơn.

Fine-tuning khuếch đại pattern trong data. Nếu data lẫn lộn, model có thể học chính sự lẫn lộn đó.

Cách đánh giá Inkling cho một workflow thực tế

Bước 1: Chọn một task hẹp

Ví dụ: sửa lỗi từ issue tới pull request, phân loại ticket, trích xuất trường từ audio hoặc tạo bản nháp nội dung theo evidence table.

Bước 2: Tạo bộ eval trước khi fine-tune

Chia dữ liệu thành train, validation và test. Test set cần chứa trường hợp khó, ngoại lệ và dữ liệu chưa xuất hiện trong train.

Bước 3: Đo base model

Ghi lại accuracy, tỷ lệ format đúng, tool-call success, latency, token và chi phí. Đây là baseline để biết fine-tuning có thực sự cải thiện.

Bước 4: Fine-tune phiên bản nhỏ nhất đủ chứng minh

Không dùng toàn bộ data ngay. Bắt đầu với tập ví dụ được review kỹ, chạy thí nghiệm nhỏ và quan sát loại lỗi thay đổi.

Người đánh giá không nên biết output đến từ base hay fine-tuned checkpoint. Tách tiêu chí đúng nghiệp vụ khỏi mức độ “viết hay”.

Bước 6: Kiểm tra chi phí toàn hệ thống

Tính inference, hosting, training, data labeling, monitoring, rollback và thời gian kỹ sư. Một model thắng benchmark nhưng cần hạ tầng quá lớn có thể thua về economics.

Bước 7: Chạy shadow mode

Cho model xử lý traffic thật nhưng chưa hành động production. So sánh với hệ thống hiện tại và kiểm tra các trường hợp vượt quyền.

Nếu Inkling được dùng cho Agent có khả năng sửa code, gửi dữ liệu hoặc dùng công cụ, hãy áp dụng các lớp kiểm soát trong bài rủi ro AI Agent trong Marketing.

Inkling có phù hợp với cá nhân và doanh nghiệp nhỏ không?

Có thể phù hợp để thử qua API hoặc Playground, nhưng không đồng nghĩa phù hợp để tự host.

Checkpoint lớn cần hạ tầng nhiều GPU ngay cả ở bản lượng tử hóa. Với đội nhỏ, lộ trình thực tế hơn là:

thử model qua Playground hoặc API;
xây eval trên task thật;
so sánh với model đang dùng;
chỉ fine-tune nếu có khoảng cách rõ mà prompt hoặc retrieval không giải quyết;
dùng nhà cung cấp inference trước khi cân nhắc tự vận hành.

Inkling-Small có 276B tham số tổng và 12B active, nhưng vẫn không nên đánh đồng “12B active” với checkpoint 12B có thể chạy nhẹ trên máy cá nhân. Tham số tổng vẫn ảnh hưởng lớn đến bộ nhớ.

FAQ - Câu hỏi thường gặp

Ai phát triển Inkling?

Inkling do Thinking Machines Lab phát triển. Đây là model đầu tiên công ty huấn luyện từ đầu và phát hành công khai trọng số.

Inkling có phải mô hình AI mạnh nhất không?

Không. Thinking Machines Lab nói rõ Inkling không phải model mạnh nhất tổng thể. Định vị của nó là một base model đa phương thức, open-weight và thuận lợi cho tùy chỉnh.

Inkling có chạy được trên laptop không?

Bản đầy đủ không thực tế cho phần lớn laptop. Hugging Face ước tính checkpoint bf16 cần khoảng 2 TB VRAM và bản NVFP4 khoảng 600 GB. Có các bản quantization cộng đồng, nhưng chất lượng, tốc độ và yêu cầu bộ nhớ cần được kiểm tra riêng.

975B và 41B của Inkling khác nhau thế nào?

975B là tổng số tham số được lưu trong model. Nhờ kiến trúc MoE, mỗi token chỉ kích hoạt một nhóm expert, tương ứng khoảng 41B tham số active. Cách này giảm compute trên token nhưng không loại bỏ nhu cầu lưu trọng số tổng.

Inkling dùng được cho Vibe Coding không?

Có tiềm năng vì model được post-train cho code, tool use và hỗ trợ controllable effort. Tuy nhiên, nên đánh giá trên repo, test suite và workflow review thật. Khả năng tạo code nhanh không thay thế kiểm thử, bảo mật và quyền production.

Tóm lại

Inkling là model open-weight đa phương thức của Thinking Machines Lab, phát hành theo Apache 2.0.
Model có 975B tham số tổng, khoảng 41B active cho mỗi token và context tối đa 1 triệu token.
Kiến trúc MoE giảm compute nhưng checkpoint vẫn rất lớn, phù hợp hơn với hạ tầng nhiều GPU hoặc dịch vụ inference.
Sliding-window kết hợp global attention giúp cân bằng context dài và chi phí.
Thinking effort cho phép thử nhiều profile chất lượng, latency và chi phí theo nhiệm vụ.
Giá trị chiến lược của Inkling nằm ở customization, không phải tuyên bố dẫn đầu mọi benchmark.
Doanh nghiệp nên xây eval và baseline trước, chỉ fine-tune khi có task ổn định, data tốt và lợi ích đo được.

Inkling là gì? Mô hình AI mở được thiết kế để tùy chỉnh