Knowledge cho agent

Muốn agent làm đúng thì hãy xây knowledge trước. NVIDIA làm việc đó cho database, còn mình làm cho knowledge nằm trong văn bản

AI trả lời sai nhiều khi không phải vì nó kém, mà vì nó không biết những điều chỉ người trong nghề mới biết. Bài này kể cách ghi những điều đó ra để AI dùng được, và cách biết chỗ nào đã đáng tin.

Tranh màu nước vẽ tay một chiếc bàn gỗ của cô giáo. Trên mặt bàn giấy tờ, sổ vở, kẹp hồ sơ, con dấu và cốc trà bày lộn xộn. Cùng chiếc bàn gỗ đó, nhưng giấy tờ đã thành các tấm thẻ nhỏ có gạch vàng xếp thành hàng, sổ vở gọn gàng.
Cuộn xuống để thấy cùng một cái bàn đi từ giấy tờ lộn xộn tới các thẻ có câu trích xếp gọn. Minh họa tạo bằng AI (Google Flow, Nano Banana 2.1); hình chỉ để minh họa, không mang số liệu.

Thử hình dung bạn có một agent, tức một chương trình AI tự làm việc qua nhiều bước. Bạn hỏi nó tháng 6 năm ngoái cửa hàng bán được bao nhiêu. Agent trả ngay một con số rất tự tin, còn bạn thì khó biết con số đó có đúng không.

Ví dụ minh họa, chưa phải kết quả đo

Một câu hỏi, một con số tự tin, và không có gì để kiểm

Trợ lý

Tháng 6 năm ngoái cửa hàng bán được bao nhiêu?

Tháng 6 năm ngoái cửa hàng bán được 1.284 đơn.

Câu trả lời không kèm nguồn, cũng không nói đơn tính theo ngày đặt hay ngày giao.

Bài này viết cho người giao việc cho AI mỗi ngày, như giáo viên, kế toán, người làm marketing hay quản lý dự án.

Gần đây mình chú ý tới Auto Ontology, một công cụ NVIDIA đưa lên GitHub, nơi các nhóm phần mềm chia sẻ code. Công cụ này nói về nghĩa của dữ liệu trong database, tức nơi lưu dữ liệu thành các bảng có hàng và cột. Đọc trang giới thiệu của Auto Ontology, mình thấy lại điều mình vẫn tin.

Muốn agent làm đúng thì việc đầu tiên phải là xây knowledge, tức phần tri thức mà agent đọc được. Nhưng khi bắt tay vào làm, ai cũng vướng bốn câu hỏi:

  1. Xây thế nào?
  2. Ontology ra sao, tức knowledge đó sắp xếp thế nào?
  3. Kiểm chứng thế nào?
  4. Quản lý thế nào?

Auto Ontology trả lời bốn câu đó cho database. Knowledge Builder, công cụ mình làm, trả lời bốn câu đó cho phần knowledge nằm trong văn bản, như kế hoạch hay hợp đồng. Gần cuối bài, mình cho bạn xem công cụ này chấm bộ knowledge đầu tiên của chính mình ra sao.

Agent chỉ đúng trong phạm vi knowledge mà nó đọc được

Giả sử ba team cùng trả lời câu “doanh thu tháng 6 là bao nhiêu”.

Ví dụ minh họa, chưa phải kết quả đo

Cùng một câu hỏi, ba câu trả lời đều đúng

Trợ lý

Doanh thu tháng 6 là bao nhiêu?

Câu hỏi giữ nguyên ở cả ba lượt hỏi.

Ba con số đều đúng theo cách tính của từng team, còn agent không biết ai hỏi nên phải đoán. Agent đang thiếu một thứ. Để chỉ ra thứ đó, mình chia knowledge thành ba bậc, bậc sau thêm vào bậc trước:

Ontology vì vậy là tấm bản đồ dùng chung. Bản đồ ghi từng term, tức từng chữ có định nghĩa riêng trong công ty như “doanh thu”. Với mỗi term, bản đồ ghi nó nghĩa là gì và nối với thứ gì. Với ba team ở trên, bản đồ ghi rõ “doanh thu” tính theo cách nào, nên agent không phải đoán.

Thử với một ví dụ minh họa nữa. Một cô giáo lớp 4 nhờ agent soạn đề cương ôn tập cuối học kì môn Toán. Đề cương có một dạng bài lớp cô chưa học, vì agent giỏi Toán nhưng không biết lớp cô học tới đâu. Ba bậc cho việc của cô là:

Ví dụ minh họa, chưa phải kết quả đo

Ba bậc knowledge, ví dụ của cô giáo và của cửa hàng

Bậc một

Danh sách

Các bài học trong học kì

Khách hàng và hóa đơn

Bậc hai

Phân loại

Mỗi bài thuộc một chủ đề

Hóa đơn bán lẻ và hóa đơn bán buôn

Bậc ba

Quan hệ và rule

RuleChỉ lấy câu hỏi từ bài lớp đã học

RuleMột hóa đơn không thuộc về hai khách hàng

Cùng ba bậc, hai ví dụ.
Đọc ba bậc của cô giáo bằng chữ
  • Bậc một là danh sách các bài học trong học kì.
  • Bậc hai là phân loại, mỗi bài thuộc một chủ đề.
  • Bậc ba là ontology, tức mỗi bài nối với một yêu cầu của chương trình và mỗi câu hỏi ôn tập nối với một bài. Rule ở đây là đề cương chỉ lấy câu hỏi từ bài mà lớp đã học.

Thứ còn thiếu là mấy dòng knowledge đó, không phải một AI giỏi Toán hơn. Ba nghề khác cũng có một chữ dễ bị hiểu sai và một rule cần ghi lại. Mỗi công ty tự chọn rule của mình, và ba dòng trong bảng dưới đây là ví dụ minh họa:

Ví dụ minh họa, chưa phải kết quả đo

Một chữ dễ hiểu sai, và rule mà công ty ghi lại cho chữ đó

Bấm vào thẻ để lật.
Xem bảng ba nghề
NghềChữ dễ bị hiểu saiRule công ty chọn và ghi lại
Kế toán, khi lập báo cáo doanh thu“Doanh thu” tính lúc xuất hóa đơn hay lúc thu tiềnDoanh thu tính theo ngày xuất hóa đơn, và mỗi hóa đơn thuộc về một kỳ báo cáo
Marketing, khi báo cáo chiến dịch“Lead”, tức khách hàng tiềm năng, là người điền form hay người đội bán hàng đã xác nhậnLead là người đội bán hàng đã xác nhận, và mỗi lead chỉ tính cho một chiến dịch
Quản lý dự án, khi báo cáo tiến độ“Xong” là làm xong hay khách hàng đã nghiệm thuViệc chỉ là xong khi khách hàng đã nghiệm thu

Cô giáo và ba nghề vừa kể có một điểm chung. Phần knowledge của cả bốn nghề nằm trong văn bản, như kế hoạch dạy học hay hợp đồng, chứ không nằm trong database.

Auto Ontology của NVIDIA trả lời cả bốn câu hỏi, nhưng chỉ cho database

Tranh màu nước vẽ tay một tủ hồ sơ gỗ nhiều ngăn kéo, hai ngăn đang mở. Phía trên treo tấm bản đồ giấy vẽ các ô nối với nhau.
Minh họa tạo bằng AI (Google Flow, Nano Banana 2.1): một tủ hồ sơ, và tấm bản đồ chỉ ngăn nào chứa gì. Hình không mang số liệu.

Auto Ontology đặt giữa agent và database một lớp ghi nghĩa của dữ liệu, gọi là lớp ngữ cảnh. Nhờ lớp này, agent biết dữ liệu có nghĩa gì.

  1. 1CodeĐọc tên bảng và tên cột
  2. 2ModelViết bản nháp nghĩa của term và chỗ nối
  3. 3NgườiSửa rồi đánh dấu đã duyệt
Auto Ontology dựng bản đồ qua ba bước. Model chỉ viết bản nháp ở bước 2, còn người mới là bên chốt. Agent dùng bản sửa của người từ câu hỏi kế tiếp.

Auto Ontology còn có một bước chấm xem bản đồ đã đủ cho câu hỏi chưa, dành cho agent khác gọi vào từ bên ngoài. Nếu bản đồ thiếu thứ câu hỏi nhắc tới, agent đó hỏi lại người dùng thay vì đoán.

Đã có người thử Auto Ontology và kể lại. Syed Humair, một người làm video trên YouTube, thử công cụ này trong một video của ông.

Với câu hỏi về doanh thu, cứ khoảng ba lần ông hỏi thì agent sai một lần. Sau đó ông viết tay một câu lệnh mẫu, tức câu lệnh lấy con số doanh thu từ database. Ông kèm một ghi chú nói doanh thu nghĩa là gì. Trong các lần thử sau đó, agent đều trả lời đúng.

Số của người khác

Có câu lệnh mẫu, các lần thử sau đều đúng

Chưa có câu lệnh mẫu

Khoảng ba lần hỏi, một lần sai

Có câu lệnh mẫu

Các lần thử sau đều đúng

Nguồn: video của Syed Humair. Hình vẽ theo lời kể trong video, mình không chạy lại.

Ông thử tiếp trên 11 model và tự nói đây chỉ là một phép thử nhanh. Ở lượt thử này, gần như model nào cũng sai khi không có câu lệnh mẫu và đúng khi có. Trong lượt thử đó, chính phần nghĩa do người viết ra đã sửa được câu trả lời, không phải một model mạnh hơn.

Nhiều knowledge nằm trong văn bản chứ không nằm trong database, nên mình làm Knowledge Builder cho phần đó

Auto Ontology chỉ làm việc với dữ liệu đã xếp thành bảng trong database. Còn quy trình, kế hoạch dạy học, nghiên cứu và hợp đồng thì là văn xuôi. Văn xuôi không có tên bảng hay tên cột để code đọc, cũng không có dòng dữ liệu nào để nối thử.

Ví dụ minh họa, chưa phải kết quả đo

Cùng một điều, trong bảng và trong văn xuôi

BàiChủ đềTuần
12Phân số9

Code đọc được tên cột

Kế hoạch dạy học Toán lớp 4

Sang tuần 9, lớp học bài 12 về phân số, sau khi ôn xong phép chia.

Không có tên cột nào để code đọc

Hai bên nói cùng một điều: bài 12 về phân số học vào tuần 9.

Knowledge Builder là công cụ mình làm cho phần đó. Ý chính của công cụ là một phát biểu (claim) chỉ đáng tin khi đi kèm câu trích nguyên văn từ nguồn. Công cụ gom các claim thành một pack, tức một bộ knowledge. Một bước kiểm cuối, gọi là gate, quyết định pack đã đủ để dừng nghiên cứu hay chưa.

Knowledge Builder có hai phần. Phần công cụ là code chạy trên máy bạn, còn phần skill là bộ hướng dẫn dạy agent quy trình làm việc. Knowledge Builder không dành cho bí mật hay dữ liệu cá nhân.

Auto Ontology có mấy thứ mà Knowledge Builder chưa có, như giao diện web, phân quyền cho từng người và các database nối sẵn. Hai công cụ không cạnh tranh nhau, vì một bên dành cho database và một bên dành cho văn bản.

Xây thế nào? Agent đi nghiên cứu, nhưng mỗi claim phải trích nguyên văn một nguồn mà công cụ đã lưu lại

Tranh màu nước vẽ tay một tờ kế hoạch trong khung kính treo tường, hai dòng được tô vàng. Bên dưới, một bàn tay chép một dòng ra tấm thẻ nhỏ đặt trên kệ gỗ.
Minh họa tạo bằng AI (Google Flow, Nano Banana 2.1): nguồn nằm yên sau kính, thẻ chỉ chép một dòng. Hình không mang số liệu.

Quay lại cô giáo. Nếu cô dùng Knowledge Builder, cô bắt đầu bằng một câu hỏi cô sẽ hỏi agent, như lớp đã học tới bài nào. Công cụ sẽ đóng băng chương trình môn Toán, kế hoạch dạy học và sách giáo khoa. Đóng băng là lưu mỗi nguồn thành một bản mà công cụ không bao giờ ghi đè. Agent sẽ ghi từng atom, tức một câu trích nguyên văn cùng điều agent rút ra từ câu đó.

Công cụ chỉ nâng atom thành claim khi câu trích có thật trong bản đóng băng. Sau đó agent viết tài liệu dùng các claim, và mỗi câu dùng claim phải chỉ tới đúng claim đó.

Cô giáo chỉ là ví dụ, còn các bước trên là cách Knowledge Builder đang chạy thật. Skill còn cấm agent sửa thẳng vào file claim, nên claim nào cũng phải đi qua công cụ. Hình dưới có cả bảy bước, từ lúc người đặt câu hỏi tới lúc gate quyết định. Hình chưa vẽ bước cô giáo duyệt ontology, mục kế tiếp kể bước đó.

  1. 1NgườiĐặt câu hỏi
  2. 2CodeĐóng băng nguồn
  3. 3AgentGhi atom từ câu trích
  4. 4CodeNâng atom thành claim khi câu trích khớp
  5. 5AgentViết tài liệu dùng claim
  6. 6Runtime khácAgent trên phần mềm khác chấm lại
  7. 7CodeGate quyết định dừng hay đi tiếp
Trong bảy bước, agent làm nghiên cứu chỉ viết ở bước 3 và bước 5. Năm bước còn lại thuộc về người đặt câu hỏi, code, và một agent chạy trên nền khác chấm lại. Mục “Kiểm chứng thế nào?” giải thích vì sao.

Ontology ra sao? Agent đề xuất, và theo quy tắc của skill, người chủ pack duyệt trước khi agent dựng pack

Nếu cô dựng một pack thì cô là người chủ pack, tức người duyệt ontology của pack. Ontology đó khai báo bốn thứ:

Rule của trường không nằm trong bốn thứ đó, và đoạn dưới kể công cụ lưu rule ở đâu. Muốn đổi ontology, agent viết một bản đề xuất kèm lý do. Theo quy tắc của skill, agent chỉ thay ontology đang dùng bằng bản đề xuất sau khi cô giáo duyệt. Công cụ không tự chặn bước này, nên agent và người chủ pack phải tự giữ thứ tự đó.

Ví dụ minh họa, chưa phải kết quả đo

Ontology khai báo bốn thứ, và agent chờ cô giáo duyệt bản đề xuất

ObjectBài 12PropertyHọc kì một
ObjectChủ đề Phân số
ActionNâng atom thành claim

Đề xuất của agent

Thêm link “câu hỏi kiểm tra bài”

Chờ cô giáo duyệtCô giáo đã duyệt

Bảng là ontology đang dùng, thẻ là bản đề xuất.

Có một giới hạn. Nếu cô ghi rule của trường, công cụ sẽ lưu rule đó thành một claim có câu trích. Nhưng công cụ không tự áp rule đó lên đề cương mà agent soạn. Công cụ chỉ áp các rule của chính nó, như rule câu trích phải khớp nguồn.

Kiểm chứng thế nào? Không ai tự chấm bài của mình, kể cả agent đã viết ra bài đó

Tranh màu nước vẽ tay một chiếc bàn gỗ dài. Năm khay xếp thành hàng, mỗi khay một dụng cụ, và cuối hàng là con dấu. Một tấm thẻ nằm ở đầu bàn.
Minh họa tạo bằng AI (Google Flow, Nano Banana 2.1): một tấm thẻ đi dọc hàng khay kiểm. Hình không mang số liệu.

Ví dụ minh họa, chưa phải kết quả đo

Một câu trích đi qua năm lớp kiểm, rồi gate quyết định pack đã đủ hay chưa

Claim

Học sinh học xong phép cộng phân số cùng mẫu số trước bài kiểm tra giữa học kì.

  1. Câu tríchKhớp nguồn
  2. Nơi xuất bản độc lậpPack có hai nơi
  3. Mâu thuẫnKhông còn mâu thuẫn
  4. Review của runtime khácRuntime khác đã chấm
  5. Kiểm lạiTải lại, vẫn khớp
GateXét cả pack

Gate chạy sau cùng, khi năm lớp kiểm đã xong.

Năm lớp đã qua. Gate xét cả pack rồi mới quyết định dừng hay nghiên cứu tiếp.

Claim bị từ chối, chưa vào pack.

Không lớp nào chấm được: điều knowledge nói có đúng với thực tế không

Đoạn bảy trên bảy

  • Câu trích. Công cụ không kiểm: điều agent rút ra có đúng không
  • Nơi xuất bản độc lập. Công cụ không kiểm: quy tắc hai nơi cho từng claim, chỉ đòi cả pack có hai nơi
  • Mâu thuẫn. Công cụ không kiểm: lý do viết ra có thuyết phục không
  • Review của runtime khác. Công cụ không kiểm: ai thật sự viết review

Mô tả ngắn: bên trái là một câu trích trong kế hoạch dạy học đã đóng băng. Bên phải là claim chép lại câu đó, với năm lớp kiểm và gate. Cuộn qua bảy đoạn chữ để đi từng bước. Nút Sửa một chữ làm câu trích không còn khớp nguồn, và công cụ từ chối claim ngay. Dòng có biểu tượng con mắt bị gạch là điều công cụ không kiểm được.

Cuộn qua bảy đoạn bên phảibên dưới để đi từng bước. Bấm Sửa một chữ để xem công cụ từ chối claim.

Đoạn một

Công cụ và skill có năm lớp kiểm, và mỗi lớp nhắm vào một loại lỗi.

Đoạn hai

Nếu agent trích một câu mà kế hoạch dạy học không có, công cụ từ chối claim đó. Công cụ chỉ kiểm câu trích có thật trong nguồn, không kiểm điều agent rút ra từ câu trích đó.

Đoạn ba

Nơi xuất bản là người hoặc tổ chức đứng tên trang. Theo skill, claim quan trọng cần ít nhất hai nơi độc lập, như chương trình môn học và kế hoạch của trường. Công cụ không kiểm quy tắc đó cho từng claim, mà chỉ đòi cả pack có ít nhất hai nơi. Ghi chú của chính cô không tính là nơi độc lập.

Đoạn bốn

Agent phải ghi mỗi mâu thuẫn giữa hai nguồn thành một atom riêng. Công cụ chỉ coi một mâu thuẫn là đã giải quyết khi có lý do viết ra hoặc khi một bên bị bỏ.

Đoạn năm

Review là bản chấm lại độc lập. Runtime là phần mềm mà agent chạy bên trong, như Claude Code hay Codex. Runtime viết review phải khác với runtime đã làm nghiên cứu. Review hết hạn khi câu trích, nguồn đã lưu hoặc claim thay đổi sau lúc review.

Đoạn sáu

Khi ai đó chạy lệnh kiểm lại, công cụ tự tải lại từng trang nguồn thay vì tin lời review. Vì vậy, nếu review nói đã thấy câu trích trong nguồn mà thật ra không có, lần kiểm lại sẽ bắt được. Nhưng công cụ không kiểm được ai thật sự viết review.

Đoạn bảy

Cuối cùng, gate quyết định pack đã đủ để dừng hay phải nghiên cứu tiếp. Agent chỉ báo lại quyết định đó. Skill không cho agent tự cấp quyết định “đã đủ”, và cấm agent sửa file để qua gate. Các bước kiểm tự động bắt được lỗi ghi chép, như câu trích không có trong nguồn. Nhưng chúng không chấm được điều knowledge nói ra có đúng với thực tế hay không.

Quản lý thế nào? Knowledge là file thường trong thư mục bạn chọn, và mỗi lần ghi qua công cụ đều để lại nhật ký

Pack là các file thường nằm trong một thư mục bạn chọn. Nếu bạn đưa thư mục đó vào git, tức công cụ lưu lịch sử file, git sẽ cho bạn thấy từng thay đổi.

Sang học kì hai, kế hoạch dạy học có thể đổi. Nếu cô dùng Knowledge Builder, công cụ sẽ đóng băng bản mới và giữ nguyên bản cũ, còn review cũ hết hạn.

Mỗi lần ghi vào pack qua công cụ đều để lại một dòng nhật ký, và công cụ hoàn tác nếu lần ghi có lỗi. Bạn vẫn sửa được file trực tiếp, nhưng nhật ký không ghi lần sửa đó.

Ví dụ minh họa, chưa phải kết quả đo

Bản mới vào thư mục, bản cũ nằm yên, nhật ký thêm một dòng

Thư mục pack

Nguồn đã đóng băng

  • Kế hoạch dạy học, học kì mộtĐã đóng băng
  • Kế hoạch dạy học, học kì haiĐã đóng băng

Review

  • Còn hạnHết hạn
  • Nhật ký lưu nguồn có thêm bản mới, nên review cũ hết hạn.

Claim

Nhật ký

  1. Đóng băng kế hoạch học kì một
  2. Đóng băng kế hoạch học kì hai
Thư mục pack và nhật ký ghi qua công cụ, trong cùng một cửa sổ.

Pack thật đầu tiên có 197 claim, và gate của chính công cụ nói pack chưa đủ

Tranh màu nước vẽ tay một xấp hồ sơ buộc dây đặt trước cổng trường sắt còn khép.
Minh họa tạo bằng AI (Google Flow, Nano Banana 2.1): xấp hồ sơ còn chờ ngoài cổng. Hình không mang số liệu.

Cô giáo ở trên là ví dụ minh họa, còn pack dưới đây là pack thật của mình. Pack này trả lời câu hỏi làm sao giữ được phán đoán của mình khi giao việc cho AI.

Pack có 197 claim lấy từ 80 nguồn, và các nguồn đến từ 49 nơi xuất bản. Bước kiểm tra tổng thể báo 0 lỗi, vì mọi câu trích đều khớp nguồn đóng băng.

Trong 197 claim, mới có 1 claim dựa trên hai nơi xuất bản

Mỗi chấm là một claim trong pack. Chấm xanh là claim có câu trích từ hai nơi xuất bản khác nhau.

Mô tả ngắn: 196 claim chỉ dựa trên một nơi xuất bản, còn 1 claim dựa trên hai nơi, trong tổng 197 claim.

Xem bảng số liệu
Nhóm claimSố claim

Có hai claim dựa trên hai file nguồn. Chỉ một trong hai claim đó có hai file đến từ hai nơi xuất bản khác nhau.

Nguồn: pack knowledge của tác giả, đếm lại bằng script chỉ đọc ngày 16/11/2026.

Nhưng dòng cuối của chính bước kiểm tra đó, bằng tiếng Anh và mình chép nguyên văn, lại nói pack chưa đủ:

Gate nêu bốn thiếu sót, chưa mục nào được gỡ

Dòng gate dưới đây chép nguyên văn. Mỗi ô rỗng bên dưới là một thiếu sót mà dòng đó nêu.

gate: DEEPEN - Deficiencies detected: Version declared not applicable but the review did not confirm it, Saturation not yet reached (low-delta rounds 0/3, delta 11.7%), A viable probe remains, Independent review has not passed. Probing further.

Công cụ của chính mình nói pack của mình chưa đủ. Muốn nó nói khác, mình phải viết một review giả hoặc tự sửa file ghi tiến độ của lượt nghiên cứu. Skill cấm cả hai việc đó, và review giả không qua được khi chạy kiểm lại. Dòng trên nêu bốn thiếu sót, và chúng có nghĩa như sau:

  1. Chưa gỡ. Chưa có runtime nào khác viết review. Runtime làm nghiên cứu là Claude Code, nên review phải đến từ một runtime khác.
  2. Chưa gỡ. Pack chưa bão hòa, tức mỗi vòng nghiên cứu vẫn tìm ra nhiều điều mới. Vòng cuối vẫn thêm 11,7% so với trước đó, nên công cụ chưa coi pack là bão hòa.
  3. Chưa gỡ. Lượt nghiên cứu chưa ghi rằng đã hết hướng tra cứu, nên gate mặc định coi như vẫn còn một hướng đáng đi tiếp.
  4. Chưa gỡ. Pack khai báo rằng chủ đề này không phụ thuộc phiên bản phần mềm nào, nhưng chưa có review nào xác nhận khai báo đó.

Mô tả ngắn: dòng gate trả DEEPEN, tức nghiên cứu tiếp, và nêu 4 thiếu sót.

Xem bảng số liệu
Thiếu sótTrạng thái

Nguồn: dòng cuối của bước kiểm tra tổng thể trên pack của tác giả. Chép nguyên văn từ kết quả lệnh chỉ đọc ngày 16/11/2026.

Vòng nghiên cứu cuối vẫn thêm 11,7%, nên pack chưa bão hòa

Mỗi vạch ngang là một atom. Vòng ba, màu cam, thêm 21 atom trên nền 180 atom của hai vòng trước.

Mô tả ngắn: vòng một ghi 141 atom, vòng hai thêm 39 atom và vòng ba thêm 21 atom, tổng cộng 201 atom.

Xem bảng số liệu
NhómSố lượng

Nguồn: sổ atom của pack knowledge của tác giả, nhóm theo vòng ghi trong từng atom, đếm lại bằng script chỉ đọc ngày 16/11/2026.

Pack còn những chỗ yếu khác:

57 bản trong 110 bản đóng băng lấy từ file có sẵn, còn chờ review

Mỗi vạch là một bản đóng băng. Vạch rỗng là bản lấy từ file có sẵn trên máy.

Mô tả ngắn: 40 bản tải từ web, 57 bản lấy từ file có sẵn, 13 bản là kết quả lệnh. Tổng cộng 110 bản đóng băng. Hàng lấy từ file có sẵn là hàng vạch rỗng.

Xem bảng số liệu
NhómSố lượng

80 bản gắn với 80 nguồn của pack, mỗi nguồn một bản. 30 bản còn lại có trong nhật ký, nhưng không nguồn nào của pack chỉ tới.

Nguồn: nhật ký lưu nguồn của pack knowledge của tác giả, đếm lại bằng script chỉ đọc ngày 16/11/2026.

Với design system, mình đã áp dụng ontology trong một dự án thật từ tháng 6/2026

Ngoài văn bản, mình còn áp dụng ontology cho design system, tức bộ thành phần giao diện dùng chung. Mình làm việc đó trong một dự án cho doanh nghiệp lớn từ tháng 6/2026. Phần knowledge của dự án hiện ghi 325 ruling, tức quyết định của người chủ dự án. Gần như ruling nào cũng ghi ngày và phạm vi áp dụng.

Dự án đã ghi 325 ruling, và 7 ruling trong đó đã bị ruling mới thay

Mỗi vạch là một ruling, tức một quyết định của người chủ dự án. Vạch rỗng là ruling đã bị thay. Thứ tự các vạch không mang nghĩa.

Mô tả ngắn: 325 ruling, trong đó 7 ruling đã bị ruling khác thay.

Xem bảng số liệu
NhómSố lượng

Nguồn: mình đếm file ruling của dự án ngày 16/11/2026, trên bản code ngày 22/10/2026. Tên dự án không nêu.

Cái mới là mình vừa đóng gói cách làm đó thành một bộ lệnh trong DESIGN:OS, bộ công cụ thiết kế mình phát triển. Nhờ vậy dự án nào cũng dùng được. Mình chưa đo bộ lệnh này làm kết quả của agent đổi ra sao.

Bạn làm được ba việc ngay hôm nay mà chưa cần công cụ nào

Ba việc làm được ngay hôm nay

Pack của mình chưa có review từ runtime khác, và mình chưa đo được Knowledge Builder làm agent trả lời đúng thêm bao nhiêu. Mình vẫn tin rằng muốn agent làm đúng thì việc đầu tiên phải là xây knowledge.

Người build agent có thể thử Knowledge Builder bằng hai lệnh

Bạn không build agent thì có thể dừng ở đây, vì phần trên đã đủ lập luận. Trong Claude Code, bạn thêm marketplace của repo rồi cài plugin bằng hai lệnh:

Hai lệnh trong Claude Code
/plugin marketplace add jangtrinh/design-os-knowledge-builder
/plugin install design-os-knowledge-builder@design-os-knowledge-builder

Sau đó bạn chỉ cần nói với agent chủ đề bạn muốn có knowledge. Skill dẫn agent đi qua các bước còn lại trong hình ở trên. Ví dụ:

Câu nói với agent
Xây knowledge pack về kế hoạch dạy học môn Toán lớp 4.

Skill chạy trên Claude Code, Codex, Gemini CLI, Antigravity, OpenCode, Cursor và Windsurf. Công cụ chạy trên máy bạn, không gửi telemetry và chỉ dùng mạng khi tải trang web, chạy review hay kiểm lại nguồn. Trong các lệnh dưới đây, kb là python3 -m knowledge_builder.cli.

Các lệnh chính là kb ingest --freeze <url>, kb action promote-claim, kb run review và kb pack check --recheck.

Bốn giá trị của gate gồm STOP_SUFFICIENT để dừng vì đủ, DEEPEN để nghiên cứu tiếp, PAUSE_BUDGET khi hết ngân sách và ABSTAIN_BLOCKED khi bị chặn.

Lệnh kb action promote-claim từ chối atom nếu dấu vân tay (hash) của file nguồn hoặc câu trích không khớp bản đóng băng. Câu trích phải dài ít nhất 6 từ và 30 ký tự. Mỗi action khóa pack, ghi tất cả hoặc không ghi gì, rồi dựng lại danh mục.

Pack đầu tiên của mình có 312 object. Trong đó có 197 claim và 80 nguồn, còn lại là 7 tài liệu và 28 entity. Agent ghi 201 atom, trong đó 4 atom ghi mâu thuẫn giữa các nguồn. Nhật ký action có 2.263 dòng, và nhật ký action bị từ chối có 1 dòng. Nhật ký lưu nguồn ghi 110 bản đóng băng. Trong đó 40 bản tải từ web, 57 bản lấy từ file có sẵn và 13 bản là kết quả lệnh.

Gate chỉ coi pack là bão hòa sau ba vòng liên tiếp có tỷ lệ atom mới thấp. Pack hiện chưa nằm trong git.

Auto Ontology còn có máy chủ MCP cho agent gọi từ ngoài và 10 loại database nối sẵn. Khung chat có sẵn của nó không gọi bước chấm bản đồ đã đủ hay chưa. Nó cũng có một bộ đo chạy cùng một model hai lần, một lần có và một lần không có lớp ngữ cảnh. Trang giới thiệu của bộ đo không in kết quả độ chính xác nào.

Bộ lệnh ui ontology của DESIGN:OS, thêm vào ngày 11 và 12/11/2026, có ba lệnh là build, lint và query. Cả ba đều không gọi model nào.

Theo cách đọc của mình, thuật ngữ của hai công cụ khớp nhau như sau:

Trong Auto OntologyTrong Knowledge Builder
Term, tức chữ có định nghĩa riêngEntity và tài liệu
Thuộc tính SQL đã duyệtClaim có câu trích
Chỗ nối giữa các bảngLink có kiểu khai báo trước
Dấu đã duyệt (certified)Người chủ pack duyệt ontology, một runtime khác review

Đặt cạnh nhau theo bốn câu hỏi, thêm một dòng về nguồn và một dòng về lúc chưa đủ, hai công cụ làm như sau:

Câu hỏiAuto OntologyKnowledge Builder
Nguồn là gìSchema, khóa, giá trị mẫu và lịch sử queryTrang web, tài liệu và kết quả lệnh chạy trên máy
Xây thế nàoCode đọc, model viết nháp, người sửaAgent ghi atom, code đóng băng nguồn và nâng atom thành claim, người chủ pack duyệt ontology
Ontology ra saoTerm, thuộc tính SQL, quan hệObject, property, link, action
Kiểm chứng thế nàoCode nối thử ra một dòng dữ liệu thật, và agent chấm độ phủ (coverage) qua MCPCâu trích có trong nguồn đóng băng, runtime khác review
Quản lý thế nàoPostgres và giao diện webPack là file thường trong thư mục người dùng chọn. Mỗi action để lại một dòng nhật ký, và lệnh tra cứu từ chối chạy khi danh mục đã cũ
Khi chưa đủ thì saoAgent nối từ ngoài vào qua MCP thấy độ phủ thấp thì hỏi lại người dùngGate trả DEEPEN và nêu thiếu gì

Repo của Knowledge Builder nằm ở github.com/jangtrinh/design-os-knowledge-builder.

Nguồn

Mình đọc các trang dưới đây ngày 16/11/2026.

Số liệu về Knowledge Builder và pack lấy từ README của repo, tài liệu của skill và kết quả các lệnh chỉ đọc ngày 16/11/2026. Số về dự án enterprise đếm từ file ruling của dự án cùng ngày. Số liệu trong video là của người làm video, và mình không chạy lại. Các ví dụ về giáo viên, kế toán, marketing và quản lý dự án là ví dụ minh họa do mình đặt ra.

Mình chưa dựng pack nào cho bốn nghề này.