F68 AI

Hướng dẫn · Bài 11

Sử dụng Caching hiệu quả

Caching là gì, khi nào giúp giảm chi phí và cách kiểm soát trong F68 AI.

Caching là gì?

Trong một cuộc hội thoại hoặc AI Agent, nhiều phần input có thể được gửi lại qua nhiều lượt:

  • System Prompt;
  • Ngữ Cảnh;
  • tài liệu dài;
  • Tool definitions;
  • lịch sử trước đó.

Prompt Caching / Context Caching là cơ chế của nhà cung cấp model/API giúp tái sử dụng phần input đã được xử lý trước đó khi request mới có phần đầu hoặc Context phù hợp với điều kiện cache của model.

Caching được xử lý tại hạ tầng của nhà cung cấp model/API.

F68 AI không tạo một kho cache nội dung riêng cho tính năng này.

Caching không phải dùng lại câu trả lời

Cache không có nghĩa F68 AI lấy một câu trả lời cũ và trả lại cho bạn.

Model vẫn tạo output mới cho yêu cầu mới.

Caching chủ yếu tái sử dụng phần input/Context lặp lại.

Khi nào Caching hữu ích?

Caching đặc biệt hữu ích khi:

  • dùng AI Agent có System Prompt dài;
  • dùng cùng Ngữ Cảnh qua nhiều lượt;
  • làm việc nhiều lần trên cùng bộ tài liệu;
  • duy trì hội thoại dài;
  • chạy nhiều bước dùng chung phần Context ổn định.

Caching có lợi nhất khi một phần Context được xử lý một lần và được tái sử dụng nhiều lần.

Khi nào Caching ít có giá trị?

Caching ít có giá trị khi:

  • chỉ thực hiện một tác vụ ngắn;
  • Context thay đổi gần như toàn bộ ở mỗi lượt;
  • nội dung cũ liên tục bị sửa hoặc thay vị trí;
  • phần lặp lại không đạt điều kiện cache của model.

Bật / tắt Caching trong F68 AI

Trong Cài đặt, người dùng có thể chọn:

Prompt Caching: Bật / Tắt

Bật
F68 AI sử dụng cơ chế caching của model/API khi nhà cung cấp hỗ trợ và cho phép ứng dụng điều khiển.

Tắt
F68 AI không chủ động yêu cầu caching ở những model/API cho phép ứng dụng kiểm soát cơ chế này.

Một số nhà cung cấp áp dụng implicit / automatic caching trực tiếp ở tầng API. Với các model đó, caching có thể vẫn được nhà cung cấp tự động áp dụng theo chính sách của hãng.

Chính sách khác nhau theo từng hãng

OpenAI / GPT

Các model GPT hỗ trợ Prompt Caching theo phần prefix/context phù hợp.

Với GPT-5.6 và các model mới hơn:

  • phần input đủ điều kiện có thể được cache;
  • cache có thời gian hiệu lực tối thiểu theo chính sách model;
  • cache write và cache read có cách tính riêng;
  • chi phí cache read thấp hơn input thông thường trên các model hỗ trợ.

Chính sách và đơn giá cụ thể lấy từ cấu hình model/backend tại thời điểm sử dụng.

Anthropic / Claude

Claude hỗ trợ Prompt Caching với các thời lượng cache khác nhau.

Các cấu hình phổ biến gồm:

  • cache ngắn khoảng 5 phút;
  • cache kéo dài khoảng 1 giờ.

Cache write và cache read có cách tính riêng.

Google / Gemini

Gemini hỗ trợ Context Caching.

Một số model/API sử dụng implicit caching tự động.

Một số API hỗ trợ explicit caching.

F68 AI áp dụng theo cơ chế mà API/model tương ứng cho phép.

xAI / Grok

Grok hỗ trợ Prompt Caching tự động theo phần prefix giống nhau giữa các request.

Cache hit được nhà cung cấp ghi nhận trong usage và có cached-token pricing riêng theo model.

DeepSeek

DeepSeek sử dụng Context Caching tự động.

API ghi nhận riêng:

  • cache hit;
  • cache miss.

Phần cache hit được tính theo chính sách giá của DeepSeek tại thời điểm sử dụng.

Các model khác

Chỉ hiển thị hoặc áp dụng thông tin caching khi model/API tương ứng hỗ trợ.

Không dùng một chính sách cache duy nhất để mô tả tất cả model.

Làm thế nào để tăng khả năng cache hit?

  1. Giữ cấu hình Agent ổn định khi đang làm cùng một workflow.
  2. Giữ System Prompt và phần Ngữ Cảnh ổn định ở đầu Context khi không cần thay đổi.
  3. Tiếp tục cùng một cuộc hội thoại khi công việc vẫn cùng một mạch.
  4. Không sửa hoặc sắp xếp lại phần Context cũ nếu không cần.
  5. Dùng Phân nhánh Chat khi cần thử một hướng mới nhưng vẫn muốn giữ mạch ban đầu.

Xem usage của Cache

Trong Lịch sử sử dụng, nếu API/model trả dữ liệu tương ứng, F68 AI hiển thị các thành phần usage như:

Input · Output · Cache Read / Cache Hit · Cache Write · Credit

Không phải model nào cũng trả cùng một cấu trúc usage.

Credit cuối cùng được ghi nhận theo usage thực tế của model/API tương ứng.

Nguyên tắc dễ nhớ

Caching không làm model thông minh hơn.
Caching giúp phần Context lặp lại được xử lý hiệu quả hơn.

Context Control giúp bạn quyết định AI cần mang theo gì.
Caching giúp giảm chi phí khi phần Context đó được nhà cung cấp tái sử dụng.