4 cách tối ưu token khi xây dựng hệ thống Multi-Agent AI

Tổng quan & Đáp án nhanh: 4 cách tối ưu token khi xây dựng hệ thống Multi-Agent AI

Một trong những nguyên nhân khiến LLM tiêu tốn nhiều token là phải liên tục đọc lại cùng một bộ hướng dẫn hệ thống trong mỗi lần gọi mô hình. Đây thường là những prompt rất dài mô tả vai trò của Agent, quy trình xử lý, quy tắc sử dụng công cụ hay các nguyên tắc bảo mật.

Dưới đây là quy trình thực hiện chi tiết từng bước kèm bảng tham chiếu nhanh đã được kiểm chứng thực tế.

---

Hướng dẫn thực hiện chi tiết từng bước

Bước 1: Nếu AI đã từng giải quyết một vấn đề trước đây, liệu có cần phải

• Nếu AI đã từng giải quyết một vấn đề trước đây, liệu có cần phải gọi LLM để tạo lại câu trả lời từ đầu?

import numpy as np
from sentence_transformers import SentenceTransformer

# Loading a free, local model to convert text into embeddings
embedder = SentenceTransformer('all-MiniLM-L6-v2')

semantic_cache = {}
SIMILARITY_THRESHOLD = 0.90

def cosine_similarity(vec1, vec2):
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

def route_and_respond(user_query):

    query_vector = embedder.encode(user_query)

    # Semantic Cache
    for cached_vector, past_response in semantic_cache.values():
        if cosine_similarity(query_vector, cached_vector) >= SIMILARITY_THRESHOLD:
            return f"[Served from Cache] {past_response}"

    # Model Routing
    if "summarize" in user_query.lower() or len(user_query) < 100:
        response = call_free_local_agent(user_query)
    else:
        response = call_heavy_reasoning_agent(user_query)

    semantic_cache[user_query] = (query_vector, response)

    return response

def call_free_local_agent(prompt):
    return "Action completed by local, zero-cost model."

def call_heavy_reasoning_agent(prompt):
    return "Action completed by complex orchestration agent."

Bước 2: Semantic Caching được xây dựng dựa trên ý tưởng đó

• Semantic Caching được xây dựng dựa trên ý tưởng đó. Thay vì so sánh từng từ, hệ thống chuyển câu hỏi thành các vector embedding và so sánh mức độ tương đồng về ngữ nghĩa.

Bước 3: Có thể sử dụng những từ hoàn toàn khác nhau nhưng lại mang cùng một ý định

• có thể sử dụng những từ hoàn toàn khác nhau nhưng lại mang cùng một ý định. Nếu embedding của hai câu hỏi đủ giống nhau, hệ thống có thể lấy luôn câu trả lời đã lưu trong cache mà không cần gọi LLM lần nữa.

Bước 4: Điều này không chỉ giảm đáng kể chi phí token mà còn giúp rút

• Điều này không chỉ giảm đáng kể chi phí token mà còn giúp rút ngắn thời gian phản hồi đối với những câu hỏi lặp lại.

Bước 5: Sau khi hiểu bốn chiến lược trên, hãy xem một ví dụ đơn giản kết

• Sau khi hiểu bốn chiến lược trên, hãy xem một ví dụ đơn giản kết hợp hai kỹ thuật là Semantic Caching và Model Routing .

---

📊 Bảng cấu trúc tối ưu câu lệnh (Prompt) hiệu quả cao

Thành phần trong Prompt	Vai trò cốt lõi	Ví dụ áp dụng thực tế
1. Vai trò (Role)	Định hình chuyên môn của AI	“Đóng vai chuyên gia phân tích dữ liệu / kế toán trưởng…”
2. Bối cảnh (Context)	Cung cấp dữ liệu & mục tiêu cụ thể	“Tôi có bảng số liệu bán hàng quý 4 tại thị trường Việt Nam…”
3. Nhiệm vụ (Task)	Chỉ định rõ các bước cần xử lý	“Hãy phân tích 3 điểm nghẽn và đề xuất giải pháp…”
4. Định dạng (Format)	Kiểm soát hình thức kết quả đầu ra	“Trình bày dưới dạng bảng Markdown ngắn gọn, dễ copy”

---

[!TIP] Kinh nghiệm thực tế tại Việt Nam: Khi thao tác nhập công thức, câu lệnh hoặc phím tắt trong quá trình 4 cách tối ưu token khi xây dựng hệ thống multi-agent ai, bạn nên chuyển tạm bộ gõ Unikey / EVKey sang chế độ tiếng Anh (E) bằng phím tắt Ctrl + Shift hoặc Alt + Z để tránh lỗi nuốt chữ hoặc nhảy dấu ngoài ý muốn.

---

🔗 Tiện ích & Công cụ thực chiến liên quan

• Tính lương Gross sang Net & thuế TNCN tự động: Bảng tính lương Gross Net chuẩn cập nhật mới nhất.
• Kho tài nguyên đồ họa & font chữ Việt hóa: Tải mẫu PSD chuẩn chất lượng cao.
• Tạo mã QR WiFi & VietQR không giới hạn: Tạo mã QR miễn phí không hết hạn.
• Xem lịch âm dương & ngày hoàng đạo: Tra cứu lịch vạn niên & ngày hoàng đạo.