Inclusion Arena: LLM được chấm điểm theo người dùng thật, Claude và DeepSeek dẫn đầu

• Benchmark AI thường dựa trên dữ liệu tĩnh, chưa phản ánh đúng cách người dùng thực sự tương tác. Inclusion AI (thuộc Ant Group) giới thiệu Inclusion Arena, một bảng xếp hạng LLM mới dựa vào hiệu suất thực tế trong ứng dụng.

• Nguyên tắc: khi người dùng trò chuyện trong ứng dụng, hệ thống ngầm gửi câu hỏi tới nhiều mô hình. Người dùng chọn câu trả lời họ thích nhất mà không biết mô hình nào tạo ra. Kết quả được tổng hợp bằng thuật toán Bradley-Terry để chấm điểm.

• Khác biệt chính so với benchmark như MMLU hay OpenLLM:

  • Dữ liệu đến từ ứng dụng thực, không phải tập mẫu cố định.

  • Người dùng là trọng tài, tạo so sánh cặp (pairwise comparison).

  • Tích hợp cơ chế placement match (xếp hạng sơ bộ) và proximity sampling (so sánh trong cùng vùng tin cậy) để giảm chi phí.

• Thử nghiệm:

  • Thời gian: đến tháng 7/2025.

  • Dữ liệu: 501.003 so sánh cặp, 46.611 người dùng hoạt động.

  • Ứng dụng tích hợp: Joyland (chat nhân vật) và T-Box (giao tiếp giáo dục).

• Kết quả ban đầu:

  • Top 5: Claude 3.7 Sonnet, DeepSeek v3-0324, Claude 3.5 Sonnet, DeepSeek v3, Qwen Max-0125.

• Ưu điểm: phản ánh sát cách doanh nghiệp và người dùng lựa chọn mô hình, đặc biệt trong môi trường đa lượt hội thoại (multi-turn dialogue).

• Hạn chế: mới có 2 ứng dụng, dữ liệu còn hạn chế. Inclusion AI muốn mở rộng “liên minh mở” để thu thêm dữ liệu từ nhiều hệ sinh thái.

• So sánh: giống Chatbot Arena (dùng Elo + Bradley-Terry), nhưng Inclusion Arena tập trung vào ứng dụng thực tế thay vì crowdsourcing chung.

• Ý nghĩa: doanh nghiệp có thêm công cụ chọn mô hình AI phù hợp, đồng thời theo dõi “cạnh tranh thực chiến” giữa các LLM. Xu hướng này cũng được củng cố bởi benchmark thực tế khác như RewardBench 2 (Allen Institute for AI).

📌 Inclusion Arena chứng minh rằng hiệu suất AI cần đo bằng trải nghiệm thật: với hơn 500.000 so sánh từ 46.611 người dùng, kết quả cho thấy Claude 3.7 Sonnet và DeepSeek v3 đang dẫn đầu. Mô hình này khác biệt so với benchmark phòng lab, khi đặt người dùng làm trọng tài. Đây có thể trở thành chuẩn mực mới giúp doanh nghiệp chọn LLM chính xác hơn.

https://venturebeat.com/ai/stop-benchmarking-in-the-lab-inclusion-arena-shows-how-llms-perform-in-production/