8/7/2024 (TinAI.vn) – Andrew Ng và Team hôm qua đã chính thức cho ra mắt website Artificial Analysis – đánh giá và so sánh các mô hình AI với mục tiêu cung cấp các thông tin và chuẩn mực khách quan để hỗ trợ các nhà phát triển, khách hàng, nhà nghiên cứu và những người dùng khác của mô hình AI đưa ra quyết định sáng suốt khi lựa chọn sử dụng mô hình AI nào cho một nhiệm vụ nhất định và sử dụng nhà cung cấp dịch vụ lưu trữ nào để truy cập vào mô hình?
Andrew Ng nhà đồng sáng lập Coursera, CEO của Deep Learning AI, giảng viên thỉnh giảng khoa học máy tính Stanford, cựu giám đốc của Baidu AI Group/Google Brain đã chia sẻ trên mạng xã hội X:
Artificial Analysis kiểm tra và hiển thị những API nào?
Artificial Analysis hỗ trợ các API từ những nhà cung cấp sau: OpenAI, Microsoft Azure, Together.ai, Mistral, Google, Anthropic, Amazon Bedrock, Perplexity, Fireworks, Lepton và Deepinfra.
Nếu bạn muốn yêu cầu hỗ trợ mô hình hoặc nhà cung cấp dịch vụ lưu trữ hiện không được hỗ trợ, hãy liên hệ với đội ngũ của Artificial Analysis để được hỗ trợ.
“Chất lượng” và “tốc độ” có ý nghĩa gì trong việc phân tích các mô hình AI?
Chất lượng có nghĩa là độ chính xác và tính đầy đủ của phản hồi từ mô hình AI, được đánh giá bằng các điểm chuẩn như MMLU và Chatbot Arena Elo.
Tốc độ có nghĩa là hiệu suất của mô hình, được lưu trữ bởi nhà cung cấp dịch vụ lưu trữ. Tốc độ có thể được chia thành độ trễ và tốc độ đầu ra, và Artificial Analysis đo lường số liệu tốc độ bằng chuẩn mực tùy chỉnh riêng.
Chất lượng và tốc độ thường phải được đánh đổi với nhau vì các mô hình lớn hơn thường đạt được chất lượng tốt hơn nhưng lại cần nhiều khả năng tính toán hơn để chạy suy luận các kết quả đầu ra.
Trung Kiên
