Merge sẽ ra mắt Gateway vào ngày 31 tháng 3, một nền tảng quản lý mô hình ngôn ngữ lớn (LLM) trong môi trường sản xuất, giúp các nhóm kỹ thuật vận hành các mô hình này hiệu quả hơn TestingCatalog. Nền tảng này hứa hẹn mang đến một giải pháp toàn diện, đơn giản hóa quy trình làm việc và tối ưu hóa chi phí cho người dùng.
Merge ra mắt Gateway cho các nhóm quản lý LLM trong môi trường sản xuất
Tóm tắt bởi AI
1 nguồnĐiểm chính
- Merge ra mắt Gateway, nền tảng quản lý LLM trong môi trường sản xuất [1]
- Gateway giúp đơn giản hóa quy trình và tối ưu chi phí cho người dùng [1]
- Nền tảng cung cấp điểm cuối API duy nhất, dễ dàng tích hợp LLM [1]
Giới thiệu về Gateway
Gateway là một mặt phẳng điều khiển, đóng vai trò trung gian giữa ứng dụng và các nhà cung cấp LLM như OpenAI, Anthropic, Google và Bedrock TestingCatalog. Nền tảng này cung cấp một điểm cuối API duy nhất, giúp người dùng dễ dàng tích hợp và quản lý các mô hình từ nhiều nhà cung cấp khác nhau TestingCatalog.
Tính năng nổi bật
Gateway cung cấp nhiều tính năng hữu ích, bao gồm định tuyến thông minh, logic dự phòng, quản lý chi tiêu, phát hiện thông tin cá nhân (PII) và khả năng quan sát TestingCatalog. Lớp định tuyến hỗ trợ nhiều nhà cung cấp LLM, cho phép người dùng chuyển đổi giữa các nhà cung cấp một cách dễ dàng thông qua cấu hình, không cần thay đổi mã TestingCatalog. Các biện pháp kiểm soát ngân sách cũng được tích hợp để giúp người dùng quản lý chi phí hiệu quả TestingCatalog.
Lợi ích cho người dùng
Với Gateway, các nhóm kỹ thuật có thể đơn giản hóa quy trình vận hành LLM, giảm thiểu rủi ro và tối ưu hóa chi phí TestingCatalog. Nền tảng này giúp tăng cường khả năng kiểm soát, cải thiện hiệu suất và đảm bảo tuân thủ các quy định về bảo mật dữ liệu TestingCatalog.
Nghe tóm tắt
Tính năng nghe audio — sắp ra mắt
