Các kiến trúc LLM hiệu quả về chi phí: Mistral ở quy mô lớn (Kỹ thuật Hiệu năng / Chi phí) Khóa Học Đào Tạo

Mistral là hệ thống các mô hình ngôn ngữ lớn (LLM) có hiệu năng cao, được tối ưu hóa cho việc triển khai trong môi trường sản xuất với chi phí hợp lý ở quy mô lớn.

Khóa đào tạo trực tiếp do giảng viên hướng dẫn (trực tuyến hoặc tại chỗ) này được thiết kế dành cho các kỹ sư hạ tầng cấp cao, kiến trúc sư đám mây và trưởng nhóm MLOps mong muốn thiết kế, triển khai và tối ưu hóa các kiến trúc dựa trên Mistral để đạt thông lượng (throughput) tối đa với chi phí thấp nhất.

Sau khi hoàn thành khóa học này, người tham gia sẽ có khả năng:

• Triển khai các mẫu (patterns) triển khai có khả năng mở rộng cho Mistral Medium 3.
• Áp dụng các chiến lược batching, lượng tử hóa (quantization) và phục vụ (serving) hiệu quả.
• Tối ưu hóa chi phí suy luận (inference) trong khi duy trì hiệu năng.
• Thiết kế các sơ đồ topo phục vụ (serving topologies) sẵn sàng cho môi trường sản xuất dành cho các khối lượng công việc (workloads) doanh nghiệp.

Định dạng khóa học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và luyện tập thực hành.
• Thực hiện trực tiếp trong môi trường phòng thí nghiệm ảo (live-lab).

Tùy chọn tùy chỉnh khóa học

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.