AI-Engineer-Note Tất cả những thứ liên quan đến Triton-inference-server Basic 1. Cài đặt triton-server và triton-client 1.1. Các chế độ quản lý model (load/unload/reload) 2. Sơ lược về các backend trong Triton 3. Cấu hình cơ bản khi deploy mô hình 4. Deploy mô hình 4.1 ONNX-runtime 4.2 TensorRT 4.3 Pytorch & TorchScript 4.4 Kaldi (Advanced) 5. Model Batching 6. Ensemble Model và pre/post processing Advanced Sử dụng Performance Analyzer Tool Optimizations Tối ưu Pytorch backend