Справочник по форматам ML моделей
ONNX (Open Neural Network Exchange)
Описание: Открытый стандарт для представления моделей машинного обучения. Позволяет переносить модели между различными фреймворками (например, из PyTorch в TensorFlow).
Плюсы: Универсальность, широкая поддержка.
Минусы: Может не поддерживать самые новые или кастомные операторы.
TensorRT
Описание: SDK от NVIDIA для высокопроизводительного инференса на GPU NVIDIA. Принимает модели (часто в формате ONNX) и оптимизирует их под конкретное железо.
Плюсы: Максимальная производительность на NVIDIA, поддержка низких точностей (FP16/INT8).
Минусы: Работает только на GPU от NVIDIA.
OpenVINO (Open Visual Inference & Neural network Optimization)
Описание: Инструментарий от Intel для оптимизации и развертывания нейронных сетей на железе Intel (CPU, iGPU, VPU).
Плюсы: Высокая производительность на процессорах Intel, бесплатный.
Минусы: В первую очередь ориентирован на Intel, поддержка GPU других производителей ограничена.