TensorRT

التعريف

TensorRT هو حزمة SDK للاستدلال من إنفيديا التي تجمع نماذج ONNX أو PyTorch في محركات GPU محسّنة بشدة. تطبق دمج الطبقات والضبط التلقائي للنواة وتكميم FP16 / INT8 / FP8 ومعالجة الأشكال الديناميكية. على أجهزة Jetson Orin وDGX، تقدم TensorRT عادةً استدلالًا أسرع بـ 3 إلى 8 أضعاف من خط أساس PyTorch غير المُحسَّن. تشحن إف آي تك كل نموذج رؤية إنتاجي كمحرك TensorRT مثبت على إصدار البرنامج الثابت لـ Jetson وإصدار CUDA الدقيق لصندوق النشر — المحركات غير قابلة للنقل عبر بنى GPU المختلفة، لذا نحافظ على مصفوفة بناء لكل مراجعة أجهزة عميل.