◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。
如何在 torch_tensorrt 中设置动态批次大小？
ID:21156 / 打印
如何在 torch_tensorrt 中设置动态批次大小
在部署推理任务时，输入批次大小通常是动态变化的。因此，需要设置一个动态批次大小，以适应不同场景的需求。在 torch_tensorrt 中，可以通过指定最小、最优和最大批次大小来实现动态批次大小。
以下是如何修改你的代码以设置动态批次大小：
修改后的代码：
inputs = [ torch_tensorrt.Input( min_shape=[1, image_channel, image_size, image_size], opt_shape=[1, image_channel, image_size, image_size], max_shape=[100, image_channel, image_size, image_size], # 根据实际需求设置最大批次大小 device=device ) ]
通过设置最大批次大小为 100，模型将能够处理批次大小在 1 到 100 之间的输入。具体设置范围取决于硬件和显存限制。
