最近看到
stable diffusion 有推出 TensorRT 這個新功能
可以加速算圖
所以我就想來試試看
首先先參考這兩個影片
Nvidia擴充TensorRT使用教學，算圖速度提升最多兩倍!! - 杰克艾米立
https://www.youtube.com/watch?v=9EHCjO6GDKU
杰克艾米立 有提供 bat 安裝一些需要的套件
直接安裝套件確實會有錯誤訊息
【Stable Diffusion加速插件】一秒两张图！提前体验5090 - AI小王子
https://www.youtube.com/watch?v=se6AcvIbk6U
套件安裝網址
"tensor RT stable diffusion”
https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
安裝完之後要用 tensor RT 頁籤功能先產生 trt 檔案
產生與設定的方法在兩個影片中都有提到
總之產生之後會看到資料有兩種類型檔案
然後我測試一下簡單的 512 X 512 算圖
在沒有啟用 tensor RT 的情況下為 7 秒
但是啟用 tensor RT 後為 3.7 秒
確實有比較快
但是我們一般算圖不可能沒有啟用 hires fix 放大
所以我啟用 hires fix 會出現錯誤
但是我確實有照 AI小王子的設定
新增兩個尺寸的 tensor RT 模型
但是依舊會顯示這樣的錯誤訊息
後來我研究一下
我新增了一個
最小為 384
最大為 1152
這樣的動態 tensor RT 模型
完成後類似以下這樣
這樣算圖時候就不會出現那樣的錯誤了
但是!!
發現用 hires fix 這樣算圖居然沒有比較快
例如我用 hires fix 將 640 X 384 放大3倍
沒用 tensor RT 需要 45秒
有用 tensor RT 需要 49秒
還真是神奇~
可能之後會在改善吧
而且重點是 LORA 不能直接使用
都需要用 tensor RT 將 LORA 也轉換成 tensor RT 模型才可以使用
實在是有一點麻煩 
留言板
歡迎留下建議與分享!希望一起交流!感恩!