当你遇到“no available memory for the cache blocks”这样的错误时,通常意味着GPU的内存不足以支持当前的操作。为了解决这个问题,你可以尝试增加gpu_memory_utilization参数的值。下面我将根据提供的提示来逐步解答你的问题: 确认gpu_memory_utilization参数的含义和作用: gpu_memory_utilization参数用于控制在初始化引擎...
ValueError: No available memory for the cache blocks. Try increasing `gpu_memory_utilization` when initializing the engine. 1. 我的服务器的大小大概在30G 这是模型运行期间占用的内存大小 Memory profiling results: total_gpu_memory=31.73GiB initial_memory_usage=26.64GiB peak_torch_memory=26.45GiB memor...