GPU共享系统为AIStation推理平台自研技术,针对使用GPU作为计算资源的应用提供多容器(或服务)共享同一块GPU加速卡的能力。用户可对多种架构的GPU加速卡进行细粒度的资源分配、调度,并通过计算请求量(QPS)、CPU使用率、内存使用率等指标自动进行扩缩容操作,能够保证推理服务快速响应在线请求、提升GPU资源的复用率,同时对底...