llama_factory提供了服务构建的工具,一个脚本完成服务构建、推理和API调用。 1.基于openai风格推理 (1) 执行命令sh api_demo.sh #!/bin/bashCUDA_VISIBLE_DEVICES=2API_PORT=10099python ../../src/api_demo.py\--model_name_or_path /workspace/test/LLaMA-Factory/models/Baichuan2-13B-Chat-sft-0430\--...