7b模型至少需要17g显存，或者int8量化，大概9g。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
model_name = 'modelscope-agent-7b' model_cfg = { 'modelscope-agent-7b':{ 'type': 'modelscope', 'model_id': 'damo/ModelScope-Agent-7B', 'model_revision': 'v1.0.0', 'use_raw_generation_config': True, 'custom_chat': True } } tool_cfg_file =...
modelscope-agent-7b的llm.generate的过程执行时间可以提升吗？
ModelScope中，使用Qwen7b 训练modelscope-agent 微调的出现问题了吗？