https://huggingface.co/OrionStarAI/Orion-14B-Chat/blob/main/Orion-14B-Chat.gguf How to convert to GGUF model python convert-hf-to-gguf.py path/to/Orion-14B-Chat --outfile chat.gguf ./main --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -m chat.gguf -p...
1月21日,傅盛在猎户星空大模型发布会上宣布,“为企业应用而生” 的开源百亿参数猎户星空大模型正式发布。猎户星空大模型(Orion-14B)是由猎户星空研发的预训练多语言大语言模型,以其140亿参数规模展现出了卓越的性能。 模型性能评测 Orion-14B模型在一个庞大且多样化的数据集上进行训练,数据集规模达到了2.5万亿token。
python convert-hf-to-gguf.py path/to/Orion-14B-Chat --outfile chat.gguf How to run generation ./main --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -m chat.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e 4.6 Examp...