从笔者评测过的其他开源模型来说,baichuan-13B毫无疑问是当下开源大模型里面表现最优秀的,包括差不多同期开源的ChatGLM2-6B(虽然参数量不对等)。在中文任务上,Baichuan-13B不仅仅是榜单上的开源最强者,从实际体验上来说,它也确实做到了表现最强。 不过如果加上闭源的模型的话,笔者亲测Baichuan-13B跟GPT-4、C
继 6 月发布了 7B 预训练底座模型后，百川智能团队于近日最新开源了 13B 模型，包括预训练底座模型 Baichuan-13B-Base 和 chat 对齐模型 Baichuan-13B-Chat，同时支持商用。目前为止中文社区已经陆续发布了大量的开源模型，主要集中在 6B-13B 之间。那么百川开源的这个模型相对于其他国内外有代表性的模型表现怎么样，...
由于之前Firefly项目已经支持对Baichuan-7B进行微调,经过简单的代码测试后,项目很快就无缝支持微调Baichuan-13B。 Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型,在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base)...
在实际应用中,Baichuan-13B可广泛应用于自然语言理解、智能问答、文本生成等多个领域。例如,在智能问答系统中,Baichuan-13B可以准确地理解用户的问题,并给出高质量的回答。在文本生成方面,Baichuan-13B能够生成流畅、自然的文本,为文学创作、新闻报道等领域提供有力支持。 除了在实际应用中的广泛用途,Baichuan-13B还具有...
Baichuan-13B-Chat模型具备强大的对话能力,可以生成自然、流畅的语言,并且能够根据上下文进行智能回复。在实际使用中,该模型能够理解并处理复杂的语义信息,为用户提供高质量的对话体验。 简洁的部署方式 Baichuan-13B-Chat模型提供了int8和int4量化版本,这些版本在几乎没有效果损失的情况下大大降低了部署所需机器资源。甚...
Baichuan-13B 保姆级微调范例 在外卖评论数据集上,微调后测试集acc由0.8925提升到0.9015约提升了1个百分点。 在本例中,我们使用几乎相同的流程和方法来微调BaiChuan-13B以更好地处理命名实体识别任务。 实验结果显示,在NER任务上经过微调,我们的f1-score取得了不可忽略的提升(0.4313—>0.8768)。
Baichuan-13B 使用了 ALiBi 线性偏置技术,相对于 Rotary Embedding 计算量更小,对推理性能有显著提升;与标准的 LLaMA-13B 相比,平均推理速度 (tokens/s) 实测提升 31.6%: 测试环境和参数:GPU A100-SXM4-80G, PyTorch 2.0.0+cu117, transformers 4.29.1, batch size = 1, 生成长度 = 2048, 精度 fp16, 基...
Baichuan-13B 是由百川智能继Baichuan-7B之后开发的包含 130 亿参数的开源可商用的大规模语言模型,在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。Baichuan-13B 有如下几个特点: ...
Baichuan-13B的GitHub地址: https://github.com/Baichuan-inc/Baichuan-13B Baichuan-13B的HuggingFace地址: https://huggingface.co/baichuan-inc/Baichuan-13B-Chat https://huggingface.co/baichuan-inc/Baichuan-13B-Base Baichuan-13B的魔搭社区ModelScope地址:https://modelscope.cn/models/baichuan-inc/Baichuan-1...