Hugging Face是全球最受欢迎的大模型、数据集开源社区，被认为是大模型领域的GitHub，在大模型英文能力测试中具有相当权威性。作为国产优质大模型， Yi-34B主打更“懂”中文。对比大模型标杆GPT-4，在CMMLU、E-Eval、Gaokao 三个主要的中文指标上，Yi-34B 也具有优势，凸显中文世界的优异能力，更好地满足国内市场需...
code地址:github.com/01-ai/Yi 模型地址:01-ai (01-ai)--始智AI-wisemodel-中国AI开源创新社区-- Yi-6B.tar Yi-6B-200K.tar Yi-34B.tar Yi-34B-200K.tar 0 简介 开源Yi-34B模型可支持200K 超长上下文窗口(context window)版本,可以处理约40万汉字超长文本输入,理解超过1000页的PDF文档。零一万物创始人...
项目地址:https://github.com/xverse-ai/XVERSE-65B 🧐 【AiBase提要】:1️⃣ 深圳元象科技开源了XVERSE-65B，一个650亿参数的多语言语言模型，具备出色性能和广泛应用领域。2️⃣ 该模型采用主流的Transformer网络结构，支持16K上下文长度，适用于多轮对话和知识问答等多种任务。3️⃣ 经过充分训练，模...
Sign up for freeto join this conversation on GitHub. Already have an account?Sign in to comment Assignees No one assigned Labels solvedThis problem has been already solved Projects None yet Milestone No milestone Development No branches or pull requests ...
github.com/modelscope/s 使用QLoRA微调的脚本可以查看: github.com/modelscope/s 以下具体介绍使用LoRA+DDP+Deepspeed的脚本: 微调脚本 # Experimental environment: 2 * A100 # 2 * 72GB GPU memory nproc_per_node=2 PYTHONPATH=../../.. \ CUDA_VISIBLE_DEVICES=0,1 \ torchrun \ --nproc_per_no...
李开复的 Yi-34B 被指是对 LLaMA 的重构 近日，国外开发者 ehartford 在开源大模型 Yi-34B 的 Hugging Face 主页上评论称，除了对两个张量做重命名之外，Yi 团队完全使用了 LLaMA 架构（input_layernorm, post_attention_layernorm） https://github.com/turboderp/exllamav2/commit/6d24e1ad40d89f64b1bd3...
GitHub项目:在GitHub上有一个名为shahabmohi/Yi-34B-Chat的项目,包含了一系列经过微调的大型语言模型。这些模型基于之前发布的基础模型,并进行了量化和微调。具体细节可以在链接中找到。 链接 以下是关于Yi-34B微调过程的一些详细文档和资源: Hugging Face模型库:Hugging Face模型库的01-ai/Yi-34B页面提供了关于Yi-...
OrionStar-Yi-34B-Chat 是一款开源中英文Chat模型,由猎户星空基于Yi-34B开源模型、使用15W+高质量语料微调而成。 - OrionStarAI/OrionStar-Yi-34B-Chat
在Hugging Face社区下载量为16.8万,魔搭社区下载量1.2万。在GitHub获得超过4900个Stars。 由于性能表现强劲,多家知名公司和机构推出了基于Yi模型基座的微调模型,比如猎豹旗下的猎户星空公司推出的OrionStar-Yi-34B-Chat模型,南方科技大学和粤港澳大湾区数字经济研究院(简称IDEA研究院)认知计算与自然语言研究中心(简称CCNL...
官网地址:https://justimyhxu.github.io/projects/dmv3d/ 【AiBase提要】🚀 创新方法: Adobe与斯坦福大学研究者合作推出DMV3D方法，利用Transformer模型在30秒内生成高保真3D图像。🔄 全类别扩散模型: DMV3D采用新型单阶段全类别扩散模型，通过2D多视图图像扩散、3D NeRF重建和渲染的端到端训练，避免传统方法问题。