无问芯穹官网网址:https://www.infini-ai.com 无问芯穹核心产品: 以无穹大模型能效优化工具包为基础,整合国产芯片算力, 构建统一算力底座,提供包括NVIDIA、AMD、海光、天数等多种加速算力云服务,屏蔽硬件差异,开箱即用。 面向大模型私有化部署场景,整合计算加速卡、自研IP、优化工具包、行业大模型,构建大模型一体机...
最近,来自清华大学、无问芯穹和上海交通大学的研究团队发表了《MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression》,提出通过混合不同稀疏度的注意力头,使用 25% 的注意力稠密度,就可以记忆几乎 100% 的上下文。本工作现已开源,欢迎交流讨论。代码:https://github.com/thu-nics...
上海无问芯穹智能科技有限公司成立于2023年5月31日,注册地位于上海市徐汇区丰谷路315弄24号1-3层,法定代表人为夏立雪。2025年2月,无问芯穹上线DeepSeek服务。发展历程 2023年5月31日,上海无问芯穹智能科技有限公司成立。2023年11月30日,上海无问芯穹智能科技有限公司发生工商变更,股东新增北京百度网讯科技有限...
同时,夏立雪宣布无问芯穹Infini-AI云平台已集成大模型异构千卡混训能力,是全球首个可进行单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性,支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。从7月起,通过试训申请的用户,可以在Infini-AI上一键发起700亿参数规模的...
2024 年 9 月 2 日,无问芯穹(Infinigence AI)宣布完成近 5 亿元 A 轮融资,至此,在成立短短 1 年 4 个月内,无问芯穹累计已完成近 10 亿元融资。无问芯穹本次融资募集的资金将用于加强技术人才吸纳与技术研发,保持软硬协同、多元异构的技术领先优势;深入推动产品商业化发展,保持Infini-AI异构云平台...
近日,无问芯穹宣布获七家国产芯片鼎力支持,正打通DeepSeek-R1、V3在壁仞、海光、摩尔线程、沐曦、昇腾、燧原、天数智芯等七个硬件平台的多芯片适配优化,现开发者已可以通过Infini-AI异构云平台一键获取DeepSeek系列模型与多元异构国产算力服务。自春节前夕爆火,DeepSeek已牵动了国内超30家云服务商与近20家芯片...
无问芯穹于2023年9月发布的工作SemSA[204],通过对每个注意力头自动选择注意力掩膜和掩膜扩展方式,在平均稀疏度相同的情况下,大幅提升稀疏注意力大语言模型的有效上下文长达3.9倍。图注:典型注意力稀疏模式比较 🔹结构优化(Structure Optimization):结构优化技术指通过修改模型的架构或结构来达到更好的精度-效率...
无问芯穹 Infinigence 已认证账号 为了进一步通过量化降低大模型推理成本,来自上海交通大学、清华大学和无问芯穹研究团队提出了一种大模型细粒度混合精度量化与推理加速方法。文章的贡献如下: 1.针对权重矩阵内部的数值分布不均导致层间混合精度量…阅读全文 赞同1添加评论 分享收藏喜欢 RW...
上海无问芯穹智能科技有限公司联合创始人兼CEO夏立雪。成立于2023年的无问芯穹入驻在上海徐汇区的模速空间,9月2日宣布完成近5亿元A轮融资,在成立一年半内,无问芯穹累计已完成近10亿元融资。上海等地的一线国资、市场化头部机构以及券商直投等入股无问芯穹,多方协同拟化解大模型算力瓶颈。夏立雪说,“能源公司...