不过，时代可能真要变了。正如 Transformer 会迎来新的挑战者，比如 Mamba；英伟达和 GPU 也会迎来下一阶段的强劲竞争者，比如 SambaNova 的 RDU。o1 发布之后，AI 推理市场正处于爆炸式增长的新起点。从 SambaNova 的 RDU 开始，人工智能领域可能正在翻开全新的一页。
在AI 芯片赛道的诸多初创公司中,SambaNova 是目前估值最高的一家独角兽。 SambaNova 成立于 2017 年,拥有三位资深的联合创始人:Rodrigo Liang、Kunle Olukotun、Christopher Ré。CEO Rodrigo Liang 毕业于斯坦福大学,在创立 SambaNova 之前,Rodrigo 领导了甲骨文和 Sun Microsystems 的工程团队,负责 SPARC 处理器和 ASIC...
SambaNova RDA(可重构数据流架构)是一个完整的全栈解决方案,在所有层面都提出了创新,包括算法、编译器、系统架构和芯片,用于下一代机器学习和高性能计算的应用。 RDA提供了一种灵活的数据流执行模型,可以实现流水线操作,支持可编程的数据访问模式,并最大限度地减少数据搬运。它不像传统架构那样具有固定的指令集架构(I...
从最基础的成本上说,由于 Sambanova 的数据流架构 RDU 不仅拥有大的片上 SRAM,同时拥有 HBM 层面的优势,相比于其他的几个单纯依靠片上 SRAM 的数据流企业,用户需要支持大型语言模型的基础设施更少。例如,想在 Llama 70B 上推理,对于有些 AI 芯片来说需要五百多个芯片,或者相当于三百多个芯片的 4 个 wafer ,而...
在2024 年的 Hot Chips 大会上,人工智能无疑成为了主角,其中,SambaNova 推出的 SN40L RDU(Reconfigurable Data Unit)备受瞩目。 这款芯片以其为万亿参数级别的 AI 模型设计的独特架构和创新性能,为高性能计算领域带来了新一轮的变革。 Part 1 SambaNova SN40L ...
现阶段,SambaNova 的产品是一套软硬件结合的全栈(full-stack)方案,Sambanova GPT Suite,它能够为非科技公司在其业务场景整合包括 GPT 在内的 LLM 服务 ,在最新一代芯片 SN40 的发布中,CEO Rodrigo Liang 表示,Sambanova 的目标是服务于 Global 2000 中的企业。
在2024 年的 Hot Chips 大会上,人工智能无疑成为了主角,其中,SambaNova 推出的 SN40L RDU(Reconfigurable Data Unit)备受瞩目。 这款芯片以其为万亿参数级别的 AI 模型设计的独特架构和创新性能,为高性能计算领域带来了新一轮的变革。 Part 1 SambaNova SN40L ...
RDU 能够实现更快的推理速率,更利于大模型的部署。连人工智能专家吴恩达也惊叹 SambaNova 的推理速率: 从最基础的成本上说,由于 Sambanova 的数据流架构 RDU 不仅拥有大的片上 SRAM,同时拥有 HBM 层面的优势,相比于其他的几个单纯依靠片上 SRAM 的数据流企业,用户需要支持大型语言模型的基础设施更少。例如,想在 ...
在2024 年的 Hot Chips 大会上,人工智能无疑成为了主角,其中,SambaNova 推出的 SN40L RDU(Reconfigurable Data Unit)备受瞩目。 这款芯片以其为万亿参数级别的 AI 模型设计的独特架构和创新性能,为高性能计算领域带来了新一轮的变革。 Part 1 SambaNova SN40L的创新架构:Cerulean 架构 ...
SambaNova OpenAIo1的发布,再次给AI领域带来了一场地震。o1能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。从SambaNova的RDU开始,人工智能领域可能正在翻开全新的一页。...