我们认为,AI Infra是AI产业必不可少的基础软件堆栈,“掘金卖铲”逻辑强、商业潜质高,建议投资者持续关注AI Infra相关投资机会。 摘要 在预训练大模型时代,我们可以从应用落地过程里提炼出标准化的工作流,AI Infra的投资机会得以演绎。传统ML时代AI模型通用性较低,项目落地停留在“手工作坊”阶段,流程难以统一规范。...
所谓AI Infra,全称为AI Infrastructure ,即人工智能基础架构技术,主要涵盖大模型训练和部署提供各种底层技术设施,包括处理器,操作系统,存储系统,网络基础设施,云计算平台等,是模型训练背后极其关键的“保障技术”。AI Infra是大模型行业发展至今较少被关注到的硬技术领域,但也是十分关键的领域。用李开复的话说,...
所以这是我们看到的一个很有意思的机会点,也是cloud infra在不断变化的过程。 生成式AI浪潮:哪些是增量机遇? 我们再看一下AI应用的情况。今天我们可以看到AI应用的供给在不断增加。从Hugging Face来看,2022年8月模型数量大概只有6万,到2023年9月,数量就已经涨了5倍,增速是非常快的。 目前我们看到AI应用中,有两...
从Infra角度是完全正确的, OpenAI 他们最强的应该是Infra的能力以及对数据的处理的能力,使得他们能够做很多实验,去趟很多坑,别人可能没有这个能力。 从这个效果上来说,我自己的观点是 ChatGPT 也好、GPT4 也好,实际上并没有在真正的下游任务上有特别明确的提升。当你在一个主观的场景下去用的时候,就是一个见仁见...
因此我认为 AI Infra 一定要跟应用场景结合,如果没有好的应用场景驱动,很多 infra 优化都没法做。 如果我们有 Grace Hopper 这样的统一内存架构,由于 CPU 内存和 GPU 之间的带宽大了,持久化 KV Cache 的换入换出代价会更低。但统一内存的容量成本也比主机的 DDR 内存更高,因此会对应用场景的实时性更加挑剔。
Infra(Infrastructure),是指基础设施或基础架构,在大模型的生态系统中,Infra通常指的是为支持大模型训练和部署而构建的各种底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等。 AI Infra 是提供AI中间件所需要的底层基础设施的一部分。 一些公司的大模型会作为终端能力接入各种软硬件设备,这里...
由于包含人类的情感,对你需求的理解,对你个性化的满足,这是AI比以前移动互联网时代更进一步的革新,令AI可以真正成为人类的工作助理或是陪伴者,这也带来了AI Infra比如向量数据库的机会。 l 场景化:给它装上“手”和“眼睛”。 如果你觉得ChatGPT只能问一些问题,还干不了太多事,那你需要去试试OpenAI Plugin。
张鹏:最近一段时间,两位看到什么觉得有意思、有启发的 AI 应用? 袁进辉:随着 AI 基础设施,比如大模型开源、 Infra 云服务的完善,我最近关注到一些「超级个体」,全栈工程师一个人能搞定一个很有意思的应用。比如说「艾逗比」,一个个人开发者做了一个 AI 搜索——「thinkany」。还有像之前做哄哄模拟器的王登科...
机器之心:探讨了 AI 技术的发展,AI Infra 在各层不同的趋势、值得关注的点,回到本次访谈的主题——技术演变和巨头博弈下的 AI 开源生态,我们需要更加深入地探讨一个问题:开源与封闭之争的本质究竟是什么? 黄之鹏:对,其实我们最开头聊的就是,对于商业公司来说,要不要开放权重,其实都是为了服务自身的商业目的,...