通过构建 7B 的小规模“教科书（Textbooks）”高质量的代码训练数据（包括从 web 上筛选的“教科书质量”数据（6B tokens）以及使用 GPT-3.5 生成的教科书和练习（1B tokens）），训练 1.3B 模型 phi-1 在代码评测集 HumanEval 上 Pass@1准确率达到了 50.6%，超越 GPT-3.5（175B，超过 2TB 训练数据）...
结合高效的 3D Attention 时空建模模块与升维隐空间解码,精准建模复杂运动,生成符合运动规律的视频;采用 flow 模型替代传统 DDPM 方案,显著提高计算效率,同时通过专用语言模型优化用户输入提示词,提升视频描述质量,并支持多种控制信息输入和自回归时序扩展。
外语学习可以极大地受益于行业大模型的语言处理能力。技术能力更好的大模型可以用于开发个性化学习计划，根...
阿里云：2024年，智能超参数统计到的阿里云中标项目达到20个，中标项目披露的中标金额为9186.8万元。20个中标项目，主要分布在金融、能源、教科、传媒等行业，以央国企客户为主。阿里云中标项目较多集中在第四季度，并且在智能编程这样的产品或者解决方案上明显发力。20个中标项目中，应用类占比最大，其次是大模型类...
Scaling Law 遇瓶颈、AI 幻觉仍未解决,全球机器学习技术大会破解大模型迷思! 从算法到应用,从技术突破到场景落地,大模型在这一年中取得了哪些具有里程碑意义的进展?11 月 14 日上午的主会场上,CSDN 高级副总裁、Boolan 首席技术专家李建忠,新加坡工程院院士、IEEE Fellow、昆仑万维荣誉顾问颜水成,传神语联创始人何恩培...
大模型推理引擎经过一年多发展,进入了一个关键的调整期。一方面,针对定制集群的分离式架构出现,很多业务方自己定制更复杂的并行和调度方案。另一方面,LLM的用法更加复杂,催生了LLM Programs使用范式。此外,非NVIDIA的NPU如雨后春笋般涌现,它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。 在这一背景下,以vLLM为代...
科大讯飞称,之所以能够在激烈的市场竞争中脱颖而出,主要得益于其在这些行业原有的深厚积累和成熟的解决方案。通过将大模型技术与现有解决方案相结合,科大讯飞能为客户提供更加高效、智能的服务。在科大讯飞的91个中标项目中,应用类项目数量占比最大,其中排名靠前的应用场景包括数字人&客服、知识问答&知识平台、智能编...
图片海外大模型行业率先起航,OpenAI 引领行业发展,谷歌成为有力竞争者。OpenAI以其领先地位逐步构建GPT生态圈,2023年11月公布的GPT-4 Turbo支持更大上下文窗口,具备视觉、语音合成等新能力;2024年1月11日上线的GPT商店,支持制作并上传各类大模型应用,促使OpenAI从软件服务商转型为生态构建者,未来有望构建人工智能的IOS...
在“AI六小虎”之外,早早跻身全球独角兽之列的中关村科金(胡润榜单:估值160亿元) 在商业化上表现不错,2024年中标多个应用类大模型项目,突出应用场景包括大模型外呼、大模型陪练、知识问答&知识平台等。2024年12月份,中关村科金宣布,该公司基于得助大模型与各行业机构一起构建了200+大模型应用,覆盖智能营销、智能客服...
向量数据库是开发和应用AI大模型过程中的必备的软件基础设施。向量数据库是专门用于存储和管理向量数据,其具备的快速检索、混合存储、向量嵌入等能力很好的解决了AI大模型技术中普遍存在的知识时效性低、输入能力有限、回答问题准确度低等问题。我们认为,向量数据库是开发和应用AI大模型过程中必备的软件基础设施。