Last commit message Last commit date Latest commit MasterJH5574 [Model] Deepseek-v3 support (#3192) Apr 7, 2025 1434760·Apr 7, 2025 History 1,659 Commits .github 3rdparty android ci cmake cpp docs examples ios python scripts site
mlc-ai.github.io Public HTML 6 3 0 0 Updated Mar 26, 2025 mlc-llm Public Universal LLM Deployment Engine with ML Compilation Python 20,264 Apache-2.0 1,701 233 (2 issues need help) 13 Updated Mar 20, 2025 relax Public Python 157 Apache-2.0 80 14 1 Updated Mar 18, 2025 ...
一个名为 MLC LLM 的全新开源项目已在 GitHub 上线，完全本地运行无需联网，甚至集显老电脑、苹果 iPhone 手机都能运行。MLC LLM 项目介绍称：“MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上，此外还有一个高效的框架，供每个人进一步优化自己用例的模型性能。
mlc-llm[ https://github.com/mlc-ai/mlc-llm ] 致力于将大语言模型量化后用于手机本地部署。 mlc-MiniCPM[ https://github.com/OpenBMB/mlc-MiniCPM ] 提供了新的双语模型:MiniCPM 。 本人对mlc-MiniCPM的安卓界面进行了调整并将持续优化界面(基于仅对于本人而言的美观)。开源地址:[ https://github.com...
git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/lib# 启动mlc_chat_cli 下面是交互截图: 可以看到模型已经在我本地跑起来了,也可以正常进行对话。另外,我还特意看了一下显存占用:不多,4个G。 好了,以上分享了 天奇大佬力作MLC-LLM 让语言大模型运行在任何设备。希望我的分享能对你的...
git clone --recursive https://github.com/mlc-ai/mlc-llm.git 其中3rdparty下的tvm改为tvm-unity ...
GitHub 页面发现,这个项目的开发者来自卡内基梅隆大学的 Catalyst 计划、SAMPL 机器学习研究小组以及华盛顿大学、上海交通大学和 OctoML 等。他们还有一个名为 Web LLM的相关项目,该项目可以完全在网络浏览器中运行 AI 聊天机器人。 MLC LLM 使用了 Vicuna-7B-V1.1,后者是一种基于 Meta 的 LLaMA 的轻量级 LLM,效果...
GitHub已经上线了一个名叫MLCLLM的开源代码程序,该程序不需要网络就可以在本地工作,即使是旧电脑和苹果手机也可以使用。 MLC LLM计划简介:”MLCLLM是一个可以在各种硬件后端和原生软件上进行局部配置的普遍解决方案,同时也提供了一个有效的架构,可以让用户在各自的案例中对模型进行更多的优化。一切都是在当地进行,无...
一个名为 MLC LLM 的全新开源项目已在 GitHub 上线,完全本地运行无需联网,甚至集显老电脑、苹果 iPhone 手机都能运行。 5月 2 日消息,目前大多数 AI 聊天机器人都需要连接到云端进行处理,即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢?
一个名为MLC LLM的全新开源项目已在 GitHub 上线,完全本地运行无需联网,甚至集显老电脑、苹果iPhone手机都能运行。 MLC LLM 项目介绍称:“MLC LLM 是一种通用解决方案,它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上,此外还有一个高效的框架,供每个人进一步优化自己用例的模型性能。一切都在...