pythonadaptertransformerllamalorastfgemmafine-tuningcolab-notebookdpohuggingfacellmqlorapeft-fine-tuning-llmunsloth UpdatedNov 6, 2024 Jupyter Notebook This repository is related to the use of large language models (LLMs) on tabular data. lorahyperparameter-tuningfine-tuninghuggingfacellmprompt-engineering...
Open source trains 5x faster - seeUnsloth Profor up to30x faster training! If you trained a model with 🦥Unsloth, you can use this cool sticker! These are utilities forUnsloth, so install Unsloth as well! For stable releases for Unsloth Zoo, usepip install unsloth_zoo. We recommend...
Unsloth可以在单张48GB GPU上微调Llama 3.3 70B Instruct，其中Llama 3.3 70B的权重占用40GB VRAM。这是Unsloth的原创功能。而如果不优化内存管理，同时加载Unsloth和vLLM，会导致VRAM双倍占用，从而需要至少80GB VRAM才能运行。而且上手非常快，只要两步：安装vLLM和Unsloth：pip install unsloth vllm。初始化Uns...
unslothai/unsloth 新手友好的 LLM 微调工具库 HelloGitHub 评分 0 人评分 开源•Apache-2.0 认领 讨论 收藏 分享 36.6k 星数 否 中文 Python 主语言 是 活跃 72 贡献者 1k Issues 是 组织 2025-03 最新版本 3k Forks Apache-2.0 协议 更多
今年入选的GitHub Accelerator项目涵盖多个领域，包括模型优化与部署、测试与评估、AR/VR应用、无人导航、隐私与安全，以及开发者工具。每个项目在其特定专业范畴内推动与应用人工智能技术，并且以开源方式促进技术的共享与发展。在模型优化与部署方面，unsloth AI项目能够降低模型微调所需要的内存资源和时间，而LLMware.ai...
QLoRA:另一种基于LoRA的PEFT,它还将模型的权重量化为4位,并引入分页优化器来管理内存峰值。结合Unsloth,可以在免费的Colab笔记本上高效运行。 Axolotl:一个用户友好且强大的微调工具,被许多最先进的开源模型使用。 DeepSpeed:在多GPU和多节点设置中高效预训练和微调LLM(在Axolotl中实现)。
QLoRA:另一种基于 LoRA 的 PEFT,它还将模型的权重量化为 4 位,并引入分页优化器来管理内存峰值。将其与Unsloth结合使用,可以在免费的 Colab 笔记本上高效运行。 Axolotl:一种用户友好且功能强大的微调工具,用于许多最先进的开源模型。 DeepSpeed:针对多 GPU 和多节点设置的 LLM 的高效预训练和微调(在 Axolotl ...
分享一个 GitHub 上新手友好的 LLM 微调工具库:unsloth该项目是用于微调和优化大型语言模型(LLM)的 Python 工具库。它通过动态量化和显存优化技术,提高了模型微调速度,同时将显存占用降低 70%-80%,并支持多种硬件配置、LLM、超长上下文任务等功能。除此之外,还提供了可直接在线体验的 Jupyter ......
介绍了如何使用 Unsloth 库对 Llama 3.1 模型进行微调。包括 SFT 的技术细节、实践步骤和优化方法。 - 微博歸藏的AI工具箱 李沐:创业一年,人间三年 2024 年 8 月 14 日晚上,李沐在他自己运营的 B 站和知乎专栏里发布了一篇创业一年的复盘文章:《创业一年,人间三年》,分享了他大模型创业第一年的进展、纠结和...
分享一个 GitHub 上新手友好的 LLM 微调工具库:unsloth该项目是用于微调和优化大型语言模型(LLM)的 Python 工具库。它通过动态量化和显存优化技术,提高了模型微调速度,同时将显存占用降低 70%-80%,并支持多种硬件配置、LLM、超长上下文任务等功能。除此之外,还提供了可直接在线体验的 Jupyter ......