熟悉的Santa Clara,熟悉的会场,时隔两年,MLSys大会再次在加州举办。在过去这两年内里,大模型得到了爆炸式的推广和发展,MLSys的社区越来越大,今年的MLSys大会现场也非常火热。5月13日,伴随着OpenAI官宣 GPT-…
Code: ~ Abstract: 数据格式的创新对于机器学习(ML)的扩展至关重要,这反过来又促进了突破性的 ML 功能。然而,即使存在低精度格式,模型权重在训练过程中也往往同时以高精度和低精度存储。此外,新出现的定向数据格式(如 MX9、MX6 等)可能需要多个低精度权重副本。为了降低权重的内存容量需求,本文探索了即时量化(just...
2024年MLsys算法博主推荐清单 大家好!今天给大家带来一份2024年MLsys算法领域的博主推荐清单。这个清单主要是学术界的大佬们,还有一些优秀的同龄人和PhD们。希望对大家有所帮助! 学术界大佬们 📚 Hazy Research (Christopher Ré组) Beidi Chen组 Atlas Wang组 Song Han组(包括他的学生组) Celine Lin组(专注于各...
在机器学习系统MLSys中,自监督学习和无监督学习目前是非常有前途的研究方向。自监督学习通过生成任务来学习数据的好的表示形式,它在学习过程中不需要外部的标注信息,能够让模型通过预测输入数据中的某些部分或特征来学习有用的信息。而无监督学习则着重于自动发现数据集中的结构,通过对数据本身的分析,发掘复杂数据中的隐...
[FPGA2024] FlightLLM: Efficient Large Language Model Inference with a Complete M 清华大学NICS-EFC实验室 1601 0 DeepSeek创始人梁文峰超燃采访,令人热血沸腾,转粉了 悟空大师妹 3003 0 [ICML2024] Evaluating Quantized Large Language Models 清华大学NICS-EFC实验室 1092 0 [SOCC24 Special Session] ...
[MLSys 2024 Best Paper Award] AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration - mit-han-lab/llm-awq
MLSys与AI编译器TVM存在紧密的关联关系。MLSys(Machine Learning Systems)是一个关注于机器学习系统设计和实现的领域,而TVM作为一个开源的AI编译器堆栈,它专注于为各种硬件后端优化深度学习模型。二者的关系主要体现在:TVM通过提供一个编译和运行时的支持环境, 帮助MLSys更高效地在不同硬件上部署机器学习模型。TVM可以视...
值得注意的是,MLSys团队在软件工程领域同样取得了显著成就,最近一篇关于“用于WebAssembly逆向工程的多模态学习”的论文获得了2024年ACM SIGSOFT杰出论文奖,表明该团队在软件开发与机器学习交叉领域的深厚积累。这些工作展示了机器学习在解决实际问题中的巨大潜力,且反映了UCSanDiego在推动AI研究与技术转化方面的使命与决心。
在软件工程领域,MLSys团队的另一篇论文'用于WebAssembly逆向工程的多模态学习'也取得了重大成就,荣获2024年软件工程创新与发展国际组织ACM SIGSOFT杰出论文奖。这一荣誉再次证明了MLSys计划在AI领域的领先地位。 未来四年,外籍工作者留美或将大开绿灯,而美国这三位数开头的电话号码,很可能是诈骗。在这样的背景下,MLSys计...
在创新方面,我尝试为MLSys添砖加瓦,为其发展贡献自己的力量,我认为,创新是推动MLSys不断发展的关键动力,通过不断尝试新的方法和思路,我们可以为MLSys带来更多的可能性,使其更好地服务于各个领域,在2024年,我参与了多个与MLSys相关的创新项目,并主要负责探索如何将MLSys更好地应用于自然语言处理领域,通过不断学习和...