开发了一种集成图像与语言的系统(DeepDR-LLM),该系统结合了大语言模型(Large Language Model, LLM)和基于图像的深度学习(Deep Learning, DL)模型(DeepDR-Transformer),旨在为PCPs提供个性化的糖尿病管理建议。
DeepDR-LLM系统由LLM模块和DeepDR-Transformer模块构成,科研团队创新性地提出了结合适配器(Adaptor)和低秩自适应(Low-Rank Adaptation, LoRA)技术的多模态大模型优化策略,利用37.2万条基层慢病诊疗和管理数据和超50万张眼底图像对DeepDR-LLM多...
开发了一种集成图像与语言的系统(DeepDR-LLM),该系统结合了大语言模型(Large Language Model, LLM)和基于图像的深度学习(Deep Learning, DL)模型(DeepDR-Transformer),旨在为PCPs提供个性化的糖尿病管理建议。
近日,上海交通大学电子信息与电气工程学院计算机系/教育部人工智能重点实验室盛斌教授团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,以及新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果以“In...
近日,上海交通大学电子信息与电气工程学院计算机系/教育部人工智能重点实验室盛斌教授团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,以及新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果以“In...
近日,上海交通大学电子信息与电气工程学院计算机系/教育部人工智能重点实验室盛斌教授团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,以及新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果以“In...
DeepDR-LLM系统在糖尿病初级护理中的应用,特别是在资源有限的环境中,能够显著改善患者的健康管理行为,并为医生提供有效的辅助工具,最终提升整体医疗质量。 糖尿病视网膜病变(Diabetic Retinopathy, DR)是糖尿病患者常见的并发症之一,严重者可导致视力丧失。据估计,2021年全球有超过5亿人患有糖尿病,其中80%生活在低收入...
针对当前的技术空白和临床的实际需求,该团队成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统 DeepDR-LLM。其可适配包括LLaMA在内的大语言模型,LLM 模块将训练网络层与大语言模型的固有权重参数相融合,突破低算力资源约束下的多模态大模型优化的瓶颈,并进一步基于37.2 万条基层慢病诊疗和慢病管...
该研究开发的DeepDR-LLM系统通过集成LLM和DL技术,为初级糖尿病护理提供了全面的解决方案。系统在多个方面表现出色,包括个性化管理建议、实时DR筛查和提高患者的自我管理能力。 在糖尿病护理领域,糖尿病视网膜病变(Diabetic Retinopathy, DR)的筛查仍然是一个重要的公共卫生挑战。全球有超过5亿人患有糖尿病,其中80%生活在...