开发了一种集成图像与语言的系统(DeepDR-LLM),该系统结合了大语言模型(Large Language Model, LLM)和基于图像的深度学习(Deep Learning, DL)模型(DeepDR-Transformer),旨在为PCPs提供个性化的糖尿病管理建议。
在英语环境下,DeepDR-LLM系统在“没有不适当内容的建议”中占比71%,与PCP持平,而在中文环境中,这一比例更是达到了77%,超过了LLaMA和PCP(图3)。 在“确保内容完整性”方面,DeepDR-LLM在英语和中文评估中均表现良好,分别有36%和63...
上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,以及新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果以“Integrated image-based deep learning and language models for primary diabetes care”为题于...
该研究开发的DeepDR-LLM系统通过集成LLM和DL技术,为初级糖尿病护理提供了全面的解决方案。系统在多个方面表现出色,包括个性化管理建议、实时DR筛查和提高患者的自我管理能力。 在糖尿病护理领域,糖尿病视网膜病变(Diabetic Retinopathy, DR)的筛查仍然是一个重要的公共卫生挑战。全球有超过5亿人患有糖尿病,其中80%生活在...
上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,携手新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果于2024年7月19日在Nature Medicine...
近日,上海交通大学电子信息与电气工程学院计算机系/教育部人工智能重点实验室盛斌教授团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,以及新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果以“In...
针对当前的技术空白和临床的实际需求,本研究成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统DeepDR-LLM。 该系统由LLM模块和DeepDR-Transformer模块组成,科研团队创新性地提出融合适配器(Adaptor)和低秩自适应(Low-Rank Adaptation, LoRA)协同优化技术,构建了DeepDR-LLM多模态大模型(图2),可适...
针对当前的技术空白和临床的实际需求,该团队成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统 DeepDR-LLM。其可适配包括LLaMA在内的大语言模型,LLM 模块将训练网络层与大语言模型的固有权重参数相融合,突破低算力资源约束下的多模态大模型优化的瓶颈,并进一步基于37.2 万条基层慢病诊疗和慢病管...
DeepDR-LLM的出现改变了这一切。这个系统集成了大语言模型（LLM）和深度学习的优势，通过分析患者的医学影像，不仅能辅助诊断糖尿病视网膜病变，还能根据病情发展提出个性化的管理方案。值得一提的是，DeepDR-LLM系统的开发过程中融合了大量的临床数据和知识，确保了其在实际使用中的适用性和准确性。研发团队通过对37.2万...