为了高效构建SecBench数据集并评测具有挑战性的问答题,我们提出了基于大模型的自动化数据标注和评测流程。每一条SecBench的数据都被准确地自动标注到其对应的评测维度。此外,通过构建自动化的问答题评测流程,SecBench能够高效地评估模型在回答问答题(SAQ)方面的能力。 SecBench包含44823道选择题和3087道问答题,从质和量...
2024年1月19日,业界首个网络安全大模型评测平台SecBench正式发布,该平台由腾讯朱雀实验室和腾讯安全科恩实验室,联合腾讯混元大模型、清华大学江勇教授/夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实验室OpenCompass团队共同建设,主要解决开源大模型在网络安全应用中安全能力的评估难题,旨在为大模型在安全...
模型评测:在模型评测上,SecBench 支持多任务并行,加快评测速度。此外,SecBench 已内置多个评估指标以支持常规任务结果评估,也支持自定义评估指标满足特殊需求。结果输出:在结果输出上,SecBench 不仅可以将评测结果进行前端页面展示,还可以输出模型评测中间结果,如配置文件、输入输出、评测结果文件等,支持网络安全大...
SecBench平台不仅将评测结果进行前端页面展示,还输出模型评测的中间结果,如配置文件、输入输出、评测结果文件等,方便研发人员进行数据分析。 SecBench平台的应用实践 SecBench平台已经初步建立起围绕网络安全垂类领域的评测能力,并对经典GPT模型及小规模开源模型进行了评测。未来,随着更多商用大模型和安全大模型的接入,SecBe...
SecBench网络安全大模型评测框架 数据接入:在数据接入上,SecBench支持多类型数据接入,如选择题、判断题、问答题等,同时支持自定义数据接入及评测prompt模板定制化。 模型接入:在模型接入上,SecBench同时支持HuggingFace开源模型、大模型API服务、本地部署大模型自由接入,还支持用户自定义模型。
SecBench评测框架 SecBench网络安全评测框架可以分为数据接入、模型接入、模型评测、结果输出四个部分,通过配置文件配置数据源、评测模型、评估指标,即可快速输出模型评测结果。 数据接入:在数据接入上,SecBench支持多类型数据接入,如选择题、判断题、问答题等,同时支持自定义数据接入及评测prompt模板定制化。
SecBench网络安全评测框架可以分为数据接入、模型接入、模型评测、结果输出四个部分,通过配置文件配置数据源、评测模型、评估指标,即可快速输出模型评测结果。 数据接入:在数据接入上,SecBench支持多类型数据接入,如选择题、判断题、问答题等,同时支持自定义数据接入及评测prompt模板定制化。
自SecBench 上线发布以来,团队持续补充高质量的评测数据,跟进新发布的大模型开展评测。SecBench 技术文章现已发布在 arXiv,期待与学术界和工业界的合作伙伴共创共赢,推动网络安全大模型的发展。 1 引言 在大模型时代,除了评估大模型的通用指标外,评估其在专家领域的能力也尤为重要。在网络安全领域,现有的评测数据集...
SecBench除了围绕上述三个目标进行建设外,还设计了两个网络安全特色能力:安全领域评测和安全证书考试评估。安全领域评测从垂类安全视角,评测大模型在九个安全领域的能力;安全证书考试评估支持经典证书考试评估,评测大模型通过安全证书考试的能力。 二、SecBench评测框架 SecBench网络安全评测框架可以分为数据接入、模型接入...
SecBench平台的设计架构十分精巧,主要从能力、语言、领域和证书考试四个维度对大语言模型进行全面评估。能力维度主要评估LLM在知识记忆、逻辑推理、理解表达等方面的能力,特别是其在安全领域的应用能力。语言维度则支持中文和英文两种语言的评测,确保LLM在不同语言环境下的安全性。领域维度覆盖数据安全、应用安全、网络与基...