2024 年 1 月 19 日,业界首个网络安全大模型评测平台 SecBench 正式发布,该平台由腾讯朱雀实验室和腾讯安全科恩实验室,联合腾讯混元大模型、清华大学江勇教授 / 夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实验室 OpenCompass 团队共同建设,主要解决开源大模型在网络安全应用中安全能力的评估难题,旨...
模型接入:在模型接入上,SecBench同时支持HuggingFace开源模型、大模型API服务、本地部署大模型自由接入,还支持用户自定义模型。 模型评测:在模型评测上,SecBench支持多任务并行,加快评测速度。此外,SecBench已内置多个评估指标以支持常规任务结果评估,也支持自定义评估指标满足特殊需求。 结果输出:在结果输出上,SecBench不仅...
SecBench平台已经初步建立起围绕网络安全垂类领域的评测能力,并对经典GPT模型及小规模开源模型进行了评测。未来,随着更多商用大模型和安全大模型的接入,SecBench平台将支持模型能力对比等高级功能,进一步推动网络安全大模型的发展。 以GPT-4为例,SecBench平台对其进行了全面评估。结果显示,GPT-4在知识记忆、逻辑推理、理...
2024年1月19日,业界首个网络安全大模型评测平台SecBench正式发布,该平台由腾讯朱雀实验室和腾讯安全科恩实验室,联合腾讯混元大模型、清华大学江勇教授/夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实验室OpenCompass团队共同建设,主要解决开源大模型在网络安全应用中安全能力的评估难题,旨在为大模型在安全...
数据接入:在数据接入上,SecBench支持多类型数据接入,如选择题、判断题、问答题等,同时支持自定义数据接入及评测prompt模板定制化。 模型接入:在模型接入上,SecBench同时支持HuggingFace开源模型、大模型API服务、本地部署大模型自由接入,还支持用户自定义模型。
2024年1月19日,业界首个网络安全大模型评测平台SecBench正式发布,该平台由腾讯朱雀实验室和腾讯安全科恩实验室,联合腾讯混元大模型、清华大学江勇教授/夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实验室OpenCompass团队共同建设,主要解决开源大模型在网络安全应用中安全能力的评估难题,旨在为大模型在安全...
【国内首个网络安全大模型评测平台SecBench发布】1月19日,业界首个网络安全大模型评测平台SecBenc正式发布。该平台由腾讯朱雀实验室和腾讯安全科恩实验室,联合腾讯混元大模型、清华大学江勇教授/夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实验室OpenCompass团队共同建设,主要解决开源大模型在网络安全应用...
国内首个网络安全大模型评测平台 SecBench 发布;行业首发,弥补大模型在网络安全垂类领域评测空白。http://t.cn/A6jMMatQ
SecBench评测框架 SecBench网络安全评测框架可以分为数据接入、模型接入、模型评测、结果输出四个部分,通过配置文件配置数据源、评测模型、评估指标,即可快速输出模型评测结果。 数据接入:在数据接入上,SecBench支持多类型数据接入,如选择题、判断题、问答题等,同时支持自定义数据接入及评测prompt模板定制化。
SecBench平台(Security Benchmark for Large Language Models)于2024年1月19日正式发布,旨在解决开源大模型在网络安全应用中安全能力的评估难题。该平台通过构建全面的评测基准和评测框架,为大模型在安全领域的落地应用提供科学依据,加速大模型的实用化进程。 SecBench平台的核心功能 多维度评估体系 SecBench平台从能力、...