为推动训练更智能可靠的AI大模型,研究团队以保障数据安全性为前提,在数据处理的各环节均实施了多项安全加固措施,使WanJuan-CC成为目前开源CC语料中首个在毒性(Toxic)、色情(Porn)和个人隐私三方面同时进行了安全加固的英文语料,因而在价值对齐方面具有更高的可靠性。 与部分开源CC语料多维度对比,在毒性、色情和个人...
对Wanjuan-CC、Redpajama和RefinedWeb数据集分别抽样100K条数据,使用PerspectiveAPI对7个安全维度进行评分,并根据得分绘制不安全性分布曲线,通过计算曲线下面积作为不安全性的度量指标。由下表结果可看出,Wanjuan-CC在各个维度上的不安全性最低,表明其具有更高的安全性。 WanJuan-CC与开源英文CC语料安全性对比 3.4 模...
WanJuan-CC是以CommonCrawl为基础,经过数据抽取,规则清洗,去重,安全过滤,质量清洗等步骤得到的高质量数据。 Resources Readme Activity Custom properties Stars 12 stars Watchers 4 watching Forks 0 forks Report repository Releases No releases published Packages No packages published Contributors 2...
万卷-CC(Wanjuan-CC) 是从CommonCrawl获取的一个 1T Tokens 的高质量英文网络文本数据集。结果显示,与各类开源英文CC语料在 Perspective API 不同维度的评估上,WanJuan-CC都表现出更高的安全性。此外,通过在4个验证集上的困惑度(PPL)和6下游任务的准确率,也展示了WanJuan-CC的实用性。WanJuan-CC在各种验证...
统一全文 WanJuan-CC 字母大小写main qiangqiang199 committed Apr 18, 2024 Verified 1 parent 51c6098 commit 1cf03f8 Showing 1 changed file with 7 additions and 7 deletions. Whitespace Ignore whitespace Split Unified 14 changes: 7 additions & 7 deletions 14 README.md Original file ...
WanJuan-CC是以CommonCrawl为基础,经过数据抽取,规则清洗,去重,安全过滤,质量清洗等步骤得到的高质量数据。 - Releases · opendatalab/WanJuan2.0-WanJuan-CC
https://powanjuan.cc IP地址:103.240.181.201:443(香港特别行政区)服务器: Apache 站点标题:饭饭小说,免费全本小说,手机小说网,小说在线阅读,txt小说下载网站 检测时间:2021-9-29 4:47:26(耗时:18秒)立即更新 评测报告 检测部署SSL/TLS的服务是否符合行业最佳实践,PCI DSS支付卡行业安全标准,Apple ATS规范。
暮沉cc作品集人在江湖十八阕 下三阕:魇夜梦难成,忠义古难全 作者:暮沉cc 字数:0 更新:18-03-27 状态:连载 分类阅读 玄幻魔法 武侠修真 都市言情 历史军事 侦探推理 网游动漫 科幻小说 恐怖灵异 言情小说 其他类型 经部 史书 子部 集部 四库之外 古典书籍 诗歌 宋词 排行榜 总点击榜 总推荐榜 月...
作者:下雨天的cc 评分: 0.0 (0人已评) 内容介绍 作品信息 本书公告 即将毕业的大四文学系女神安晴人,出演了她人生中的第一部校园宣传影视片而在网络上迅速走红,从此踏入娱乐圈,开始了她的梦想之路。但是前进的道路困难重重,她究竟能否闯出自己的一片天地?童星出身的人气偶像江泽天一边读书一边拍戏,25岁不到...
作者:鱼刺cc 字数:609035 更新:19-06-24 状态:连载 在女频粉红网站工作的男编辑余次忽然被一个叫做‘女主和女配为啥不能百合’的系统绑定了! 然后!他摇身一变成了粉红网文里的炮灰女配! 干翻鱼唇男主,推倒女主!走上人生巅峰—— 等等,这剧本怎...分类...