虎博科技的TigerBot-7b-base-v2(基座模型)在1.5TB多语言数据上充分训练,千卡耗时一个月,投入算力成本约300万,在OpenAI采用的公开NLP7项任务评测中,超过同等LLaMA、Bloom等主流开源模型达15%-30%。虎博科技团队认为,TigerBot的base-v2是业内同等大小模型里能力最强的base model之一,适合各领域开发者以此为基础继续预...
虎博科技在大模型研发上选择走开源路线。此次开源内容包含模型、代码、数据三部分,包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理 180B 模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。 目前,这些内容已经全部在Github中发布(链接见...
更新一:基座模型经评测已超部分主流开源模型近30% 虎博科技的TigerBot-7b-base-v2(基座模型)在1.5TB多语言数据上充分训练,千卡耗时一个月,投入算力成本约300万,在OpenAI采用的公开NLP 7项任务评测中,超过同等LLaMA、Bloom等主流开源模型达15%-30%。虎博科技团队认为,TigerBot的base-v2是业内同等大小模型里能力最强...
虎博科技在大模型研发上选择走开源路线。此次开源内容包含模型、代码、数据三部分,包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理 180B 模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。 目前,这些内容已经全部在Github中发布(链接见...
虎博科技的TigerBot-7b-base-v2(基座模型)在1.5TB多语言数据上充分训练,千卡耗时一个月,投入算力成本约300万,在OpenAI采用的公开NLP 7项任务评测中,超过同等LLaMA、Bloom等主流开源模型达15%-30%。虎博科技团队认为,TigerBot的base-v2是业内同等大小模型里能力最强的base model之一,适合各领域开发者以此为基础继续...
虎博科技在大模型研发上选择走开源路线。此次开源内容包含模型、代码、数据三部分,包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理 180B 模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。
虎博科技在大模型研发上选择走开源路线。此次开源内容包含模型、代码、数据三部分,包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理 180B 模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。
值得一提的是，开源版本中，TigerBot-7B-base的综合表现优于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的参数量达1800亿，或是目前业内最大的大规模语言模型，而高达100G的预训练数据，更被视为目前业内最大且质量最优的开源预训练数据之一。同时，虎博科技还与广大开发者共享了大模型应用开发所需的全套...
据称,其中 TigerBot-7B-base 的表现“优于 OpenAI 同等可比模型” ,开源代码包括基本训练和推理代码,双卡推理 180B 模型的量化和推理代码。数据包括 100G 预训练数据,监督微调 1G 或 100 万条数据。 IT之家小伙伴们可以在这里找到 GitHub 的开源项目。
值得一提的是,TigerBot-7B-base的综合表现优于同等可比的OpenAI和BLOOM,TigerBot-180B-research 的参数量达1800亿,或是目前业内最大的大规模语言模型,而高达100G的预训练数据,更被视为目前业内最大且质量最优的开源预训练数据之一。同时,虎博科技还将开放大量的金融、法律、百科等领域专业数据,供应用开发者使用...