Have been using the trainer functionality for awhile, but in trying it with the new Hugging Face's SmolLM 135M model, no matter what the dataset, I'd end up with EOS token warnings (see below). It's possible this is just a new model quir...
Hi, Thanks for the great work. I'm just in general curious about whether there is a reason to use the Chinese version of '|' and '▁'instead of the '|' , ‘_’ which is standard ASCII characters in eos_token and bos_token. ('<|end▁of▁senten...
BOS是一条基于EOSIO代码而创建的区块链,是众多EOS侧链中的一个。从BOS的官网上可以看到,BOS的目标是建立一条支持更多DApp,能把更多现实需求和区块链结合起来的EOSIO生态链。 与EOS主网相比,BOS针对资源模式、治理方式、DPOS等共识机制方面,做了一些修改。同时,发行了自己的代币BOS,可以在BOS链上使用。 从BOS理念...
BOS是一条基于EOSIO代码而创建的区块链,是众多EOS侧链中的一个。从BOS的官网上可以看到,BOS的目标是建立一条支持更多DApp,能把更多现实需求和区块链结合起来的EOSIO生态链。 与EOS主网相比,BOS针对资源模式、治理方式、DPOS等共识机制方面,做了一些修改。同时,发行了自己的代币BOS,可以在BOS链上使用。 从BOS理念...
LOG_WRN("%s: warning: model does not have an EOS token, reranking will not work\n", __func__); ok = false; } if (llama_token_sep(model) == LLAMA_TOKEN_NULL) { LOG_WRN("%s: warning: model does not have a SEP token, reranking will not work\n", __func__); ok = false...
LLM_KV_TOKENIZER_ADD_EOS, LLM_KV_TOKENIZER_HF_JSON, LLM_KV_TOKENIZER_RWKV, }; @@ -303,6 +305,8 @@ static std::map<llm_kv, std::string> LLM_KV_NAMES = { { LLM_KV_TOKENIZER_UNK_ID, "tokenizer.ggml.unknown_token_id" }, ...