最终每个权重使用6.5625位。 LLAMA_FTYPE_MOSTLY_Q4_K_S- 使用GGML_TYPE_Q4_K对所有张量 LLAMA_FTYPE_MOSTLY_Q4_K_M- 使用GGML_TYPE_Q6_K对attention.wv和feed_forward.w2张量的一半,其余使用GGML_TYPE_Q4_K