• 使用 Q4_K 处理 attention.vw 和 feed_forward.w2 张量。 • 其他张量使用 Q2_K。 • q3_k_l: • 使用 Q5_K 处理 attention.wv、attention.wo 和 feed_forward.w2 张量。 • 否则使用 Q3_K。 • q3_k_m: • 使用 Q4_K 对 attention.wv、attention.wo 和 feed_forward.w2 张量进...