1️⃣问题:MLLM的像素预测能力如何?定义:给定图片输入,prompt中指定坐标位置,要模型解码出该位置像素值。也可以叫像素重建, 2️⃣评测:作者用MiniGPT4-v2评测,发现即使在像素预测任务上微调桥接模块和LLM的参数,模型重建像素的能力依然不佳,平均绝对误差能达到20.38,恢复的图像一团糊(p2、p3)。