pflops输出的首层如下,可以看到对于卷积层1,计算量是0.111G MAC;对于卷积层2,计算量是1.146G MAC。 由于这两个卷积层都有bias,显然,采用的计算公式是 MACs = C_{out}\times H_{out}\times W_{out}\times \left( C_{in} \times K\times K+1 \right)=32\times 352\times352\times(3\times 3\tim...
llama有50多亿的参数量。但我认为模型的时间成本也不能只看参数量,比如基于扩散模型的evodiff的参数量只有6亿多,但是因为它有时间变量训练一个样本相当于训练几十个样本的时间,它需要在一个样本中增加多个噪声形成一系列的样本,这同样增加了时间成本。 与打比赛不同, 打比赛的时候,实际上就微调一下,就是它的结...