通过上面的实验发现:不管是正常训练的模型还是对抗训练的模型,最终的loss都是很接近(集中)的,这个集中现象说明了一个问题:即对于所有的一阶攻击方法,只要对PGD鲁棒,则对其它所有的方法也鲁棒。 本文的实验表明,PGD攻击方法是目前最强的一阶攻击方法,虽然目前用于求解机器学习的优化方法有很多中,但是目前最有效的仍然是...
1.PGD是迭代K次r后取最后一次扰动的梯度更新参数,FreeLB是取K次迭代中的平均梯度 2.PGD的扰动范围都在epsilon内,因为伪代码第3步将梯度归0了,每次投影都会回到以第1步x为圆心,半径是epsilon的圆内,而FreeLB每次的x都会迭代,所以r的范围更加灵活,更可能接近局部最优: \mathcal{I}_t=\mathcal{B}_{X+r_0...
既然遇到了对抗攻防的问题，PGD攻击生成对抗样本再对抗训练，整个流程被研究烂了吧，这根本算不了创新点 ...
现有对抗工作在语义分割模型的鲁棒性上有两个问题:第一个是之前在分割上的攻击较弱,从而导致对抗训练生成的鲁棒在面对更强大的攻击时(SegPGD)时会不鲁棒,比如作者使用强大的攻击设置(即大量攻击迭代)评估之前工作中经过对抗训练的分割模型,发现鲁棒性会显着降低。SegPGD 可以进一步降低 mIoU,在 100 次攻击迭代下,Ci...
作者通过将 SegPGD 用作基础攻击来改进分段对抗训练。作为一种有效且高效的分步攻击方法,SegPGD可以创建比流行的 PGD 更有效的对抗样本。通过将创建的对抗样本注入训练数据,使用 SegPGD 进行对抗训练可以在相同的计算成本下实现更鲁棒的分割模型。在之前的工作之后,下图显示了分割的对抗训练过程。
作者通过将 SegPGD 用作基础攻击来改进分段对抗训练。作为一种有效且高效的分步攻击方法,SegPGD可以创建比流行的 PGD 更有效的对抗样本。通过将创建的对抗样本注入训练数据,使用 SegPGD 进行对抗训练可以在相同的计算成本下实现更鲁棒的分割模型。在之前的工作之后,下图显示了分割的对抗训练过程。
FGM直接通过epsilon参数一下子算出了对抗扰动,这样得到的可能不是最优的。因此PGD进行了改进,多迭代几次,慢慢找到最优的扰动。 引用[1]: FGM简单粗暴的“一步到位”,可能走不到约束内的最优点。PGD则是“小步走,多走几步”,如果走出了扰动半径为epsilon的空间,就映射回“球面”上,以保证扰动不要过大 ...