初始嘗試 ReLU:ReLU 是個簡單有效的激活函數,可以作為初始嘗試。 若遇到訓練問題,再考慮 LeakyReLU:如果發現訓練不穩定、生成字型品質不佳等問題,可以嘗試 LeakyReLU。 調整LeakyReLU 的斜率:LeakyReLU 的斜率是個超參數,可以嘗試不同的值,找到最佳設定。 建議 在zi2zi-pytorch 中,作者選擇了 ReLU 作為默認激活函數。