
学习率对模型性能的影响分析
学习率对IEMOCAP数据集影响显著:当从1e-5增大到2e-4时,W-F1提升4.63点(+6.76%)。最佳性能73.15出现在2e-4,比次优学习率2e-5提升3.97点。建议:初始阶段采用2e-4进行快速收敛,后期微调阶段降至2e-5以防止震荡。
学习率增大带来持续性能增益:从1e-5到2e-4提升4.4点(+6.73%)。学习率每增大一个量级,性能平均提升1.47点。建议:使用固定学习率2e-4,配合梯度裁剪(阈值1.0)避免梯度爆炸。
呈现非线性响应:学习率2e-4时达到峰值42.91,相比基线提升3.04点(+7.62%)。但在3e-5时出现1.06%的性能回降(40.03→40.12)。