Adversarial Weight Perturbation Helps Robust Generalization

Meta data

• Adversarial Weight Perturbation Helps Robust Generalization
• [2004.05884] Adversarial Weight Perturbation Helps Robust Generalization

Summary

重み損失が平坦なほどモデルの頑健性が高まることから、入力だけでなく重みに対する摂動を学習時に加えることで、モデルの頑健性を高めることに成功した。

Implementation

• GitHub - csdongxian/AWP: Codes for NeurIPS 2020 paper "Adversarial Weight Perturbation Helps Robust Generalization"
• U.S. Patent Phrase to Phrase Matching | Kaggle
• NBME - Score Clinical Patient Notes | Kaggle
• feedback-nn-train | Kaggle
• Kaggleで使用される敵対学習方法AWPの論文解説と実装解説 ~Adversarial Weight Perturbation Helps Robust Generalization~ - Speaker Deck
• 自然言語処理分野で用いられる敵対的学習手法について - Platinum Data Blog by BrainPad