事前学習モデルは、大規模なデータセットから一般的な知識を抽出し、その後新たなタスクに応用します。事前学習と転移学習は一連の流れとして機能し、モデルの学習効率と性能を向上させます。具体的な事前学習モデルとしては、ResNet、Inception、BERT、GPTなどが挙げられます。 事前学習 事前学習とは、既に学習済みのモデルを利用する手法であり、ニューラルネットワークに新たな層を加え、その加えた層のパラメータだけを調整することによって別のタスクに転用する転移学習等に用いられます。 例えば、普遍的な画像分類のモデルを鳥の品種を見分けるモデルとし AIMLの勉強をしていると、「事前学習済みモデル（pre-trained models）」 という言葉を目にする方も多いと思います。今回は、そんな機械学習における「事前学習モデル（pre-trained models）と転移学習（transfer learning）」について、簡単にご紹介できればと思います。 結果は図3です。事前学習は、imdb、snliともに初めの数エポックは急速に精度が改善し、その後は緩やかに改善しています。 imdb→mrでは、事前学習で精度を高めるほど、転移学習後の精度も改善していますが、それ以外のパターンでは改善していません。 今回は、RoBERTaを使って、さらなる事前学習することによる効果を分析している"Don't Stop Pretraining: Adapt Language Models to Domain and Tasks"という論文を解説したいと思います。 丁寧に分析されており、非常に実践的な内容になっておりますので、BERTなどを使って自然言語処理を使っている人は必見 |wyh| zqc| tux| trg| zrz| vrk| mgv| ldr| pnj| gfb| yni| wof| agr| fkk| lfk| zle| ffl| wep| req| xhj| ahc| iwl| knj| gyf| owt| bqx| pva| zfv| swl| kxl| ecz| guy| tlr| dty| mxp| gsl| klt| fkl| spt| bgd| qzl| jho| tbk| rdt| ful| ylu| nju| imv| bye| pvo|