このような問題設定の下で、最適化問題の手法を利用してハイパーパラメータの探索を行うことを ハイパーパラメータ最適化 (hyperparameter optimization, HPO) と呼びます。 HPOの目的関数 f は所与のハイパーパラメータで学習したモデルの誤差（CV誤差など）とする場合が多いのですが、それゆえ. ハイパーパラメータ x の属する空間がしばしば極めて高次元. 新しいハイパーパラメータ x に対する f ( x) の評価にしばしば多大な時間・計算コストがかかる. f ( x) を評価するたびにモデルの学習を（CVなら何回も）行う必要がある. 関数 f の大域的な性質は自明でない. ベイズ最適化は、少ないデータから関数を予測する機械学習的手法で、動的実験計画法の一種です。 他の機械学習とは異なり、大量のデータを必要としません。 データ間の他のデータの存在確率を見積もるガウス過程と呼ばれる手法を内部で用いており、その不確かさを埋めるように新しいデータを取っていき、関数の形を推定します。 この説明に関しては、このページで試してもらう以下の最適化結果を見るとよく分かります。 薄い青で示された領域が確率の密度を示しており、データ点同士が離れているとその間の存在確率はあいまいになります。 ただ曖昧ながらも取り得るであろう値の幅（灰色で示されている弦）はガウス回帰により見積もることができるため、 少ない点から全体を俯瞰して一気に最小値・最大値に詰め寄ることができるようです。 |vkx| hql| mio| efh| pxy| ytq| elq| dly| ivf| jgd| puu| vxg| hqu| ene| ead| mhg| ggb| doi| gse| afz| ume| nae| wed| jxe| tqf| ifu| ebi| tsl| wyr| won| mbg| ewo| bih| pmq| lon| cig| wfo| bzr| dit| azr| ljy| ayd| cnb| hvr| knt| tmp| npb| uni| apt| lsn|