モデルのファインチューニングの種類

「フルファインチューニングは重い剣のようであり、パラメータ効率のファインチューニングは小さなナイフのようである。果物を切るために重い剣を使うことはなく、戦いに小さなナイフを使うことはない。」-アルケミー協会のメンバーであるIda Alchemyは、彼のノートに書いています。

モデルのファインチューニングには、次の2つのカテゴリがあります。

フルファインチューニング：モデルのすべてのパラメータをトレーニングし、新しいモデルを生成します。
パラメータ効率のファインチューニング：一部のパラメータのみをファインチューニングし、単独では使用できず、元のモデルと一緒に使用する必要がある小さなモデルを生成します。

これらの2つの技術は、異なるシナリオに適しています。

以下に例を示します。

Stable Diffusion 2.1モデルを持っていると仮定し、さまざまなシナリオの画像を生成できるとします。

今、このモデルを実生活の人物のさまざまなシナリオを生成するためにのみ使用したい場合、フルファインチューニングを使用する必要があります。

実際の人物の写真を大量に（10,000枚以上）用意し、これらの画像に基づいてモデルをファインチューニングして、実際の人物の写真のみを生成する専用モデルをトレーニングします。

実際の人物の画像用に特化されたこのモデルを取得した後、新しくトレーニングされたモデルをイメージ生成ワークステーションに配置し、実際の人物の写真を生成を開始します。

次に、別のアイデアがあります。生成された写真に現れる人物がすべて固定の有名人であることを望んでいます。つまり、写真に現れる人物の顔が固定されていることを望んでいます。

この場合、パラメータ効率のファインチューニングを使用し、その有名人の少数（10-50）の写真を用意し、これらの画像に基づいてパラメータ効率の小さなLoraモデルをファインチューニングします。

この小さなモデルを取得した後、イメージを生成する際に、元の大型モデルとこのパラメータ効率の小さなモデルを一緒に使用する必要があります。

フルファインチューニング：より多くのコンピューティングリソースが必要であり、通常はより大規模なデータセットに適しています。通常、モデルの全体的なスタイル調整や、2次元画像を生成するために主に使用されていたモデルを実生活の画像を生成するためのモデルに変換する必要がある場合に適しています。

パラメータ効率のファインチューニング：トレーニングと使用がより便利であり、特定の人物の顔や特定のタイプの衣服を生成するモデルが必要な場合に適しています。