推論(インファレンス)とは?
一言でいうと: 学習済みのAIが、実際の質問や入力に答えを出す処理のことです。
推論(インファレンス)の基本
推論(インファレンス)とは、学習を終えたAIモデルが、実際の入力に対して答えを計算して出す処理のことです。AIの「学習(トレーニング)」が知識やパターンを身につける下準備の段階だとすれば、推論はその成果を使って本番の仕事をする段階にあたります。チャットAIに質問して返事が届くまでの一瞬、画像生成AIが絵を描き上げる数秒、音声認識が声を文字に変える処理——そのすべてが推論です。学習は基本的に一度だけの巨大な計算ですが、推論は利用されるたびに発生するため、サービスの応答速度や運営コストを大きく左右します。最近では、クラウドだけでなくスマートフォンやパソコンの中で推論を行う「オンデバイス推論」も広がっています。AIの利用料金が「使う量」に応じて決まることが多いのは、この推論のコストが理由の一つです。
ここがポイント
学習との違い
学習は、大量のデータからモデルのパラメータを調整する作業で、膨大な計算と時間を必要とします。推論は、決まったパラメータを使って答えを出すだけなので、1回あたりの計算は軽くなります。ただし世界中の利用者から同時にリクエストが来るため、合計では巨大な処理になります。
速さを決める要素
推論の速さは、モデルの大きさ、使うGPUなどのハードウェア、生成する文章の長さなどで変わります。チャットAIの返事が一文字ずつ表示されるのは、文章を少しずつ生成しながら送っているためです。応答の待ち時間(レイテンシ)は、サービスの使い心地を決める重要な要素です。
クラウドとオンデバイス
クラウド推論は高性能な環境で大きなモデルを動かせますが、通信が必要で、入力データが外部に送られます。オンデバイス推論は通信不要でプライバシーを守りやすい反面、動かせるモデルの大きさに制限があります。用途に応じて使い分けるのが現在の主流です。