AI・ガジェット辞典

AIとガジェットの言葉を、わかりやすく

推論(インファレンス)とは?

AI用語
⚡
推論(インファレンス)

一言でいうと: 学習済みのAIが、実際の質問や入力に答えを出す処理のことです。

推論(インファレンス)の基本

推論(インファレンス)とは、学習を終えたAIモデルが、実際の入力に対して答えを計算して出す処理のことです。AIの「学習(トレーニング)」が知識やパターンを身につける下準備の段階だとすれば、推論はその成果を使って本番の仕事をする段階にあたります。チャットAIに質問して返事が届くまでの一瞬、画像生成AIが絵を描き上げる数秒、音声認識が声を文字に変える処理——そのすべてが推論です。学習は基本的に一度だけの巨大な計算ですが、推論は利用されるたびに発生するため、サービスの応答速度や運営コストを大きく左右します。最近では、クラウドだけでなくスマートフォンやパソコンの中で推論を行う「オンデバイス推論」も広がっています。AIの利用料金が「使う量」に応じて決まることが多いのは、この推論のコストが理由の一つです。

ここがポイント

学習との違い

学習は、大量のデータからモデルのパラメータを調整する作業で、膨大な計算と時間を必要とします。推論は、決まったパラメータを使って答えを出すだけなので、1回あたりの計算は軽くなります。ただし世界中の利用者から同時にリクエストが来るため、合計では巨大な処理になります。

速さを決める要素

推論の速さは、モデルの大きさ、使うGPUなどのハードウェア、生成する文章の長さなどで変わります。チャットAIの返事が一文字ずつ表示されるのは、文章を少しずつ生成しながら送っているためです。応答の待ち時間(レイテンシ)は、サービスの使い心地を決める重要な要素です。

クラウドとオンデバイス

クラウド推論は高性能な環境で大きなモデルを動かせますが、通信が必要で、入力データが外部に送られます。オンデバイス推論は通信不要でプライバシーを守りやすい反面、動かせるモデルの大きさに制限があります。用途に応じて使い分けるのが現在の主流です。

使うときのコツ・注意点

同じ質問でも、推論のたびに計算が行われるため、AIサービスには継続的なコストがかかっています。無料プランで回数や速度に制限があるのはそのためです。また、オンデバイス推論では端末の発熱やバッテリー消費が増えることがあります。長時間の生成作業は、充電しながらの利用が無難です。料金体系の背景を知ると、プラン選びの判断がしやすくなります。

関連する用語