エンベディング(埋め込み)とは?
一言でいうと: 言葉や画像の意味の近さを、数値の距離で表せるようにする変換技術です。
エンベディング(埋め込み)の基本
エンベディング(埋め込み)とは、単語や文章、画像などを、意味の近さが距離に表れるような数値の並び(ベクトル)に変換する手法です。意味の近いもの同士は近い数値に、遠いものは離れた数値になるよう、AIが大量のデータから学習して変換のルールを身につけます。よく知られた有名な例として、「王様」から「男」を引いて「女」を足すと「女王」に近いベクトルになる、といった意味の計算ができることが知られています。この仕組みがあるおかげで、キーワードが一致しなくても意味で探す「意味検索」や、おすすめ表示、RAG(検索拡張生成)といった応用が可能になりました。文章全体の意味を捉えられるため、似た内容の文書を自動でグループ分けするような処理にも使われます。現代のAIサービスを支える、目立たないけれど重要な土台技術だと言えるでしょう。
ここがポイント
意味が「距離」になる
エンベディングの面白さは、抽象的な「意味の近さ」を、数値同士の距離という具体的な形で測れるようにした点です。たとえば「犬」と「猫」は近く、「犬」と「自動車」は遠くに配置されます。この距離を計算することで、似た文章や画像を機械的に探し出せるようになります。
RAGや検索での役割
RAGでは、資料の文章をあらかじめエンベディングに変換して保存しておき、質問が来たら意味の近い資料を素早く探してAIに渡します。社内文書の検索や、似た商品のおすすめ、似た画像の検索なども同じ原理です。ベクトルデータベースと組み合わせて使われるのが一般的です。
モデルごとに互換性はない
エンベディングは、変換に使うAIモデルごとに数値の意味付けが異なります。あるモデルで作ったベクトルと、別モデルで作ったベクトルを混ぜて使うことはできません。モデルを変更する場合は、保存済みのデータ全体を作り直す必要がある点に注意が必要です。