AI・ガジェット辞典

AIとガジェットの言葉を、わかりやすく

マルチモーダルとは?

AI用語
🖼️
マルチモーダル

一言でいうと: 文章だけでなく画像や音声など、複数の形式を扱える性質

マルチモーダルの基本

マルチモーダルとは、文章だけでなく、画像、音声、動画など複数の形式の情報を組み合わせて理解・生成できる性質のことです。人間が目で見て、耳で聞いて、言葉で考えるように、AIも複数の感覚的な情報を扱えるようになってきました。たとえば、写真を見せて「これは何ですか」と質問したり、手書きのメモを読み取らせたり、音声で話しかけて答えてもらったりできます。テキストだけのAIでは難しかった、図表の読み取りや画面の内容の理解なども可能になりました。最近の主要なAIサービスの多くがマルチモーダル対応を進めており、スマートフォンのカメラや音声入力と組み合わせた使い方が広がっています。文章だけでは伝えにくい情報をそのまま扱えるようになったことで、AIの使い道は大きく広がりました。カメラやマイクが身近な入力装置になったことも、普及を後押ししています。

ここがポイント

具体的な使い方

冷蔵庫の中身の写真から献立を提案してもらう、グラフ画像の内容を言葉で説明してもらう、会議の録音から議事録を作るなど、現実の情報を加工せずそのまま渡せる点が便利です。手書きメモの読み取りに対応するサービスもあります。写真や音声をそのまま渡せる手軽さが魅力です。

入力と出力の両方向

理解するだけでなく、文章から画像を作り出す、文章を自然な声で読み上げるなど、生成する側も複数の形式に対応しています。異なる形式同士を変換する橋渡し役としてAIが使われる場面が増えており、形式の壁が下がったことが大きな変化です。文章中心だったAIの世界が大きく変わりました。

対応範囲の見方

サービスごとに扱える形式や精度は異なります。「マルチモーダル対応」とされていても動画は未対応ということもあるため、自分が使いたい形式に本当に対応しているかを、事前に仕様で確認することが大切です。対応をうたう範囲と実際の実力は分けて見ましょう。

使うときのコツ・注意点

画像や音声をAIに渡す際は、写り込んだ個人情報や機密情報に注意しましょう。写真の背景に書類や画面が写っているケースは珍しくありません。また、画像の読み取りは万能ではなく、細かい文字や複雑な図では誤読も起こります。重要な内容は、人が目で確認する前提で使うのが安心です。便利な反面、渡す情報の範囲には意識的でいることが大切です。

関連する用語