AI・ガジェット辞典

AIとガジェットの言葉を、わかりやすく

Transformerとは?

AI用語
🏗️
Transformer

一言でいうと: 今の生成AIのほぼすべての土台となった、AIの設計方式です。

Transformerの基本

Transformerは、2017年に発表されたニューラルネットワークの設計方式(アーキテクチャ)で、現在のLLMや生成AIのほぼすべての土台になっています。最大の特徴は「Attention(注意機構)」という仕組みで、文章中の単語同士が互いにどれだけ関係しているかを一度に計算し、文脈を踏まえた理解を可能にした点です。従来の方式が文章を先頭から順番に処理していたのに対し、Transformerは全体を並行して処理できるため、高速な学習と大規模化に適していました。この大規模化のしやすさが、その後のAIの急速な性能向上につながったと広く評価されています。ChatGPTの「T」はTransformerの頭文字であり、翻訳、画像認識、音声処理、動画理解など、言葉以外のさまざまな分野にも応用が広がっています。

ここがポイント

Attentionの考え方

Attentionは、「今読んでいる単語にとって、文章中のどの単語が重要か」を重み付けする仕組みです。たとえば「それ」が何を指すかを、周囲の単語との関係から判断できます。人間が文章を読むときに無意識にやっている「関係の把握」を、計算として実現したものだと言えます。

大規模化できた理由

従来の文章処理は一単語ずつの逐次処理が中心で、GPUの並列計算を活かしにくい構造でした。Transformerは文章全体をまとめて処理できるため、GPUと相性が良く、データと計算を増やすほど性能が伸びる「大きくすればするほど賢くなる」発展の道を開きました。

言葉以外の分野にも

Transformerはもともと翻訳のために生まれましたが、その汎用性の高さから、画像をパッチとして扱う画像認識、音声認識、たんぱく質の構造予測など、多くの分野に転用されています。現代AIの「共通の土台」として、技術ニュースを理解するうえで欠かせない用語です。

使うときのコツ・注意点

Transformerは万能というわけではなく、扱う文章が長くなるほど計算量が急増するという弱点があります。コンテキストウィンドウの拡大が課題になり続けてきたのはそのためです。また、仕組み上もっともらしい文章を作るのが得意なため、事実誤認(ハルシネーション)を完全には避けられません。出力の確認が欠かせない理由の一つです。

関連アイテムを楽天市場で探す

楽天市場で「ディープラーニング 本」を探す →

広告(PR):楽天市場へのリンクはアフィリエイトリンクです。リンク先で購入されると、このサイトに紹介料が入ることがあります(価格は変わりません)。

関連する用語