グーグルの研究者8人が生み出したAI革命 ―― トランスフォーマーの誕生秘話

 # グーグルの研究者8人が生み出したAI革命 ―― トランスフォーマーの誕生秘話

2017年に発表された科学論文「Attention Is All You Need（アテンションこそはすべて）」は、人工知能（AI）分野に革命をもたらしました。この論文を執筆したのは、グーグルの研究者8人。彼らが開発した「トランスフォーマー」と呼ばれるニューラルネットワーク（AI技術の一種）のアーキテクチャは、現在のChatGPTやDall-E、Midjourneyなどの画期的なAI製品の基盤となっています。

この記事では、トランスフォーマーの誕生に至るまでの軌跡を追いながら、8人の研究者たちがどのようにしてこの革新的な技術を生み出したのか、その秘話に迫ります。

## あまりにも異端な考え ── セルフアテンションの登場

物語の発端は、論文の著者の一人であるヤコブ・ウスコライトから始まります。彼は2012年にグーグルに入社し、他のウェブサイトに誘導せずに検索ページ内で質問に答えられるシステムの研究を始めました。

当時は、言語処理の分野で「回帰型ニューラルネットワーク」が主流でした。しかし、このアプローチには長い文章の分析が苦手という弱点がありました。そこでウスコライトは、「セルフアテンション（自己注意）」と呼ばれる新しいメカニズムを考案します。

セルフアテンション・モデルは、文章中の他の部分を参照しながら単語を解釈できるので、文脈を考慮して言葉の意味を正確に捉えられます。ウスコライトは、このアプローチが既存のモデルを上回る可能性があると直感しました。

しかし、セルフアテンションの考えは当時としては非常に異端で、ウスコライトの同僚たちも懐疑的でした。それでも彼は諦めずに研究を続け、2016年に論文を発表。将来性を感じた数人の仲間とともに、さらなる実験に乗り出します。

## 魔法使いの登場 ── ノーム・シャジアの貢献

トランスフォーマー・プロジェクトが大きく前進するきっかけとなったのは、ベテラン研究者のノーム・シャジアの参加でした。シャジアはグーグルの草創期から在籍し、深層学習（ディープラーニング）の研究に取り組んでいました。

彼はセルフアテンションの構想を耳にし、すぐにそのポテンシャルを見抜きました。シャジアは自らコードを書き直し、システムを新たなレベルへと引き上げます。彼の手腕は「魔法」とも称されました。

シャジアの尽力もあり、トランスフォーマー・チームの研究は加速します。英語からドイツ語への機械翻訳タスクでは、12時間学習させただけのモデルが既存の手法を上回る性能を示しました。

## 「Attention Is All You Need」論文の衝撃

2017年5月、いよいよ論文の執筆が佳境を迎えます。締め切りが迫る中、チームは徹夜に次ぐ徹夜で実験とバグ修正を繰り返しました。最後の詰めは、論文のタイトルをどうするか。議論の末、「Attention Is All You Need（アテンションこそはすべて）」に決まりました。

提出の2分前、研究者のニキ・パーマーがキッチンでコーヒーを飲みながら論文に最後の数字を打ち込んだ瞬間、歴史的な論文の誕生でした。

12月の学会で発表されると、「トランスフォーマー」論文は大きな反響を呼びました。セッション終了後も質問が絶えず、警備員に促されるまで人だかりが続いたと言います。

## グーグルを去った8人 ── イノベーションを求めて

しかし、論文発表から7年、トランスフォーマーを生み出した8人の研究者は全員グーグルを去りました。彼らは独自のスタートアップを立ち上げたり、OpenAIなどの新興企業に移ったりして、AI分野の最前線で活躍しています。

一方、グーグルは社内でトランスフォーマーの導入を進めつつも、ChatGPTのようなサービスの開発では出遅れました。CEOのスンダー・ピチャイは、他社の動向を見極めてからの方が有利だと判断したと語っています。

確かに、型破りなアイデアを追求できる環境を整えたのはグーグルでした。しかし、大企業ならではの慎重さが、イノベーションのスピードを鈍らせてしまった面もあるのかもしれません。

## 結び ── 多様性が生むイノベーション

トランスフォーマーを生んだ8人の研究者たち。彼らは出身も専門分野もバラバラでしたが、ひとつの目標に向かって力を合わせました。論文の著者順は「貢献度はみな同じ」としてランダムに決めるほど、チームワークを大切にしていたと言います。

ヤコブ・ウスコライトは、イノベーションには適切な条件、つまり「人生のちょうどいい時期にいて、何かに熱中している人々が集まること」が必要だと語ります。そして、「その条件が揃って、みなで楽しみながら適切な問題に取り組み、さらに運が良ければ、魔法が起こるのです」と。

トランスフォーマーの誕生秘話は、多様性とチームワークから生まれるイノベーションの物語でもあるのです。

【コラム】用語解説

- ニューラルネットワーク：人間の脳神経回路を模倣したAIの仕組み。層状に並んだノード（ニューロン）が複雑なつながりを持つ。

- 回帰型ニューラルネットワーク：情報を一方向に伝播させるタイプのニューラルネット。長い文章の処理が苦手。

- セルフアテンション：単語の意味を文脈から推測する新しいメカニズム。トランスフォーマーの心臓部。

- 深層学習（ディープラーニング）：多層のニューラルネットワークを用いた機械学習手法。近年のAIブームの立役者。