インタビュー | ビッグテックはAIをジャンクデータでトレーニングしている：直感

AIモデルはますます強力になっていますが、それらが訓練されているデータは悪化していると、Intuitionの創設者ビリー・ルートケが述べています。 概要

• AIは、私たちが与えるデータによってのみ良くなると、Intuitionの創設者ビリー・ルエトケは言います。
• 私たちはAIが再帰的になる中で、「スロップイン、スロップアウト」の時代にいます
• 分散型モデルは技術とユーザー体験において優位性を持っています

AIシステムがますます普及するにつれて、ユーザーは修正が難しい制限に直面することが増えています。モデルは改善されているものの、これらのモデルが訓練される基盤となるデータは変わりません。さらに、再帰、つまりAIモデルが他のAIによって生成されたデータで訓練されることは、実際には状況を悪化させる可能性があります。

AIの未来について話すために、crypto.newsはIntuitionの創設者ビリー・ルエトケに話を聞きました。Intuitionは、AIに検証可能な帰属、評判、データ所有権をもたらすことに焦点を当てた分散型プロトコルです。ルエトケは、AIのための現在のデータセットが根本的に欠陥がある理由と、それを修正するために何ができるかを説明しています。

Crypto.news: 現在、誰もがAIインフラストラクチャ — GPU、エネルギー、データセンターに注目しています。人々はAIにおける信頼レイヤーの重要性を過小評価しているのでしょうか？なぜそれが重要なのでしょうか？

ビリー・ルエトケ：100%。人々は確実にそれを過小評価しています — そしてそれはいくつかの理由で重要です。

まず、私は「スロップイン、スロップアウト」という時代に入っていると考えています。AIは、それが消費するデータの質に依存しています。しかし、そのデータ — 特にオープンウェブからのデータ — は大部分が汚染されています。それはクリーンではありません。それは人間の意図を反映したものではありません。その多くは、オンラインでのゲーミフィケーションされた行動から来ています：いいね、レビュー、エンゲージメントハック — すべて注意最適化アルゴリズムを通してフィルタリングされています。

したがって、AIがインターネットをスクレイピングするとき、それが見るものは私たちが誰であるかの全体像ではありません。それはプラットフォーム上で遊んでいる人々を見ています。私はTwitterでの行動が現実の生活での行動とは異なります。私たちの誰もそうではありません。私たちはアルゴリズムに最適化しているのです — 本物の思考を表現しているわけではありません。

それは再帰的でもあります。プラットフォームは私たちを訓練し、私たちはさらに歪んだ行動を返します。それがフィードバックループを作り—螺旋—AIの人間性の認識をさらに歪めます。私たちはAIに自分たちが考えていることを教えているのではなく、いいねを得られると思うことを教えているのです。

平均的なユーザーは、Googleで検索したり、情報源を比較したり、批判的に考えたりしていません。彼らはただChatGPTや他のモデルに尋ね、その回答をそのまま受け入れています。

それは危険です。モデルが不透明である場合 — ブラックボックス — そのモデルを制御している会社があなたに表示される情報または表示されない情報を制御しているなら、それは完全なナラティブコントロールです。それは中央集権的で、説明責任がなく、非常に強力です。

Grokに最高のポッドキャストを尋ねると、答えはエロンに最も多く支払った人だと想像してみてください。それは知性ではありません — それはただの広告に過ぎません。

CN: では、それをどう修正しますか？ どのように真実と価値を優先するシステムを構築しますか？

BL: 私たちはインセンティブをひっくり返す必要があります。これらのシステムは人々に奉仕すべきです — 機関、株主、広告主ではなく。つまり、インターネットのための新しいレイヤーを構築することを意味します：アイデンティティと評判のプリミティブ。それが私たちがIntuitionで行っていることです。

私たちは検証可能な帰属が必要です：誰が何を、いつ、どのような文脈で言ったのか。そして、私たちは、雰囲気ではなく、実際の文脈的な実績に基づいて、どれだけ特定のデータソースを信頼できるかを判断するのに役立つ、ポータブルで分散型の評判が必要です。

Redditは完璧な例です。それはモデルのためのトレーニングデータの最大のソースの1つです。しかし、ユーザーが皮肉を込めて「ただk***自分を殺せ」と言った場合、それはスクレイピングされ、医療アドバイスを求めている誰かへのモデルの推薦に表示される可能性があります。

それは恐ろしいことであり、モデルがコンテキスト、帰属、または評判の重み付けを持たないときに起こることです。私たちは知る必要があります：この人は医学において信頼できるのでしょうか？彼らは金融において評判がありますか？これは信頼できる情報源ですか、それともただのランダムなコメントですか？

CN: アトリビューションと評判について話すとき、このデータはどこかに保存する必要があります。著作権や補償のような問題を考慮した場合、インフラストラクチャについてどう思いますか？

BL: それが私たちがIntuitionで解決していることです。検証可能な帰属プリミティブを持つと、誰がどのデータを作成したのかがわかります。それにより、知識のトークン化された所有権が可能になり、それに伴って報酬が得られます。

したがって、あなたのデータはGoogleのサーバーやOpenAIのAPIではなく、分散型の知識グラフに存在します。誰もが自分が貢献したものを所有します。あなたのデータがAIの出力で利用されるとき、その生成される価値の一部を受け取ることができます。

それは重要です。なぜなら、今私たちはデジタル農奴だからです。私たちは最も貴重な資源である時間、注意、そして創造性を使って、他の誰かがマネタイズするデータを生成しています。YouTubeは動画をホストしているから価値があるのではなく、人々がそれをキュレーションするから価値があるのです。いいね、コメント、または購読がなければ、YouTubeは無価値です。

私たちは、誰もが自分が生み出す価値から得られる世界を望んでいます — 影響力のある人や外向的でなくても。例えば、新しいアーティストを見つけるのが常に早いのであれば、あなたのセンスには価値があります。それに基づいて評判を築き、それをマネタイズできるべきです。

CN: しかし、たとえ透明性が得られても、これらのモデルは依然として非常に解釈が難しいです。OpenAI自身もそのモデルがどのように意思決定を行うかを完全には説明できません。それではどうなりますか？

BL: いい指摘ですね。モデルの挙動を完全に解釈することはできません — 複雑すぎます。しかし、私たちが制御できるのは訓練データです。それが私たちのレバーです。

私は例を挙げます：ある研究論文で、一方のAIはフクロウに夢中で、もう一方は数学が得意だと聞きました。彼らは数学関連のタスクでのみ一緒に訓練を受けました。しかし、最後には、数学のAIも他のAIからパターンを吸収することでフクロウを愛するようになりました。

これらのパターンがいかに潜在的で微妙であるかは驚くべきことです。したがって、唯一の本当の防御は意図です。私たちはこれらのモデルにどのデータを供給するかについて意図的である必要があります。ある意味で私たちは「自分自身を癒す」必要があり、より本物で建設的な方法でオンラインに現れる必要があります。なぜなら、AIは常にその創造者の価値観や歪みを反映するからです。

CN: ビジネスの話をしましょう。OpenAIは資金を消費しています。彼らのインフラは非常に高価です。分散型システムであるIntuitionは、どのように競争できるのでしょうか — 財政的にも技術的にも？

BL: 私たちが持っている二つの核心的な利点は、コンポーザビリティとコーディネーションです。

分散型エコシステム — 特に暗号通貨において — は調整に非常に優れています。我々は、同じ大きな問題の異なるコンポーネントに取り組むグローバルで分散されたチームを持っています。世界と戦うために何十億も燃やす1つの会社の代わりに、我々は相互運用可能なツールを構築する何百もの整合された貢献者を持っています。

それはモザイクのようなものです。1つのチームはエージェントの評判に取り組み、別のチームは分散ストレージに、さらに別のチームはアイデンティティの基本要素に取り組んでいます—そして私たちはそれらを一緒に縫い合わせることができます。

それがスーパーパワーです。

二つ目の利点はユーザー体験です。OpenAIはその堀に閉じ込められています。彼らはあなたがChatGPTからGrokやAnthropicにコンテキストを移行することを許可できません — それは彼らの防御力を損なうことになります。しかし、私たちはベンダーロックインを気にしません。

私たちのシステムでは、あなたは自分のコンテキストを所有し、それを持ち運び、好きなエージェントに接続することができます。それがより良い体験を生み出します。人々はそれを選ぶでしょう。

****CN:インフラコストはどうですか？大規模なモデルを運用するのは非常に高価です。小規模なモデルがローカルで動作する世界が見えますか？

BL: はい、100%。実際、私が思うに、それが私たちが向かっている方向です— 分散した群れの中で神経細胞のように接続された多くの小さなモデルがローカルで動作する方向です。

一つの巨大なモノリシックデータセンターの代わりに、数十億の消費者デバイスが計算を提供しています。それらを調整できれば — それが暗号通貨の得意とするところです — それは優れたアーキテクチャになります。

そして、これが私たちがエージェントの評判レイヤーを構築している理由です。リクエストは、適切な専門エージェントにルーティングできます。すべてを行うために巨大なモデルを必要とするわけではありません。数百万のエージェントに跨るAPIレイヤーのような、タスクルーティングのためのスマートシステムが必要です。

CN: 決定論についてはどうですか？LLMは、正確な答えが必要な数学のようなタスクにはあまり適していません。決定的なコードとAIを組み合わせることはできますか？

BL: それが私が望んでいることです。ループに決定論を取り戻す必要があります。

私たちは記号的推論から始まりました — 完全に決定論的です — そして、私たちは深層学習に大きくシフトしましたが、それは非決定論的です。それが今私たちが見ている爆発をもたらしました。しかし、未来は神経シンボリックです — 両者の最良の部分を組み合わせることです。

AIにあいまいな推論を処理させることができます。しかし、精度が必要な場合には、決定論的モジュール — スクリプト、関数、ロジックエンジン — を起動させることもできます。考えてみてください: “私の友達の中で誰がこのレストランを好きですか？” それは100%決定論的であるべきです。

****CN:ズーミングアウト：私たちは企業がAIを運用に統合するのを見てきました。しかし、結果はまちまちでした。現在の世代のLLMが本当に生産性を向上させると思いますか？

BL: もちろんです。特異点はすでにここにあります — ただし、不均等に分布しています。

もしあなたがワークフローにAIを使用していないのなら、特にコードやコンテンツにおいて、他の人たちの速度のほんの一部で働いていることになります。この技術は本物であり、効率の向上は巨大です。すでに混乱は起こっています。人々はまだそれを完全には認識していないだけです。

CN: 最後の質問。多くの人がこれはバブルだと言っています。ベンチャーキャピタルの資金が枯渇しています。OpenAIはお金を燃やしています。Nvidiaは自社の顧客に資金を提供しています。これはどのように終わりますか？

BL: はい、バブルはあります — しかし技術は本物です。すべてのバブルは弾けますが、その後に残るのは基盤技術です。AIはその一つになるでしょう。愚かな投資 — 実際の革新のないすべてのラッパーアプリ — それは淘汰されます。しかし、深いインフラチームは？彼らは生き残ります。

実際、これは2つの方向に進む可能性があります。ソフトな修正が起きて現実に戻りますが、進展は続きます。あるいは、生産性の向上が非常に大きいため、AIが経済に対してデフレ的な力となります。GDPは出力能力で10倍または100倍になる可能性があります。それが起こると、支出は価値があったということになります — 私たちは社会としてレベルアップします。

いずれにせよ、私は楽観的です。混乱と職の喪失はあるでしょうが、正しい基盤を築けば、豊かなポストスカーシティの世界の可能性もあります。