静かなAIを設計する：Youp開発から学んだこと

YoupのAIは、あなたに挨拶をしない。アプリを開いても「今日の気分はいかがですか？」とは尋ねないし、7日連続の記録を達成しても褒めてはくれない。そうした要素はすべて取り除いた。静かなAIを設計するとは、ソフトウェアにより少ないことをさせる決断を、何度も繰り返すことだった。そしてその決断のほとんどは、最悪の日にこそ手を伸ばしがちな人々のためのメンタルウェルネスアプリを作るなかで、痛みを伴いながら学んだものだ。

機能リストではなく、感情の状態から始める

ほとんどのAIプロダクトは、ユーザーが好奇心を持ち、意欲的で、喜ばされる準備ができた状態で訪れることを前提にしている。だが、ウェルネスツールはそうはいかない。深夜1時にYoupを開く人は、不安かもしれないし、恥じ入っているかもしれない。疲れ切っているか、あるいは何も感じられなくなっているかもしれない。そこから導かれる制約は、身も蓋もないほど単純だ。AIがすることは何ひとつ、ユーザーが持ち合わせていないかもしれないエネルギーを奪ってはならない。

この原則は、作られる前から多くの「エンゲージメント」パターンを葬り去った。あなたを面接するようなオンボーディングチャットもない。名前や背景ストーリーを持つAIペルソナもない。機械が考えるふりをして待たせる、あのアニメーション付きの入力中インジケーターもない。どれも小さな負担だが、この文脈では小さな負担が積み重なって「これはあとでやろう」につながる。そして日記の習慣にとって、「あとで」は「永遠にやらない」を意味する。

ここから得られる教訓はこうだ。ユーザーが最もエンゲージしている状態ではなく、最もエネルギーが低い状態に合わせて設計せよ。 ユーザーが乗り気なときにしか機能しない機能は、プロダクトが最も重要になるまさにその瞬間に失敗する。私たちはいま、すべてのAIインタラクションを一つの問いで負荷試験にかけている。もしその人がかろうじて持ちこたえている状態だったとしても、これは優しく感じられるだろうか？

静けさは、口調ではなくレイテンシと密度の問題だ

チームは「静けさ」を、コピーを柔らかくすることで実現しようとする。もっと優しい言葉、もっと多い絵文字、パステルカラーのパレット。だが、それは浅いバージョンだ。静けさとは、そのほとんどがAIが どれだけ 語るか、そして どれだけ速く 割り込んでくるかに関わっている。Youpでは、二つのレバーがほとんどの仕事をこなした。

密度

記入のあと、AIは一つの振り返りを差し出す。洞察の壁ではない。一つの観察、ときには一つの問い、しかし決してその両方を一つの段落に積み重ねて、ユーザーに消化を強いることはしない。生成モデルは、共感的に聞こえるテキストを5段落でも喜んで生み出す。規律とは、そのうち4段落を捨てることにある。私たちは応答の長さを厳しく制限し、最初の一文を超えるすべての文を、ユーザーが支払うコストとして扱う。

タイミング

AIは、書くという行為を決して中断しない。文の途中での提案もなければ、あなたの感情を先回りして補完するオートコンプリートもない。振り返りが現れるのは、あなたが書き終え、それを求めたあとだけだ。書くこと自体が治療的な行為であり、AIはそれへの応答であって、共著者ではない。

トレードオフは現実にあり、私たちはそれを受け入れた。Youpはデモでは「賢く」見えにくい。スクリーンショットを撮りたくなるような、目もくらむ出力の壁はない。だが、静かなインターフェースの要点は、あなたがインターフェースを意識しなくなることにある。そして目くらましは、その正反対だ。

最も難しい設計スキルは、何も言わないときを見極めることだ

ほとんどのAIチームはここを間違える。なぜなら、沈黙するモデルは壊れた機能のように見えるからだ。私たちはYoupに正反対の本能を組み込んだ。AIの初期状態は静かであり、話す権利は自ら勝ち取るものだ。

まったく応答を必要としない記入もある。誰かがつらい一日について三行だけ書き、アプリを閉じる。そこで元気よく「大変な思いをされているようですね！」と返すのは、支えではない。それは機械が心配を演じているだけであり、ユーザーはその空虚さを即座に感じ取る。CBT（認知行動療法）の枠組みは、私たちがこの一線を守るのを助けてくれた。認知的な作業とは、その人が自分自身のパターンに気づくことであって、ツールがそれを解説することではない。だからYoupの振り返りは、診断したり助言したりするのではなく、ユーザー自身の言葉に立ち返る（「火曜日にも同じ心配について書いていましたね」）。

私たちは沈黙にも 目に見える、尊厳のある 形を与えた。AIが控えるとき、UIはエラーも、失敗と読めるような空の状態も表示しない。記入されたものを、保存され、まるごとそのままに提示する。まるでこう語りかけるように。これで十分でしたよ、と。「何もしないこと」を、壊れたものではなく意図されたものとして感じさせるには、どの生成機能よりも多くの試行錯誤が必要だった。

ここから得られる教訓はこうだ。明示的な「静かにとどまる」分岐を作り、それをフォールバックではなく一級の結果として扱え。 応答を生み出すことしかできないプロンプトアーキテクチャは、過剰に応答してしまう。私たちのものは、最善の一手は何もしないことだと判断できるし、その判断には設計された独自の表示面がある。

安全性は、免責事項ではなく設計対象の面だ

メンタルウェルネスAIは、特定の、そして深刻な失敗モードを引き寄せる。本当に危機にある人と、流暢で、自信たっぷりで、助けるには完全に無資格なモデルの組み合わせだ。「あなたはセラピストではありません」というプロンプトで、この状況を切り抜けることはできない。安全性に関わる振る舞いは、設計され、テストされ、そして退屈でなければならない。

私たちが掲げるいくつかの原則がある。

• AIは決して診断せず、臨床的な権威を主張しない。 それは振り返るだけで、評価はしない。これはシステムプロンプトの中でも、その周りのすべての面でも、揺るがない境界だ。
• 危機のサインは、即座に、そして紛れもなく、人間とホットラインへと導く。 言葉がリスクを示唆するとき、正しい応答は、より言葉巧みなAIの返信ではない。それは一歩退き、本物の支援リソースを前面に出すことだ。そこでのモデルの仕事は、それを認識し、道を空けることにある。
• 不確かさは、自信ではなく沈黙へと退く。 モデルが確信を持てないとき、私たちは、間違っているかもしれない安心させるようなテキストを生成するよりも、応答を控えてくれる方を望む。自信に満ちた誤答は、無回答よりも悪い。

居心地の悪い事実がある。安全レイヤーは、デモ上の価値がゼロなのに、不釣り合いなほどのエンジニアリング努力を注ぐ場所だ。ピッチには決して姿を現さない。だが同時にそれは、まともな人間がこのプロダクトに何か痛みを伴うものを託そうと思える、その理由のすべてでもある。

信頼は、AIが「できること」より少なくやることで築かれる

有能なモデルを手にすると、それが知っていることを見せびらかしたくなる誘惑が生じる。あなたの気分を推し量り、数か月にわたるパターンを結びつけ、悪い日を予測することもできる。その一部は本当に役立つ。だが大半は、意気込んで前面に出されると、監視のように感じられる。

信頼は、賢さではなく 読み解けること（legibility） から生まれた。ユーザーは、AIがなぜそう言ったのかを常に理解できるべきだし、AIが、ユーザー自身が語った以上のことを知っているように見えてはならない。Youpが過去の記入を参照するとき、それを引用する。だからそのつながりは、不気味なものではなく、確かめられるものになる。私たちは気分予測機能を退けたが、それはモデルにそれができなかったからではない。「明日はあなたにとってつらい日になると思います」と告げられることが、恩恵を装った侵害だからだ。

ここから得られる教訓はこうだ。親密なプロダクトにおいて、AIが「すべきこと」の上限は、「できること」の上限よりもずっと低いところにある。 そしてその境界線を見つけることこそが、本当の仕事だ。抑制こそが機能なのだ。

引き算のあとに残るもの

静かなAIを作ることは、結局のところ、そのほとんどが引き算だった。生成の部分は、一度も難しい部分ではなかった。モデルはありふれていて、貪欲なほどに前のめりだ。難しかったのは、AIにより少なくやらせる決断を、何度も何度も下すことだった。より少なく語り、より長く待ち、静かにとどまり、一歩退く。そうしたすべての除去のあとに残るものは、チャットボットというよりも、あなたが思索にふけれる静かな部屋のように感じられる。それはずっと変わらぬゴールだった。テクノロジーは、そこへたどり着くために抑え込まねばならなかったもの、ただそれだけだったのだ。