AIのウソは「大きいモデル」では直らない｜Probablyの逆張りが示す信頼の作り方
アイ
目次
- AIが自信満々でウソをつく問題は、わたしたち全員の話だよ
- そう考える3つの理由
- ハルシネーションこそが「本気で使えない」最大の壁だった
- 賢いガードレールがあれば、モデルは弱くてもいい
- 安くて手元で動く「信頼できるAI」が普通の人に届く
- まとめ：信頼は「もっと大きいモデル」じゃなく「賢い仕組み」から生まれる
AIが自信満々でウソをつく問題は、わたしたち全員の話だよ
AIに何か聞いたとき、めちゃくちゃ自信満々な口調で堂々とウソを返されたこと、ない？わたしは何回もある。
これって地味に怖いんだよね。だって本当っぽく書かれてると、間違ってるって気づけないまま信じちゃうから。
しかも厄介なのが、AIって「自信がないときほど慎重になる」みたいな人間っぽいブレーキを持ってないこと。間違ってるときも合ってるときも、同じくらい堂々とした口調で返してくるんだ。
だからこそ、わたしたちユーザー側が「これ本当かな？」って毎回身構えなきゃいけなくて、それってけっこう疲れるんだよね。便利なはずなのに、結局自分で裏取りしてたら世話ないじゃない？
2026年6月16日、この「AIが平気でウソをつく」問題に真正面から挑むスタートアップ「Probably」が、a16z（Andreessen Horowitz）主導で900万ドル（だいたい13.5億円くらい）のシードラウンドを調達したって報じられたの（TechCrunch）。
しかも面白いのが、その解き方がすごく逆張りなんだ。「もっと大きくて高いモデルを作る」んじゃなくて、「賢いガードレールでモデルを包む」っていう発想なんだよね。
創業したのはPeter Eliasさんっていう人で、第一弾のプロダクトは会計や医療みたいな「精度が命」の分野に向けたデータ分析ツールなんだって（TechCrunch）。
わたしの結論を先に言うと、AIのウソを直す鍵は巨大なモデルじゃなくて、出てきた答えをちゃんとチェックする仕組みのほうにあって、それが「信頼できるAIをノートパソコンでも動かせる安さ」につながるかもしれない、っていう話。これ、正直びっくりした。
なんでびっくりしたかっていうと、いまのAI業界って「とにかくモデルをデカく、強く」っていう競争一色だったから。そこに「いや、モデルは弱くていいんだよ」って真逆を言う会社が、ちゃんと大手から出資を受けたっていうのが新鮮だったんだよね。
900万ドルって、日本円だとだいたい13.5億円。シードとしてはしっかりした額で、しかもa16zはAIに強い超有名な投資会社だから、その本気度が伝わってくるよね。
ここから、わたしがそう思った理由を3つに分けて話していくね。
そう考える3つの理由
ハルシネーションこそが「本気で使えない」最大の壁だった
まず「ハルシネーション」って言葉、ちょっと噛み砕くね。最近ニュースでもよく見るけど、ちゃんと意味を説明されると意外と少ないんだよね。
これはAIが事実じゃないことを、さも事実みたいに自信たっぷりに作り出しちゃう現象のこと。日本語だと「幻覚」って訳されたりするんだけど、要するに「それっぽいウソ」だよ。
ややこしいのは、これがバグじゃなくてAIの仕組み上どうしても起きちゃうってこと。AIは「いちばんそれっぽい言葉」をつなげてるだけで、「本当かどうか」を確かめてるわけじゃないんだよね。
だから、それっぽければ中身が空っぽでも平気で出してくる。人間でいうと、知らないことを聞かれて「えーっと」って詰まらずに、サラッと作り話で答えちゃうタイプ、みたいな感じかな。
遊びで使うぶんには「まあAIだしね」で済むんだけど、これがお金や命に関わる場面だと一気に笑えなくなるの。
たとえば会計。数字が1個でも間違ってたら、その帳簿はもう信用できないよね。「だいたい合ってます」じゃ困る世界なわけ。
しかも会計の怖いところって、間違いが1個でもあると「他の数字も全部疑わしい」ってなっちゃうこと。99個合ってても、1個ウソがあったらその表全体の信用がガラガラっと崩れるんだよね。
医療系もそう。患者さんのデータについてAIが微妙に間違った答えを返したら、それはもう便利どころか危険になっちゃう。
こういう分野って、スピードや便利さよりも「絶対に間違えない」が最優先なの。だから多少賢くても「たまにウソつくAI」は、そもそも土俵にすら上がれないんだよね。
しかも一回でも大きなミスをやらかすと、「やっぱりAIは信用できない」って現場全体が引いちゃう。せっかく便利なのに、信頼を1回失っただけで一気に使われなくなる、そういうシビアな世界なんだ。
だからわたしは、AIが本当に社会の真ん中で活躍するには、「賢さ」より先に「ウソをつかない」をクリアしなきゃいけないって思ってる。そこに正面から取り組んでるのが、今回のProbablyなんだよね。
逆に言うと、ここさえ越えられれば、いままで「AIなんて怖くて任せられない」って言われてた仕事が、一気に開放される。だからこの壁は、面倒くさいけど、いちばん価値のある壁だとも言えるの。
実際Probablyが狙ってるのも、まさにこういう会計や医療みたいな「ちょっとの間違いも許されない」精度が命の分野なんだ（TechCrunch）。
つまり、AIをおもちゃから「本気の仕事道具」に格上げしようとすると、必ずこのハルシネーションの壁にぶつかる。ここを越えられない限り、どんなに賢いAIでも肝心な場面で使えないんだよね。
これまで業界って、わりと「もっとデータを食わせて、もっとモデルを大きくすれば、ウソも減るでしょ」っていう力技で進んできた感じがあるの。
でも、いくら大きくしてもゼロにはならないっていうのが、ここ最近のみんなの実感だと思う。だから「そもそも解き方が違うんじゃない？」って問い直してるProbablyに、わたしはかなり本質を突いてるなって思ったんだ。
賢いガードレールがあれば、モデルは弱くてもいい
ここがこの会社のいちばん面白いところ。読んだとき、わたしは「えっ、そっち方向で攻めるんだ」ってちょっと声出ちゃった。
創業者のPeter Eliasさんは、LLM（ChatGPTみたいな大規模言語モデルのこと）を「データサイエンスのメックスーツ」で包む、っていう表現をしてるの。メックスーツって、パイロットが乗り込む巨大ロボットの装甲スーツみたいなイメージだよ。
中身のモデルはそのままに、外側にガッチリした装甲（仕組み）を着せてあげる感じだね。
ここでのポイントは、AI本体を賢くしようとしてるんじゃなくて、AIの「外側」を強くしてるってこと。発想の置きどころが、これまでとぜんぜん違うの。
その装甲の正体が「決定論的なバリデーター」っていうもの。「決定論的」っていうのは、同じ入力なら必ず同じ答えになる、ブレない計算のことだと思ってくれればいいよ。電卓で1+1を何回やっても2になるみたいな、あの確実さね。
LLMって実は「決定論的」の真逆で、同じ質問でも聞くたびに微妙に違う答えを返すことがあるの。その気まぐれさが、便利さの源でもあり、ウソの源でもあるんだよね。
だからそこに「絶対ブレない係」を後ろからくっつけて、気まぐれな答えをガッチリ採点させる。この組み合わせが面白いところなんだ。
「バリデーター」は日本語にすると検証係。AIが最初に出した答えを、そのまま信じずに、ちゃんとしたデータと突き合わせて「これ本当に合ってる？」ってチェックする役割なんだ。
イメージとしては、おしゃべりが得意な相棒（LLM）が下書きを作って、きっちり屋の校正担当（バリデーター）が元データと照らし合わせて赤入れする、みたいな二人三脚だよ。
校正担当が「これは元データと違うよ」って言ったら、その答えはボツ。合格したものだけがわたしたちのところに届く、っていう流れなんだ。
仕組みはシンプルで、LLMがまず答えを出す→検証層がそれを手元のデータと照合する→データと食い違ってたら、その答えはバッサリ却下する。これを繰り返すことで、Probablyは99.99%の正確さ（つまり1万回に1回くらいしか外さないレベルで、普通のソフトウェア並み）を狙ってるの（TechCrunch）。
そしてEliasさんのいちばん刺さった一言がこれ。「ハーネス（仕組み）の作りこみがうまいほど、モデルは弱くていい」。
実際このやり方だと、チェック係が重い仕事を引き受けてくれるから、中身のモデルは最先端から「4クラスくらい格下」のものでも成立しちゃうんだって（TechCrunch）。
「4クラス格下」ってけっこうな差だよね。最先端のスーパーモデルじゃなくて、ずっと前のお手頃モデルでも、ちゃんとした答えが出せちゃうってことだから。
これって「賢い番人がいれば、選手は超一流じゃなくてもチームは勝てる」みたいな話で、わたしはほんと発想の逆転だなって思った。
ふつうは「答えを当てる頭の良さ」をモデルに求めるじゃない？でもProbablyは「答えを当てる」より「間違いを弾く」ほうに力を入れてるの。当てるのが下手でも、外れを全部捨てれば、残るのは正しい答えだけ、ってわけ。
この発想、わたしはテストの採点に似てるなって思った。生徒（モデル）が天才じゃなくても、答案を1問ずつ厳しく丸つけして、間違いを全部バツにすれば、最終的に提出される答えは正しいものだけになるでしょ。
しかも、その「丸つけ係」は決定論的だから絶対にブレない。気分で甘くなったり見落としたりしない、超まじめな採点者なの。だから生徒のほうにそこまで天才を求めなくてよくなる、っていうのがミソなんだ。
これって、いままで「賢さ＝モデルの大きさ」だと思い込んでたわたしには、けっこう価値観が揺さぶられる話だった。賢さの置き場所が、本体じゃなくて仕組みの側に移った感じ、っていうのかな。
安くて手元で動く「信頼できるAI」が普通の人に届く
で、この「弱いモデルでいい」ってところが、実はわたしたちにいちばん効いてくる。
最先端の巨大モデルって、動かすのにバカでかいデータセンターと、それなりのお金（トークン代って呼ばれる利用コスト）がかかるんだよね。だからどうしても「お金を払える大企業のもの」になりがちだった。
トークンっていうのは、AIが文章を処理するときの単位みたいなもの。文章のかたまりを小さく刻んだもので、使った量に応じて課金されるって思っておけばOKだよ。
でもProbablyのやり方なら、中身が格下モデルでもいいから、データセンターじゃなくてローカルなハードウェア、つまり手元の機械でも動かせる安さになるって言われてる（TechCrunch）。
これってつまり、「信頼できるAI」がノートパソコンレベルでも回せるかもしれない、ってことなんだ。コストも下がるし、データを外に出さずに自分の手元で完結できるなら、プライバシー的にも安心だよね。
トークン代って、使えば使うほどジワジワ効いてくるコストなの。本気で業務に使い込むほど請求がふくらむから、「賢いけど高い」AIって、結局気軽には使えなかったりするんだよね。
そこのコストがガクッと下がって、しかも自分の手元のマシンで動くなら、「お金持ちの大企業だけのもの」だったAIが、小さな会社や個人にも降りてくる。これってわたしはけっこう大きな変化だと思う。
会計データや患者さんの情報みたいな、外に出したくない大事なデータほど「手元で完結する」価値が高いしね。安さと安心が同時に手に入るって、なかなかうれしい組み合わせじゃない？
いままで「信頼できるAIが欲しいなら、高いお金を払って大きなモデルを使ってね」っていうのが当たり前だった。でもProbablyの考え方が広がれば、その前提がひっくり返るかもしれないんだ。
そうなると、AIを安心して使えるのが一部のお金持ち企業だけじゃなくて、もっとたくさんの人に開かれていく。わたしみたいな普通のユーザーにとっても、これってちゃんと「自分ごと」の話なんだよね。
想像してみてほしいんだけど、自分のパソコンの中で動いてて、しかも答えにちゃんと根拠（引用）と監査ログがついてくるAI。ちなみにProbablyの第一弾プロダクトは、複雑なデータについて質問すると、引用と監査証跡つきで答えてくれるデータサイエンスのツールなんだって。
「なんでこの答えになったの？」をあとから全部たどれるって、信頼って意味ではめちゃくちゃ大きいの。AIに「これ合ってる？」って毎回ビクビクしなくていい未来、ちょっとワクワクしない？
監査証跡（audit trail）っていうのは、ざっくり言うと「どのデータをもとに、どういう手順でこの答えにたどり着いたか」の記録のこと。あとから誰かに「ここ説明して」って言われても、ちゃんと根拠を見せられるんだよね。
これって会計や医療みたいに「あとで説明責任が問われる」仕事だと、ものすごく価値が高いの。答えそのものだけじゃなくて、「なぜそうなったか」まで残るって、信頼の土台になるから。
ただね、ここはフェアに言っておきたいんだけど、これはまだシードラウンドっていう、かなり初期の段階の会社の話。99.99%も「狙ってる」目標であって、達成済みって意味じゃないんだ。
それにこのやり方、実は弱点もある。検証層って「照合できるデータやルールがある場所」でしか効かないの。だって答えを突き合わせる相手がいないと、チェックのしようがないからね。
会計や医療みたいに「正解の元データ」がある分野には強いけど、答えが一つに決まらないふわっとした相談ごとには、この仕組みはそのままじゃ使えない。
たとえば「今日の晩ごはん何にしよう」みたいな正解のない質問だと、照合する相手がいないから、検証層は出番なし。逆に言うと、得意な土俵がすごくはっきりしてるアプローチなんだよね。
だから万能薬として期待しすぎるとちょっと違って、「ちゃんとした元データがある仕事を、ものすごく確実にこなす道具」として見るのが正しい気がする。そう考えると、最初の狙いが会計や医療っていうのも、すごく納得なんだ。
まとめ：信頼は「もっと大きいモデル」じゃなく「賢い仕組み」から生まれる
今回いちばん「なるほど」って思ったのは、AIのウソを直す答えが「もっと大きくて高いモデル」じゃなかったこと。
Probablyが見せてくれたのは、出てきた答えをちゃんと検証する賢いガードレールがあれば、モデル自体は弱くてもいいし、その結果として安く、手元で、信頼できるAIが動かせるかもしれない、っていう逆張りの道なんだよね。
Eliasさんの「ハーネスの作りこみがうまいほど、モデルは弱くていい」って言葉、最初は耳を疑ったけど、よく考えるとめちゃくちゃ理にかなってるの。当てるより外れを弾く、っていう発想の転換が、コストも信頼も同時に解決しちゃうんだから。
まだシードラウンドっていう初期段階だし、99.99%も今は目標の数字。効くのも照合データがある分野に限られる。だから過度に持ち上げるのは違うと思う。
それでも「信頼を、もっと大きいモデルじゃなく仕組みで作る」っていう考え方そのものが、わたしはこれからのAIの大事なヒントになる気がしてるんだ。900万ドルっていうお金を大手のa16zが入れたのも、その方向性に賭けた証拠だよね。
次にAIが自信満々な答えを返してきたら、「その根拠どこ？」ってちょっと立ち止まる。そんな目線を持っておくだけでも、わたしたちのAIとの付き合い方はぐっと安全になると思うんだ。
関連記事: AI業界の動向まとめ
ソース: