「間違えないAI」は、何を間違えないのか──Jevの正しい疑い方と、御社で入る場所

第1回のおさらいを、一行で。9月15日に出た「Jev（ジェヴ）」は文章を書かず、○×・点数・どれか一つだけを返す採点係で、返事は0.1秒、料金はほぼゼロ——という話でした。

今回は、その宣伝文句を疑うところから始めます。

Jevは「ハルシネーションしない」——つまり「AIが勝手なことを言わない」と宣伝されています。

これは本当です。ただし、何を約束していて、何を約束していないかを分けないと、判断を間違えます。

---

「間違えない」の本当の意味

前回、Jevは答案用紙に○×を付ける採点係だ、と書きました。

「間違えない」というのは、この採点係が「A・B・C以外の記号は書きません」と約束している、という意味です。記入欄が「A・B・C」しかないので、そこに「D」や「たぶんAかも」とは書けない。文章を書くAIが「表にして」と頼まれて表を崩すような、形の間違いは起きません。

ここまでが、約束していること。

約束していないのは、Aが正解かどうかです。選択肢の中から選ぶ、その選び方が正しいかどうかは、別の話です。採点係が答案用紙の枠は守っても、○を付ける場所を間違えることはある。

Jevを作ったTypeSafe社も、そこは隠していません。イギリスの技術紙 The Register は「文章を出さないのだから、ハルシネーションしないという比較はフェアではない」と書いています。私も同じ意見です。

---

第三者が試したら、どうだったか

発表から3日で、外部の人たちが自分の手で試した結果を公開し始めています。中小企業の判断に関係するものを3つ。

同じ質問には、同じ答えを返す。 問い合わせの文面36件を3回ずつ判定させたところ、3回とも全部同じ答えでした。ブレない、という点では信用できます。

でも、単純なルールに負けた。 同じ36件を「キーワードが入っていたらこの部署」という昔ながらのルールで振り分けたら 97.2% 正解、Jevは 91.7% でした。この試験に限れば、AIより「もし〜なら」の手書きルールのほうが正確だった。

自信の数字が、当てにならなかった。 Jevは答えと一緒に「自信」の数字を返します。ところが、外した案件の自信は0.04〜0.16と低いのに、一番上に選んだ答えの確率は0.58ありました。つまり「自信は低いです」と言いながら「これです」と一つを選んでいる。「自信の数字が低いものだけ人が見る」という使い方は、今のところ安全ではありません。

そしてもう一つ。日本語は、まだ検証されていません。 試した人の報告では英語が最も良く、日本語・中国語・韓国語は別にテストが要る、とされています。

---

だから、「人の代わり」ではなく「人の前の下読み」

ここまでを合わせると、使い方が決まります。

Jevに任せるのは、判断そのものではなく、人が見る前の下読みです。

問い合わせが100件来たとします。Jevが全部を0.5秒で読んで、「急ぎ」「怒っている」「請求の話」と印を付ける。人は、印を見て順番を決め、中身を読んで判断する。Jevが間違えていても、人が読むので気づく。

逆に、Jevの判定だけで「この申込は却下」と自動で返す、という使い方は、今の精度では危ない。97%と91%の差は、100件に6件の違いです。

AI驚き屋の記事で「現場は階段で上がる」と書きました。Jevの1段目は、人の判断を速くすることであって、人の判断を無くすことではありません。

---

御社の業務で、入る場所・入らない場所

入る場所。 決まった選択肢から選ぶ仕事と、点数を付ける仕事です。

• 問い合わせを「請求・技術・営業」に振り分ける
• 届いた書類を「請求書・見積書・納品書」に仕分ける
• 口コミやアンケートの自由記述に「満足度」の点数を付ける
• 申込の内容が「受付できる・要確認・できない」のどれかを一次判定する
• メールが「営業・迷惑・本物」のどれかを選別する

LINEでの問い合わせ一次対応の記事で書いた「まず振り分ける」は、この型そのものです。

入らない場所。

• 返信文、報告書、議事録、契約書——文章を作る仕事は、今まで通り文章を書くAIか人
• 写真、図面——Jevは今のところ画像を扱えません
• 「前の答えによって次の判断が変わる」仕事——Jevは一問一答で、前の答えを覚えていません。多段の判断は、プログラムで組む必要があります。つまり、設計する人が要ります

---

今回、覚えて帰っていただきたいこと

「間違えない」は「枠の外は出ない」の意味で、「選び方が正しい」の意味ではない。 だからJevは人の代わりではなく、人の前の下読み。入るのは「振り分け・仕分け・採点」で、入らないのは「文章・写真・多段の判断」。

---

次回への導入：7年前の「AI予測マーケティング」を、覚えていますか

「人の前の下読み」に使う。今回は、そう書きました。

ただ、その下読みが0.5秒で、ほぼ無料で、25個の質問を一度にできるとなると、7年前に流行って消えたものが頭をよぎります。「お客の行動をAIが見て、買いそうな人を当てる」——2018年ごろに大手がこぞって看板にして、中小企業には届かず、届いた会社でも「効果が測れない」と撤退した、あれです。

発表から3日で、「お客のマウスの動きから迷いを判定する」試作を作った人がいます。7年前の夢が、形だけは、もう動いている。

第3回は、あの夢がなぜ消えたのか、Jevで何が変わったのか、そして何が変わっていないのかを書きます。結論を先に言うと——半分だけ、生き返りました。

→ 第3回：7年前に消えた「AI予測マーケティング」が、半分だけ生き返った──Jevで御社が今やること

---

出典・参考

• Introducing System One Models & Jev（TypeSafe AI 公式ブログ、2026年9月15日）
• TypeSafe AI debuts model for machines that plays Doom（The Register、2026年9月16日）——「フェアな比較ではない」の指摘
• jev-lab（GitHub、2026年9月18日）——36件×3回の再現性、キーワードルール97.2%対Jev 91.7%、自信の数字の検証、日本語・中国語・韓国語は別途テストが必要との記載
• 文字列を捨てたモデル。Jevはなぜ桁で速いのか（Zenn、2026年9月17日）——「問いは連鎖しない」「画像は未対応」
• AI驚き屋に注意──技術は指数関数でいい。現場は違う（Acetyl:Tech）
• 問い合わせ・クレーム対応をAIで自動化する仕組み（Acetyl:Tech）