社内文書をAIに探させる3つの方法を比べてみた:新AI「Jev」の検証

探し方	図書館でたとえると	特徴
意味の近さで探す（ベクトル検索）	司書が、質問と意味の近いページを、全ページの特徴から一瞬で探してくる	速く、今回のローカル構成ではAPI料金なし（実運用では別の費用が必要）。ただし、似た話題のページに引き寄せられやすい
棚から順に絞る（階層探索）	「棚 → 本 → 章」と、順に選んで絞り込む	AIの判断回数が少なく、安い。ただし、最初の棚を間違えると戻れない
全部の目次から選ぶ（全件選択）	すべての章・節を候補にして、何回かに分けて絞り込みながら、「どれか」と選ばせる	本の取り違えが少ない。ただし、AIに渡す情報量が多く、費用は階層探索の約14倍

ほかに、キーワードの一致で探す方法と、意味検索との併用も比べました（詳細は付録）。

「選ぶ」役のAI「Jev」

「選ぶ」役には、Jevという新しいAIを使いました。Jevは文章を書かず、「選択肢のうちどれか」だけを、確信度つきで答えます。TypeSafe AI社が2026年9月15日に早期アクセスを開始しました。

TypeSafeの公式ドキュメントでは、料金は100万入力トークン（文章量の単位）あたり0.042ドルとされています（公式ドキュメント）。速度については、DigitalOceanの記事で、TypeSafeの公表値として0.07〜0.5秒（70〜500ミリ秒）と紹介されています。これらは提供元の公表値です。この記事の速度と費用は、今回の実測値を使います。

なお、今回の「意味の近さで探す」方法は、専用のデータベースを使わない簡易な構成です。447の章・節の規模なら、それで足りました。この記事が比べているのは「専用データベースが必要か」ではなく、「探し方の違い」です。

どんな条件で試したのか

図書館にたとえると、「公開された技術書46冊を用意し、30問の質問を出して、正解のページを探させた」実験です。

文書：Microsoftの公開技術文書46件（447の章・節）を使いました。社内文書は使っていません。ライセンスはCC BY 4.0（© Microsoft）です。
質問：30問を、英語と日本語の両方で用意しました。答えが1か所にあるもの10問、文書と言い回しが違うもの13問、複数の文書にまたがるもの7問です。
採点：「正解の章・節にたどり着けたか」で採点しました。
紛らわしさ：似た話題が別の文書にある組み合わせを、意図的に入れました。たとえば、「過去の状態に戻す機能（タイムトラベル）」が2製品に、「アクセス制御」が3種類にあります。
Jevの使い方：OpenRouter（複数のAIを1つの窓口で使えるサービス）経由で呼びました。Jevに見せる各章の説明は、本文の冒頭2文の抜き出しです。

比べ方の前提：AIに見せる情報量が違います

「意味の近さで探す」方法は、各章・節の本文（長いものは途中まで）を数値化して判断しました。一方、Jevが見ているのは、見出しと本文の冒頭2文だけです。

つまり、意味検索のほうが、多くの情報を見て判断しています。

結果：大きな差は出なかった

正解にたどり着いた割合は、方法によって数ポイント違いました。ただし、今回の30問では、統計的に確かな差とは確認できませんでした。

探し方	英語の質問	日本語の質問
意味の近さで探す	60.0%	53.3%
棚から順に絞る	63.3%	66.7%
全部の目次から選ぶ	73.3%	73.3%

数字は、AIが「これが正解」と最初に挙げた章・節が合っていた割合です。件数で書くと、英語の質問30問のうち、意味の近さで探す方法は18問、棚から順に絞る方法は19問、全部の目次から選ぶ方法は22問が正解でした（日本語の質問では16問、20問、22問）。

「全部の目次から選ぶ」が最も高く見えますが、30問では1問で3.3ポイント動きます。統計の検定でも、どの組み合わせも「偶然とは考えにくい」水準（p<0.05）には届きませんでした（最小はp=0.07）。「差がない」ではなく、「差を確認できなかった」と読んでください。

速度と費用（1問あたり。円換算は1ドル=160円）：

意味の近さで探す：約0.13秒。この検証では手元のPCで動かしたため、API料金はかかりませんでした。実運用では、サーバーなどの費用が別にかかります。
棚から順に絞る：約0.8秒、約0.0001ドル（0.02円ほど）。
全部の目次から選ぶ：約0.9秒、約0.0015ドル（0.2円ほど）。

具体例：実際の質問と結果

数字だけでは伝わりにくいので、実際の質問と、各方法が何を選んだかを4つ紹介します。なお、4つは「違いが分かりやすい問」を選んだもので、30問からの無作為な抽出ではありません。質問は日本語と英語の両方で試しましたが、文書は英語なので、章・節の名前は英語のままです。以下の確信度は、英語の質問で、最後に実行したときの値です（Jevは同じ質問でも、確信度が少し揺れます）。

棚から順に絞るしくみ（イメージ）

例1：どの方法も当てた質問（q01）

例1：全部正解

質問：Fabricのデータウェアハウスで、タイムトラベル（過去の状態を問い合わせる機能）のデータ保持期間の既定値は？

正解：「Query data as it existed in the past」の中の「Data retention in Fabric Data Warehouse」

意味の近さで探す	正解
棚から順に絞る	正解棚100% → 本99% → 章100%で、迷いなく到達
全部の目次から選ぶ	正解

例2：意味検索が外し、棚から順に絞る方法が当てた質問（q16）

例2：意味検索が外れた例

質問：夜間の大きな取り込みジョブは、同時にSQLエンドポイントで走っているレポートのクエリを遅くする？

正解：「Workload management」の中の「Compute pool isolation」

意味の近さで探す	外れ 1位は「Result set caching（結果のキャッシュ）」の紹介ページ。正解は2位でした
棚から順に絞る	正解棚100% → 本98% → 文書100% → 章93%と進んで到達
全部の目次から選ぶ	正解

意味検索は、「夜間」「レポートのクエリ」といった言葉に近い、キャッシュの話に引き寄せられたようです。

例3：棚から順に絞る方法が、最初の棚で外した質問（q12・q13）

例3：最初の棚で外れた例（q12）

質問：動的データマスキング（列の値を隠す機能）で保護された列の、マスク前の値を見るには、どの権限が必要？

正解：「Dynamic data masking in Fabric Data Warehouse」の中の「Permissions for dynamic data masking」

意味の近さで探す	正解
棚から順に絞る	外れ最初の棚で「Governance, security and access control（ガバナンス、セキュリティ、アクセス制御）」を90%で選択。正解の棚（Microsoft Fabric）は10%。その後「Azure custom roles」にたどり着きました。候補を3つ残しても戻れませんでした
全部の目次から選ぶ	正解

「権限」という言葉に、「アクセス制御」の棚が強く反応しました。もう1問のq13（営業担当者に、自分の担当地域の行だけを見せる方法）でも、確信度95%で同じ棚に進んで外れました。確信度が高くても、棚の分け方が合っていないと外れることがある、という例です。

例4：選択肢の並び順で、結果が変わった質問（q24）

質問：インデックスに問い合わせるだけで、何も変更しないチャットボットアプリには、どのロールを付与すべき？

正解：「Connect to Azure AI Search using roles」の、読み取り専用のロールを説明した節

この質問では、最初の棚の選択で、「Governance, security and access control」と「Azure AI services」の確信度が、ほぼ半々でした（55%対45%）。選択肢の見せる順番だけを変えて5回試した結果です。

回	見せた順番（棚）	確信度	選ばれた棚	最終結果
1	ガバナンス → AI → Fabric	AI 63%、ガバナンス 36%	AI	正解
2	Fabric → ガバナンス → AI	ガバナンス 57%、AI 42%	ガバナンス	外れ
3	AI → Fabric → ガバナンス	ガバナンス 57%、AI 43%	ガバナンス	外れ
4	AI → ガバナンス → Fabric	AI 57%、ガバナンス 43%	AI	正解
5	ガバナンス → AI → Fabric	AI 64%、ガバナンス 35%	AI	正解

同じ順番（1回目と5回目）で見せると、同じ棚を選びました。順番を変えたときだけ答えが変わっているので、ランダムなばらつきではなく、並び順の影響と考えられます。確信度が50〜60%台の、迷っている場面でだけ起きました。

複数の本にまたがる質問は、どの方法も苦手でした

答えが複数の場所に分かれている7問は、全部を見つけて初めて正解になります。英語では、「1つだけ返す方法」（意味の近さで探す、棚から順に絞る、全部の目次から選ぶ）は0問でした。「上位3件を返す方法」では、棚から順に絞る方法（候補3つ）が3問、意味検索が2問でした。1つだけ返す方法は、原理的に全部を見つけられないため、この種の質問には向きません。

質問の種類（英語）	意味の近さで探す	棚から順に絞る	全部の目次から選ぶ
答えが1か所（10問）	8問	9問	10問
言い回しが文書と違う（13問）	10問	10問	12問
複数の場所（7問）	0問	0問	0問
合計（30問）	18問	19問	22問

（各方法が1位に挙げた1件で採点。複数の場所の質問は、1件では正解にできません。）

わかったこと

正解率が同程度でも、中身を見ると、方法ごとに違いがありました。

① 間違え方が違う

意味の近さで探す：「本は合っているのに、ページを間違える」ことが多くありました（正しい本までは90%）。文書全体の概要のページに、質問が引き寄せられがちでした。
棚から順に絞る：最初の棚を間違えると、本ごと違うものになります。
全部の目次から選ぶ：本の取り違えは起きませんでした（100%）。

② 棚の分け方が、成否を左右した

棚から順に絞る方法が間違えた主な原因は、棚の分け方でした。権限やアクセス制御についての質問3問が、「ガバナンス、セキュリティ、アクセス制御」という名前の棚に引き寄せられたのです。

ところが、正解は、その棚ではなく、各製品の説明書の中にありました。会社にたとえると、「経費精算の規程」が経理部と総務部のどちらの棚にもありそうで、どちらを探すか迷う状況です。

棚の名前から「セキュリティとアクセス制御」の言葉を外して、やり直しました（結果を見てから直した、事後の実験です）。AIの確信度は、91%から73%へなど下がりましたが、選ぶ棚は変わりませんでした。探す候補を3つに広げると、一部は正解に戻りました（ただし、この差も統計的には確認できませんでした）。

名前の問題ではなく、話題が複数の棚にまたがる、分類そのものの曖昧さが原因のようです。AIを入れる前の、文書の分類の設計が、結果を左右する可能性があります（この結果からの見立てです）。

③ 選択肢の並び順で、答えが変わることがある

AIに見せる選択肢の順番を入れ替えただけで、答えが変わることがありました。並び順を変えて5回試したところ、30問中7問で結果が変わり、正解と不正解が入れ替わったのは2問でした。変わったのは、AIの確信度が低い場面だけでした。

「棚から順に絞る」（候補1つ）と「全部の目次から選ぶ」は、同じ条件で2回実行すると、30問すべて同じ結果でした。

AIの判断を自動処理に使うなら、確信度が低いものは人が確認する仕組みが要りそうです（見立てです）。

導入を考えるときの目安

今回の結果からの見立てです。規模を変えた検証はしていないため、目安として読んでください。

まず、文書の分類を決める：棚の分け方が曖昧だと、棚から順に絞る方法は間違えやすくなりました。探し方を選ぶ前に、「どの文書を、どの切り口で整理するか」を決めておく価値があります。
文書が数百の章・節程度なら、「全部の目次から選ぶ」が安定していました：費用は1問あたり1円未満です。
文書が多く、費用や速度を抑えたいなら、「棚から順に絞る」：AIに渡す情報量が少なく済みます。ただし、分類が質問の切り口と合っていることが前提です。
自動化するなら、人の確認を残す：確信度が低いものは人が確認する、または別の方法と併用する、といった設計が考えられます（併用は未検証の案です）。
小さく試す：自社の文書で、正解付きの質問を30問ほど作って比べるだけで、傾向がつかめます。今回のJevの利用料は、全部で1ドル未満でした（準備や作業の人手、ほかのAIの利用は別です）。

なお、今回は専用のデータベースを使わなくても足りましたが、数万の章・節の規模については、この検証からは言えません。

導入前に確認したいこと

社内文書に使う前に、次の4点を確認してください。

情報の外部送信：今回はOpenRouterを経由して、TypeSafeのJevを利用しています。そのため、検索のたびに、質問文や選択肢の説明文が外部サービスへ送信されます。今回は公開文書だけを使いました。社内文書で利用する場合は、利用する経路を含め、各サービスのデータ取扱条件や契約条件を事前に確認する必要があります。
新しいサービスであること：Jevは2026年9月に早期アクセスが始まったばかりです。名称、料金、仕様が変わる可能性があります。
日本語の精度：提供元の資料には、日本語など英語以外では精度が下がると書かれています。今回の30問では、日本語でも英語と同等以上でした。ただし、文書が英語だった点に注意してください。日本語の社内文書で同じになるとは限りません。
測定条件：速度は、今回の環境（外部の窓口経由、通常のPC）での値です。環境によって変わります。

この検証の限界

この結果は、次の条件の範囲でだけ読めます。

規模が小さい：30問・46文書です。差の多くは統計的に確認できませんでした。英語と日本語は同じ質問の翻訳で、別々の60問としては数えられません。
作り手の偏り：質問・正解・棚の分け方は、同じ作り手（AIアシスタントのClaude）が作りました。偏りが入っている可能性があります。
事後の修正と実験：正解1件は、意味検索の結果を見た後、Jevを実行する前に修正しました。棚の名前を変えた実験は、結果を見てから行ったもので、同じ質問で測っています。改善の検証としては扱えません。
比べた相手が限られる：意味検索は基本の構成だけです。結果を並べ替える仕組み（リランカー）や、日本語向けの工夫は試していません。
未検証の条件：似た選択肢が多く並ぶ場合や、Jevに見せる説明をAIが要約した場合は、試していません。
規模と経路：数千文書以上の規模と、提供元（TypeSafe）に直接つないだ計測も、未検証です。

まとめ

AIに社内文書を探させる3つの方法は、30問では正解率に明確な差が出ませんでした。分かれたのは、間違え方と、費用、そして文書の分類への依存度です。

探し方を選ぶ前に、次の2つを用意すると、判断しやすくなります。

自社の文書で作った、正解つきの質問セット（30問ほど）
質問の切り口と合った、文書の分類（棚の分け方）

検証の詳細と数字の根拠は、次の付録に載せました。

付録：技術者向けの詳細

ここからは、数字の根拠を確認したい方向けです。

方式の詳細

ベクトル検索：bge-m3で埋め込み、numpyで類似度を計算（ベクトルDBサーバは使わない）。埋め込む入力は「文書タイトル/見出し+セクション本文の全文」で、上限1,024トークンで切り捨て（447セクション中7件が対象。q23・q24の正解セクションを含む）
BM25：単語の一致による検索
ハイブリッド：ベクトル検索とBM25をRRFで統合
階層探索：JevのChoiceで、フォルダ → サブフォルダ → 文書 → セクションの順に選ぶ。候補を1つ残すbeam=1と、3つ残すbeam=3
全件選択：階層を使わず、447セクションすべてから、トーナメント方式で選ぶ
Jevは OpenRouter経由（モデルjev-1.13）。Jevに見せる説明は、本文の冒頭2文の抜き出し

到達率（30問）

方式	英語 top1	英語 top3	日本語 top1	日本語 top3	応答時間 p50（英語）
ベクトル検索	60.0%	76.7%	53.3%	73.3%	0.13秒
BM25	53.3%	70.0%	–	–	0.001秒
ハイブリッド	60.0%	73.3%	–	–	0.13秒
階層探索 beam=1	63.3%	–	66.7%	–	0.83秒
階層探索 beam=3	–	80.0%	–	80.0%	1.84秒
全件選択	73.3%	–	73.3%	–	0.88秒

「top1」は、AIが1位に挙げた候補が正解だった割合です。「top3」は、上位3つのどれかが正解だった割合です。階層探索の「beam=3」は候補を3つ残して進むので、top3で比べています。答えが複数の場所に分かれている7問は、全部見つけて初めて正解になるため、1位の1件だけでは正解にできません。

キーワード検索（BM25）とその併用方式は、日本語の質問では比べていません。文書が英語で、日本語の質問とは単語が一致せず、ほとんど見つからないためです。