Askhub

用語解説

Human in the Loop(ヒューマン・イン・ザ・ループ)とは?AIの判断のどこに人を置くか

松本拓哉

「人が最終確認すれば大丈夫」は、どこまで本当か

Human in the Loop(ヒューマン・イン・ザ・ループ)とは、AIの処理の途中に、人の確認と判断を組み込むことです。この記事では、人の判断が無ければ先に進まないようにする作り方を指します。

「人が確認する」は、どの処理に置き、何を見て判断するかまで決めて初めて意味を持ちます。

AIエージェントは、AIが自分で手順を選びながら仕事を進める仕組みです。その導入を社内で説明すると、「最後は人が確認するので大丈夫です」という言い方がよく出てきます。ただ、どの処理の前に、誰が、何を見て確認するのかが決まっていなければ、この言葉は安心材料になりません。

推進担当が押さえる要点

  • 人の関わり方は、in the loop(人が承認しないと先に進まない)、on the loop(AIが進め、人が見ていていつでも止められる)、out of the loop(動き出した後は人が関わらない)の3つ。処理ごとに選び、1つのエージェントの中で混ぜるのが普通
  • EUのAI法は、高リスクのAI(採用や教育、重要なインフラなどに使うもの)に人による監督を義務づけるが、1件ごとの承認を一律に求めるものではない。国内のガイドラインも、人の判断の介在と、自動化バイアス(AIの出力に頼りすぎる傾向)への備えを求めている
  • どこに人を置くかは、自動にして得られる効果と、ミスが起きたときの損失を比べて決める。最大の悪影響から逃げずに見積もり、権利や金銭に響く処理や、取り消せない処理ほど人を置く方に傾ける
  • 承認の手間は、まとめて確かめられる画面の設計で減らせる。それでも全件を見ると確認は形だけになりやすいので、AIに誤りの疑いが強いものを選ばせて件数を絞る
  • 置く場所と一緒に、その人が何を見て判断するかを決める
  • 製品を選ぶときは、承認を求める処理を操作の種類ごとに決められるか、誰が、いつ、何を承認したかが記録に残るか、などを確かめる

Human in the Loopとは:AIの処理の途中に、人の確認と判断を組み込むこと

Human in the Loopは、直訳すると「人が輪(ループ)の中にいる」です。この記事では、AIが処理を進める流れの中に、人が確認・判断・承認する段階を組み込む作り方を指します。人の判断が無ければ、処理は先に進みません。

AIの開発の場面では、人が正解を付けたり評価したりしてモデルを改善する仕組みを、同じ言葉で呼ぶこともあります。

デジタル庁は2026年10月、政府職員向けのAI利用環境「ガバメントAI源内」の基準(源内基準)を定めました。その中に「ヒューマン・イン・ザ・ループの確保」という項目があります。

そこでは、利用者がAIの処理をそのまま受け入れるのではなく、業務の適切な段階で人が関わるよう求めています。行うのは、確認、判断、承認、修正、監督、停止です。源内基準は、監督や停止まで含む広い意味でこの言葉を使っています。

in・on・out of the loopは、処理ごとに使い分ける

人の関わり方は、3つに分けて呼ばれます。どれが正しいということではなく、処理ごとに、どの関わり方にするかを選びます。

呼び方

人の関わり方

業務での例(問い合わせ対応)

Human in the Loop

人が承認しないと、AIは先に進まない

AIが書いた返信を、担当者が確認してから送る

Human on the Loop

AIは進めるが、人が見ていて、いつでも止められる

AIが返信を送り、担当者は送信の一覧を見て、おかしな返信があればAIを止める

Human out of the Loop

動き出した後は、人が関わらない

AIが返信を送り、人は後から記録を見るだけ

人の関わり方の3つを縦に並べた図。in the loopは、AIの処理の途中で人が承認しないと先に進まない。on the loopは、AIが進め、人は見ていていつでも止められる。out of the loopは、動き出した後は人が関わらず、後から記録を見る

1つのAIエージェントの中でも、注文の検索はout of the loop、返信の送信はin the loop、と混ぜるのが普通です。

この3つは、兵器の自律性の議論でよく使われる分け方です。米国議会の調査局の資料も、米国防総省の方針をこの3つに対応づけて説明しています。

規制やガイドラインが求めるのは、人による監督と判断の介在

EUのAI法は高リスクのAIに人による監督を義務づけていますが、1件ごとの承認までは一律に求めていません。国内のガイドラインは、人の判断の介在と、自動化バイアス(AIの出力に頼りすぎる傾向)への備えを求めています。

EUのAI法:高リスクのAIには「人による監督」を義務づける

EUのAI法(AI規則、2024年)は、第14条で、高リスクのAIに人による監督を求めています。高リスクのAIとは、採用や教育、重要なインフラなどに使うものです。

求めているのは、使っている間に人が監督できるよう設計すること、そして監督する人が次のことをできるようにすることです。

  • AIの能力と限界を理解し、動きを見張る
  • AIの出力に頼りすぎる傾向(自動化バイアス)を自覚する
  • 出力を正しく解釈する
  • AIを使わない、出力を無視する、覆すと決める
  • 停止ボタンなどで、安全に止める

第14条が求めるのは、人が監督でき、止められる状態にしておくことです。

1件ごとの承認までは一律に求めておらず、監督の方法はリスクや使い方に見合ったものにするとしています。EUの外の会社でも、EUで提供するAIや、出力がEUで使われるAIは対象になります。

高リスクのAIへの義務は、2026年7月に発効した改正で延期されました。当初の予定と、欧州委員会による改正後の適用の時期は次のとおりです。

対象

当初の予定

改正後の適用(欧州委員会による)

採用や教育などに使うAI

2026年8月

2027年12月から

製品に組み込むAI

2027年8月

2028年8月から

国内のガイドライン:人の判断を介在させ、自動化バイアスに備える

総務省と経済産業省の「AI事業者ガイドライン」(第1.2版、2026年3月)は、公平性の項目で「人間の判断の介在」を挙げています。AIの出力が公平さを欠かないよう、適切なタイミングで人の判断を介在させる使い方を検討するよう求めています。

あわせて、人の判断が自動化バイアスに左右されないよう対策をとるべきだとしています。その対策の例として紹介しているのが、承認する理由や根拠を自分で考えてから、AIの判断を承認するという提案です。

どの処理に人を置くかは、得られる効果と、ミスの損失を比べて決める

私たちが支援してきた現場では、自動にするかどうかを、自動にして得られる効果と、ミスが起きたときの損失を比べて決めます。

ここで「自動にする」は、1件ごとの承認をやめ、on the loopかout of the loopにすることを指します。ただし、法令や契約で人の関与が求められる処理は、比べる前に人を置きます。

たとえば、見積もりは次のように進めます。

  1. 100件のデータで試してAIが1件誤ったなら、およそ100件に1件は誤るかもしれない、と見込む
  2. その1件の誤りが社内にどれだけの損失を生むかを、関係者全員で見積もる。取り戻すために誰かが5時間余分に働くなら、その5時間が損失
  3. 100件を自動にして浮く時間と、1件の誤りを取り戻す5時間を比べ、効果が十分に大きければ自動にする

大事なのは、最大の悪影響から逃げずに見積もることです。

顧客の信頼を失うような誤りも、売上に換算するとどれくらいになるかまで考えます。損失が非常に大きい誤りなら、計算すれば自然と「自動にしない」という結論になります。

精度の測り方と損失の見積もり方は、AX推進入門の第6回で詳しく扱っています。

この比べ方に加えて、ガイドラインの観点も手がかりになります。AI事業者ガイドラインの別添は、人の判断を介在させるかどうかを決める基準の例を8つ挙げています。AIを使う会社向けの例です。

もとは公平性(差別や偏りを防ぐこと)の項目にある例で、差別の起きやすさなど公平性に特有の観点も含みます。ここでは、どの業務にも当てはめやすい5つを選んで、問いの形に直しました。さらに、源内基準から「取り消せるか」を足しました。

源内基準は、AIが複数の処理を続けて実行する場合は、重要な処理の前に確認か承認を行うとしています。ファイルの更新・削除やデータの登録のような影響の大きい処理は、利用者が実行するかを判断します。右の列は、この記事による当てはめです。

観点

問い

人を置く方に傾く場合

権利・利益の性質

誤ったとき、誰のどんな権利や利益に響き、本人はどう望むか

顧客や社員の権利、金銭、契約に響く

出力の信頼性

この処理で、AIと人のどちらが正しく判断できるか

AIの評価が足りない、例外が多い

時間的な余裕

人の確認を待つ時間があるか

待てる(待てない処理は、on the loopで止める仕組みを検討)

判断する人に求める能力

確認する人が、正しさを見分けられるか

見分けられる人がいる(いなければ、見分けるための知識を先に渡す)

説明の必要

結果について、外部に説明する必要があるか

顧客や監査に説明が要る

取り消せるか(この記事で追加)

誤った後に元に戻せるか

送信、支払い、削除のように戻せない

問い合わせ対応で当てはめると、次のようになります。

処理

誤ったときの影響

人の置き方

注文や配送の検索

顧客に影響せず、取り消す必要もない。誤りの損失はほぼ無い

人を置かずに進める

顧客への返信

顧客との約束になり、送った後は取り消せない。1件の誤りで顧客の信頼を失うこともある

最初はin the loopにする。試した結果から誤りの率と損失を見積もってから、on the loopに移すかを決める

返金の案内

金銭に関わる。1件の誤りの損失が、自動にして浮く時間を上回ることが多い

慣れた後もin the loopのままにする。承認できる人も、あらかじめ決めておく

事務所で、チームのリーダーが机で付箋の付いた数件の書類だけを確かめ、ほとんどの書類はトレイに入ったまま止まらずに流れていく水彩の挿絵。そばで同僚が待っている

人を置いても、確認が形だけになることがある

人を置けば安全になるわけではありません。

怖いのは承認の手間ではなく、確認が形だけになり、中身を見ずに承認するようになることです。

よく心配されるのは「承認疲れ」、つまり承認の手間が重すぎて業務が回らなくなることです。

ただ、私たちが支援してきた現場には、承認の依頼を1つの画面にまとめて確かめられるようにした業務があります。そうした業務では、全部を人が承認する運用でも、承認の手間で業務が回らなくなった例はありません。

手間が重くなるのは、承認の依頼がばらばらのタイミングで次々に届くような、設計の悪さからです。100件を承認するなら、100件を見やすい画面にまとめ、一度に確かめられるように最初から設計します。

そもそも、その100件は今まで人が作業していたものです。作業していた人が確かめるだけで済むなら、前より楽になっています。

形だけの確認には、自動化バイアスも重なります。ガイドラインやEUのAI法が備えを求めているのも、こちらです。

だから、確認する件数は絞るほうがよいです。

100件に1件しか誤りが無いものを100件確かめさせると、集中を保つのは難しく、確認が形だけになりがちです。

そこで、AIに、誤りの疑いが強い10件を選ばせ、その10件だけを人が確かめます。10件に1件の誤りなら、人の注意は保てます。

残りの90件は、事実上、人を置かずに進めることになります。効果とミスの損失の比べ方で、90件に紛れる誤りの損失を見積もり、別に評価しておきます。

人を置く場所を決めたら、その人が何を見て判断するかまで決めます。ガイドラインの別添も、人が判断すべき項目を事前に明確にしておくよう挙げています。

承認を条件ごとにまとめる工夫や、自動で承認する範囲の広げ方は、AIエージェントの承認の粒度の記事で扱っています。

AIエージェント製品では、「ツールの実行前に止める」形で作られる

AIエージェントの開発キットや開発者向けのツールには、Human in the Loopの仕組みを持つものがあります。ツール(システムを操作する機能)を実行する前に処理を止め、人の承認を待つ形です。

製品

止め方

OpenAIのエージェント開発キット

指定したツールの呼び出しの前で処理を止め、人が承認するか拒否するまで待つ仕組みを用意している

Claude Code(Anthropicのプログラミング支援エージェント)

ファイルの編集やコマンドの実行の前に人に尋ねるかどうかを、設定で切り替えられる

製品を選ぶときは、次のことを確かめます。

  • 承認を求める処理を、操作の種類ごとに決められるか
  • 承認の画面に、AIが何を、なぜしようとしているか、根拠と一緒に表示されるか
  • 承認の待ちが長引いたとき、処理はどうなるか(止まったままか、取り消されるか)
  • 誰が、いつ、何を承認したかが記録に残るか
  • on the loopにしたとき、人がすぐに止められるか
  • 複数の承認の依頼を、1つの画面にまとめて確かめられるか
  • 誤りの疑いが強いものだけを選んで、人に回せるか

たとえば、インターセクトが提供するAskhubでは、業務の操作ごとに扱いを決めます。自動で実行するか、人が確認してから実行するか、提案にとどめるかです。上で見たエージェント開発キットのように、ツールの呼び出しごとに止める形でも、操作の種類が少ない業務なら十分です。

まとめ:「人が確認する」は、場所と中身まで決めて初めて意味を持つ

Human in the Loopは、AIの処理の途中に人の確認と判断を組み込む作り方です。EUのAI法や国内のガイドラインも、人の監督や判断の介在を求めています。

ただ、すべての処理に人を置く必要はなく、置いても形だけになることがあります。

自動にして得られる効果とミスの損失を比べて、人を置く処理を選びます。そのうえで、確認する件数を絞り、その人が何を見て判断するかまで決めておきます。

関連記事

参考資料

Askhubについて

Askhubは、日本の中堅・大企業がAIに業務を任せるための基盤です。業務の型(オントロジー)でAIに許す操作を定め、承認を挟みながら任せる範囲を広げ、国産の基幹システムまで書き込めるようにします。導入はコンサルタントが伴走します。

この記事の言葉で言えば、Askhubは、業務の操作ごとに、自動で実行するか、人が確認してから実行するか、提案にとどめるかを決め、誰が何を承認したかを記録する仕組みにあたります。

※Askhubのサービスに関する記載は、2026年11月時点の情報です。

関連するページ:製品の全体像、承認

この記事の内容について相談する

自社の業務にAIエージェントをどう導入するか相談したい方は、こちらのフォームからご連絡ください。1〜2営業日以内に担当者よりご連絡します。

サービス資料をダウンロードする

この記事を書いた人

松本拓哉

インターセクト株式会社 代表取締役 CEO

東京大学大学院 工学系研究科 物理工学専攻 博士課程中退。2023年4月、インターセクト株式会社を創業。これまで数十社以上の AX 推進を支援し、自らもコンサルタントとして現場を主導。エンジニアとして AI エージェント基盤「Askhub」の開発にも従事。

用語解説の記事をもっと見る