AI利用状況の可視化｜導入判断に使える指標・ダッシュボード・運用手順
DX推進
生成AIの社内定着・業務効率化のご相談を承っています
戦略策定から現場研修まで、Mojiが一貫して支援します。
AI利用状況の可視化とは、社員がAIを何回使ったかを数えるだけではありません。どの業務で使われ、どの程度定着し、品質・処理時間・リスクにどのような変化が起きたかを、意思決定できる粒度で確認する仕組みです。
経営者・事業責任者が最初に避けたいのは、「利用回数が増えたので導入成功」「ログが取れないので効果不明」という二択です。利用回数は導入・定着の兆候にはなりますが、業務成果や安全性を単独では示しません。反対に、全プロンプトを保存しなくても、目的を限定したメタデータ、サンプル評価、人による確認結果を組み合わせれば、導入継続・拡大・見直しの判断材料を作れます。
NISTのAI RMFは、AIリスク管理をGOVERN・MAP・MEASURE・MANAGEの4機能で整理しています。可視化はそのうち「測定」だけの仕事ではなく、利用目的・責任者・許容しない失敗を定め、測定結果をもとに対応を決める一連の運用として設計します。NIST AI RMF 1.0
結論：AI利用状況は4層に分けて可視化する
一つのダッシュボードへ全指標を詰め込むのではなく、次の4層を分けて集め、見る人も分けることをMojiでは提案します。
可視化する層 | 答えたい問い | 代表指標 | 主な閲覧者 |
|---|---|---|---|
利用・定着 | 対象者は使い始め、継続しているか | 対象者に対する利用者率、継続利用率、部署別利用率 | 導入責任者、部門長 |
業務プロセス | どの工程で、どのように使われているか | 用途分類、AI支援ありの完了件数、再作業率、承認率 | 業務責任者、現場リーダー |
品質・事業効果 | 時間・品質・処理量・売上機会に変化があるか | 処理時間、差し戻し率、品質評価、処理件数 | 事業責任者、経営層 |
リスク・統制 | 許可外利用、機密入力、危険な操作はないか | 未承認ツール利用の兆候、ポリシー違反、承認待ち、権限操作 | 情シス、セキュリティ、法務 |
利用・定着が高くても業務効果が出るとは限らず、業務効果が見えても統制上許容できない使い方であれば拡大できません。この4層を混ぜずに確認することが、導入判断の出発点です。
「可視化できる利用」と「把握できていない利用」を区別する
AI利用の計測には、観測地点ごとに死角があります。たとえば、会社契約のAIサービスの管理画面だけを見ても、個人契約、ブラウザ経由の未承認サービス、APIを組み込んだ自社アプリの利用は同じようには見えません。
収集方式 | 把握しやすいこと | 主な死角 | 向く目的 |
|---|---|---|---|
AIサービスの管理者ログ | 契約内の利用者、利用量、契約・権限状況 | 未承認サービス、個人契約、業務成果 | 正式導入ツールの定着確認 |
APIゲートウェイ・プロキシのログ | モデル、トークン、遅延、失敗、コスト、アプリ別利用 | ゲートウェイを通らない利用、業務品質 | 自社AIアプリの運用・原価管理 |
アプリケーション計測 | 用途、処理完了、承認、人の修正、業務IDとの関連 | 他ツールでの利用、設計していないイベント | 業務効果・品質の検証 |
匿名アンケート・業務ヒアリング | 未承認利用の理由、困りごと、代替手段の不足 | 正確な回数、リアルタイム性 | シャドーAIの実態把握、制度改善 |
未承認の利用を把握したい場合、監視強化だけで解決しようとすると、現場が利用実態を隠す可能性があります。まずは、どの業務上の不便を解消するために外部AIを使ったのかを確認し、許可された代替手段、入力可能な情報の範囲、相談窓口を用意してください。シャドーAIのリスクと対策では、全面禁止に依存しない可視化と統制の進め方を解説しています。
ダッシュボードを作る前に決める5つの判断基準
製品やBIツールを選ぶ前に、次の5項目を文書化してください。ここで紹介する判定方法は、Mojiによる実務上の提案です。
- 判断目的：導入継続、費用配分、品質改善、監査対応のうち、今回の意思決定は何か。
- 対象範囲：全社員か、特定部門か。チャット利用、API利用、自社AIアプリのどこまでを含めるか。
- 比較単位：人、部署、業務工程、アプリ、モデル、顧客案件のどれで比較するか。
- 成功・停止条件：何が改善すれば拡大し、どの事故・品質低下があれば止めるか。
- 収集可能な最小データ：目的に不要な本文・添付ファイル・認証情報を収集対象から外せるか。
特に重要なのは、利用回数をKPIにする理由を先に定義することです。たとえば「月間利用回数を増やす」は、教育施策の到達度を確認する補助指標にはなります。しかし、問い合わせ対応の品質改善を狙うなら、評価すべき中心指標は利用回数ではなく、回答の正確性、承認率、再問い合わせ率、処理時間などになります。
最小ログ設計：本文を保存せずに把握する項目
AI利用状況の可視化で、プロンプトや生成結果の全文保存を最初から前提にする必要はありません。ログには個人情報、機密情報、認証情報、商業上重要な情報が含まれ得るため、ログ自体を保護対象として扱う必要があります。OWASPは、アクセストークン、パスワード、暗号鍵、センシティブな個人情報などを直接ログへ残さないこと、必要に応じてマスキング・ハッシュ化・暗号化を検討することを案内しています。OWASP Logging Cheat Sheet
また、日本で個人データを扱う場合、個人情報保護委員会は利用目的をできる限り具体的に特定すること、リスクに応じた必要かつ適切な安全管理措置を講じることを示しています。可視化のためのログも、収集目的、閲覧者、保存期間、外部提供の有無を設計対象にしてください。個人情報保護委員会：個人情報保護法ガイドライン（通則編）
最初のPoCでは、次のイベント項目から始めると、利用・運用・統制を一定程度把握できます。
項目 | 例 | 設計上の注意 |
|---|---|---|
時刻・処理ID | 発生日時、リクエストID | 障害調査や集計の結合に使う |
利用主体 | 部署、ロール、仮名化した利用者ID | 個人評価目的にしない場合は、個人名ではなく集計単位を優先する |
利用経路 | 正式SaaS、社内アプリ、API、承認済み拡張機能 | 把握できる範囲を明記する |
業務用途 | 議事録下書き、コードレビュー、社内検索、問い合わせ分類 | 自由記述より、用途コードをあらかじめ定義する |
処理情報 | モデル名、トークン数、遅延、成功・失敗、費用推定 | モデル・設定変更の前後比較に必要 |
統制情報 | データ分類、ポリシー判定、承認の要否、ツール実行の有無 | 入力本文ではなく分類ラベルを原則にする |
結果確認 | 人による承認、差し戻し、修正、エスカレーション | AI出力の品質を利用回数と分けて見る |
原文が必要な品質調査は、常時全件保存ではなく、事前承認した評価セット、匿名化・マスキング済みサンプル、または権限を絞った短期保管で行うといった選択肢を検討します。保存方法は、扱うデータ、契約、法令、業界規制によって変わるため、法務・情報セキュリティ・個人情報保護担当者と確認してください。
経営・運用・統制で分けるダッシュボード例
1. 経営・事業責任者向け：月次の意思決定画面
- 対象業務ごとの利用定着率
- AI支援あり・なしで比較した処理時間、品質、処理量
- コストと、確認できた成果の関係
- 拡大候補、改善継続、停止候補
この画面では、個人別ランキングよりも「業務単位の差分」を中心にします。AI導入前後の数値だけでは、季節要因、案件難度、業務量の変化をAI効果と誤認する場合があります。可能であれば、同じ業務・同程度の難度・同じ品質基準で比較する期間や対照群を決めてください。
2. 運用責任者向け：日次・週次の改善画面
- アプリ・モデル別の成功率、失敗率、遅延、トークン量、費用
- 用途別の承認率、差し戻し率、再試行率
- 検索・ツール実行を伴う場合の失敗地点
- モデル更新やプロンプト変更の前後差分
生成AIでは、もっともらしい誤情報や入力との不整合が起こり得ます。NISTはこれを「confabulation」と整理しており、重要な判断に組み込む場合は特に監視が必要だと説明しています。したがって、成功率をAPI応答の有無だけで定義せず、必要に応じて人の確認結果や業務上の完了条件と結び付けます。NIST AI 600-1：Generative AI Profile
3. 情報システム・セキュリティ向け：例外と対応を追う画面
- 未承認ツール・未承認アカウントの利用兆候
- 高いデータ分類での利用、ポリシー遮断、承認待ち
- 権限変更、外部送信、ファイル出力、ツール実行
- ログ停止、収集欠損、保存期限超過、閲覧権限の異常
ログは記録するだけでは不十分です。OWASPは、ログの改ざん・不正閲覧・削除を防ぐこと、ログ閲覧権限を制限・定期確認すること、ログ収集が停止したことを検知することを勧めています。OWASP Logging Cheat Sheet
指標の選び方：利用率とROIを混同しない
次の表は一般的な設計上の目安です。適切な指標は、対象業務、入力品質、利用モデル、評価方法、許容できる誤差によって変わります。
確認したいこと | 候補指標 | 単独で結論に使えない理由 |
|---|---|---|
導入が始まったか | 利用者率、初回利用率 | 一度試しただけでも上がる |
習慣化したか | 4週継続利用率、対象業務での再利用率 | 利用が多くても成果があるとは限らない |
品質が保てたか | 承認率、差し戻し率、サンプル評価 | 評価者・評価基準が変わると比較できない |
処理が改善したか | 完了時間、処理件数、再作業時間 | 案件難度や繁閑の影響を受ける |
採算が合うか | 総費用、1完了件あたり費用、創出・削減した価値 | 削減時間が成果へ再配分されなければROIにならない |
安全に拡大できるか | ポリシー違反率、重大インシデント、承認逸脱 | 件数が少ないから安全とは断定できない |
特に「削減時間」は、AIログから自動的に確定する値ではありません。AIへの入力時間、出力の確認・修正、承認待ち、後工程の手戻りまで含めて、対象業務の開始から完了までを比較する必要があります。利用率が高くても成果が見えない場合の測定・再投資の考え方は、生成AIの削減時間をROIにつなげる方法も参照してください。
30日で始めるAI利用状況可視化の手順
以下は、全社監視システムを一度に構築せず、対象業務を絞って検証するためのMojiによる進め方です。
- 1〜3日目：意思決定を書き出す
「何を見て、継続・拡大・停止のどれを決めるか」を一文で定義します。例：営業提案書の下書き支援を、品質を下げずに処理時間を短縮できるなら対象部署へ拡大する。 - 4〜7日目：対象業務と基準値を固定する
対象工程、入力データの分類、品質基準、現行の処理時間、差し戻し率、責任者を記録します。生成AI導入前の業務棚卸しの方法は、生成AI導入前の業務棚卸しと現場定着の進め方で詳しく解説しています。 - 8〜14日目：最小イベントを実装する
本文を保存せず、用途、処理結果、遅延、費用、承認・差し戻しなどのイベントを記録します。ログの閲覧権限、保存期間、削除方法も同時に決めます。 - 15〜21日目：限定利用で品質評価を行う
事前に定めたサンプル件数・評価表・評価者で、AI支援ありの成果物を確認します。モデルの印象評価だけではなく、事実性、必須項目、形式、禁止事項、修正量を分けて採点します。 - 22〜30日目：拡大・改善・停止を決める
利用、品質、時間、コスト、リスクの結果を並べ、最初の判断目的に照らして決定します。差し戻しが多い場合は、モデル変更の前に、入力テンプレート、参照データ、確認工程、対象業務の切り分けを確認します。
そのまま使える判定シート
以下は架空の例です。自社の業務、モデル、入力品質、評価指標、許容誤差に合わせて変更してください。
項目 | 記入欄 |
|---|---|
対象業務・工程 | 例：架空の例「営業提案書の初稿作成」 |
今回の判断 | 限定継続／部門拡大／停止のどれを決めるか |
利用者・責任者 | 対象部署、業務責任者、システム責任者、承認者 |
許可する入力データ | 公開情報、社内一般情報などの分類 |
禁止する入力・操作 | 個人情報、未公開契約情報、外部送信、確定送信など |
効果指標 | 完了時間、差し戻し率、処理件数、承認率 |
リスク指標 | ポリシー違反、承認逸脱、重大な誤情報、ログ欠損 |
比較条件 | 対象期間、対象件数、案件難度、評価者、許容誤差 |
拡大条件 | 品質・時間・費用・リスクのそれぞれの合格条件 |
停止条件 | 重大事故、品質基準未達、権限逸脱、ログ欠損時の対応 |
導入前チェックリスト
- 可視化によって決める経営・運用上の判断を、一文で説明できる。
- 利用回数、業務成果、リスク指標を別々に定義している。
- 正式導入ツールだけの数値であり、全社のAI利用実態とは限らないことを明記している。
- プロンプト・出力本文を保存する必要性を検討し、不要な収集を外している。
- ログの目的、閲覧者、保存期間、削除方法、第三者提供の有無を定めている。
- アクセストークン、パスワード、暗号鍵、センシティブな個人情報をログへ直接残さない設計になっている。
- 個人別の利用ランキングが、人事評価や過度な監視につながらないよう、目的と閲覧範囲を限定している。
- AI支援あり・なしを比較する際、業務難度、品質基準、評価者をできる限りそろえている。
- 品質低下・重大な誤情報・権限逸脱・ログ停止が起きた場合の停止・連絡・復旧手順がある。
- 月次または四半期ごとに、指標・閾値・保存範囲を見直す責任者が決まっている。
まとめ
AI利用状況の可視化で見るべきなのは、「何回使われたか」ではなく、どの業務で、どの条件なら、品質・生産性・安全性を両立して使えるかです。
まずは対象業務を一つに絞り、利用・業務プロセス・品質と効果・リスクを分けて測定してください。そのうえで、最小限のログ、サンプル評価、人の確認結果を組み合わせれば、過剰なデータ収集に頼らず、導入の継続・拡大・停止を判断しやすくなります。