効果測定の設計

### このレッスンで学ぶこと
– AI導入の効果を「時間・品質・コスト」の3軸で定量的に測る方法を理解する
– Before/After比較の設計と、正確なデータ収集の仕組みを作れるようになる
– 効果測定の結果を次のアクション（拡大・改善・中止）に結びつける判断方法を学ぶ

—

### なぜ効果測定が必要か

PoCや初期導入がうまくいった「気がする」だけでは、次のステップに進めない。「気がする」を「データで証明する」に変えるのが効果測定の役割だ。効果が数字で示せれば、追加予算の獲得や全社展開の承認を得やすくなる。逆に、期待した効果が出ていなければ、早期に軌道修正できる。

### 効果測定の3軸フレームワーク

AI導入の効果は、以下の3つの軸で測定する。

“`
┌─────────────────────────────────────────────────────┐
│ 効果測定 3軸フレームワーク │
├──────────┬──────────────┬───────────────────────────┤
│ 軸 │ 指標の例 │ 計測方法 │
├──────────┼──────────────┼───────────────────────────┤
│ 時間削減 │ 作業時間 │ タイムシート・作業ログ │
│ │ 処理件数/時間 │ 業務システムの記録 │
│ │ リードタイム │ 開始〜完了の所要日数 │
├──────────┼──────────────┼───────────────────────────┤
│ 品質向上 │ ミス件数 │ エラー報告・差し戻し数 │
│ │ 顧客満足度 │ アンケート・NPS │
│ │ 成果物の評価 │ 上長レビュースコア │
├──────────┼──────────────┼───────────────────────────┤
│ コスト削減│ 外注費 │ 経理データ │
│ │ 残業代 │ 勤怠システム │
│ │ 材料費・印刷費│ 経費精算データ │
└──────────┴──────────────┴───────────────────────────┘
“`

すべてを測る必要はない。対象業務に合わせて、各軸から1〜2個の指標を選ぶ。

### Before/After比較の設計

効果測定の基本は「AIを使う前（Before）」と「AIを使った後（After）」の比較だ。正確な比較をするには、以下のポイントを押さえる。

**Before データの収集（AI導入前）**
– 導入前の最低2週間、対象業務のデータを記録する
– 「普段通り」の状態を記録すること。測定期間だからと意識して行動を変えない
– 記録する項目: 作業時間、処理件数、ミス件数など（3軸に対応）

**After データの収集（AI導入後）**
– 導入直後1週間は「慣らし期間」として測定対象外にする
– 慣らし期間後の2〜4週間を測定期間とする
– Beforeと同じ項目・同じ方法で記録する

**注意すべき落とし穴**
– **季節変動**: 繁忙期と閑散期を比較しても意味がない
– **ホーソン効果**: 「測定されている」と意識すると普段と違う行動をとる心理現象。できるだけ日常業務の延長で自然に計測する
– **サンプル数**: 1〜2件の比較では偶然の影響が大きい。最低10件以上のデータで比較する

### 効果測定レポートのテンプレート

“`
【AI導入 効果測定レポート】
━━━━━━━━━━━━━━━━━━━━━━━━━
■ 対象業務: ○○○○
■ 測定期間: Before ○月○日〜○月○日 / After ○月○日〜○月○日
■ 対象人数: ○名

【結果サマリー】
┌──────────┬──────────┬──────────┬──────────┐
│ 指標 │ Before │ After │ 変化率 │
├──────────┼──────────┼──────────┼──────────┤
│ 作業時間 │ ○時間/件 │ ○時間/件 │ ○%削減 │
│ ミス件数 │ ○件/月 │ ○件/月 │ ○%削減 │
│ コスト │ ○万円/月 │ ○万円/月│ ○万円削減│
└──────────┴──────────┴──────────┴──────────┘

■ 判定: 成功基準を達成 / 未達成
■ 次のアクション: 拡大 / 改善して継続 / 中止
■ 所見:（定性的な気づき・改善点）
━━━━━━━━━━━━━━━━━━━━━━━━━
“`

### 事例：従業員120名の小売業D社の場合

D社のEC部門では、商品説明文の作成にAIを導入した。Before（導入前2週間）は1商品あたり平均45分、週20商品で計15時間。After（導入後3週間目から2週間計測）は1商品あたり平均20分、同じく週20商品で計6.7時間。時間削減率は55%。品質面では、上長レビューでの差し戻し率がBeforeの25%からAfterの10%に低下した。月あたりのコスト削減効果は残業代換算で約8万円。成功基準「時間30%削減」を大幅に上回り、全社のマーケティング部門への展開が決定された。

### 効果が出なかった場合の対処

効果測定の結果、期待した効果が出ないケースもある。その場合は以下を検討する。

1. **ツールの問題か、運用の問題か** — ツール自体が業務に合っていないのか、使い方が不十分なのかを切り分ける
2. **教育・サポートの追加** — 使い方のコツを共有し、再度測定する
3. **対象業務の見直し** — 別の業務で試した方が効果が出るかもしれない
4. **撤退判断** — 改善しても効果が出なければ、潔くやめる勇気も必要だ

—

### レッスン4 確認クイズ

**Q1.** Before/After比較でAI導入前のデータを収集する際、最も注意すべき点はどれか？

– A. できるだけ効率よく作業し、Beforeの数値を良くしておく
– B. 繁忙期に測定し、効果の差が出やすいようにする
– C. 普段通りの状態を記録し、季節変動や意識的な行動変化を避ける
– D. 1〜2件の代表的な業務だけを選んで記録する

**正解:** C
**解説:** Before データは「通常時の実態」を正確に反映する必要がある。意識して効率を上げたり、繁忙期と閑散期を比較したりすると、AI導入の効果を正確に測れない。最低10件以上、通常の業務フローで記録することが重要だ。

—

**Q2.** AI導入後の測定期間として、導入直後1週間を測定対象外にする理由はどれか？

– A. AIツールの初期設定が完了していない可能性があるから
– B. 操作に慣れていない期間のデータは通常時の効果を反映しないから
– C. 導入直後はトラブルが多く、測定が困難だから
– D. ライセンスの試用期間中は正確なデータが取れないから

**正解:** B
**解説:** 導入直後は操作に不慣れなため、本来の効果よりも低い結果が出やすい。慣らし期間を設けることで、ツールの操作に慣れた状態での実力値を測定できる。これにより、AI導入の真の効果を正確に把握できる。

—

**Q3.** 効果測定の結果、期待した成果が出なかった場合の対処として最も不適切なのはどれか？

– A. ツールの問題か運用の問題かを切り分ける
– B. 使い方のコツを共有し、教育を追加して再度測定する
– C. 測定方法や成功基準を変更して、成果が出たことにする
– D. 改善しても効果が出なければ、撤退を判断する

**正解:** C
**解説:** 成功基準は事前に設定するものであり、結果に合わせて後から変更するのは効果測定の信頼性を損なう。成果が出なかった場合は、原因を分析して改善するか、潔く撤退する判断をすべきだ。基準の操作は組織の信頼を失う行為である。

—