第2回：社内業務にLLMを導入するための準備と設計
～PoCを始める前に知っておきたいこと～
はじめに
前回の記事では、ChatGPTやLLMが業務自動化にどのように活用できるか、そのユースケースを紹介しました。
今回は、実際に社内でLLMを導入する前に知っておくべき準備と設計のポイントを解説します。
PoCを成功させるには、単なる「APIを呼ぶ」だけでなく、プロンプト設計・データの扱い・セキュリティなど、地味だけど重要な準備が必要です。
ステップ①：最初に明確にすべきこと
対象業務とKPIの明確化
- 例：「議事録要約にかかる時間を月●時間削減」「FAQ対応時間を●％削減」
- 数値化しづらい場合は「業務のストレス軽減」「初学者の立ち上がり支援」なども評価対象に
ユーザーと用途の特定
- 誰がどんな目的で使うのか？
- 情報システム部？ 一般社員？ 管理職？
- どのような形式で使うのか？
- チャット形式？ バッチ処理？ Excelアドイン？
ステップ②：プロンプト設計の基本
LLMの出力結果はプロンプト（入力文）の書き方次第です。
PoC初期では特に、「人が使うことを前提とした言葉づかい」が肝になります。
悪い例
この文章を要約してください。
良い例
以下は社内打ち合わせの議事録です。
箇条書きで3～5行に要約し、誰が何を話したかを明確に記述してください。
プロンプト設計のポイント
- 出力形式（例：箇条書き・文章・JSONなど）を明示する
- 対象読者を想定して出力スタイルを指示する
- 期待する粒度を指定する（例：300文字以内）
ステップ③：セキュリティ・情報管理の観点
| 項目 | 留意点 |
|---|---|
| 機密情報 | 外部APIに送る内容は個人情報・顧客情報を含まないよう注意 |
| ログ | LLMの応答ログは監査対象になる場合あり |
| 検証環境 | 本番データを使う前にダミーデータで検証 |
| オプトイン | 「自動生成コンテンツを業務で使ってよいか」のルール化が必要 |
利用形態の選択肢
- OpenAI公式API（外部SaaS）を使う
- Azure OpenAIなどの企業向けセキュリティオプション
- 自社サーバー内にオープンソースLLMを構築（例：LLaMA, Mistral）
ステップ④：RAGの構成を考える（後編の前提）
LLMは「手元の知識」を持たないため、業務ドキュメントを活用するには
**RAG（検索拡張生成: Retrieval-Augmented Generation）**の仕組みが必要です。
RAGの基本構成
- 業務マニュアルや社内Q&Aをベクトル化（埋め込み）
- ユーザーの質問と類似する文書を検索
- 検索結果をプロンプトに添えてLLMに送信
- LLMがそれを参考に回答を生成
この仕組みを作ることで、**「社内用のChatGPT」**が実現できます。
※第3回で詳しく解説予定！
ステップ⑤：導入形態とUIの検討
よくある導入パターン
- Slack／Teamsへのチャットボット連携
- 社内ポータルの「AI相談窓口」
- Google スプレッドシート／Excelのアドイン
- Power Automate や Zapierとの連携
「人が自然に使える場所」 に組み込むのが導入初期の成功ポイントです。
まとめ
LLM導入は、派手な開発よりも 最初の準備と設計がカギ です。
- 誰が使い、どんな業務を対象にするのか
- 適切なプロンプトとデータ管理
- セキュリティと導入形態のバランス
- 将来的なRAG構成も視野に入れておく
--
次回は、いよいよ
社内FAQボットの構築（RAG入門） を具体的に解説します！