AI推論基盤の導入前に整理したい5つのこと
AIを業務やサービスに取り入れるとき、最初からGPUやモデルの仕様を決める必要はありません。まずは、実現したいこと、利用規模、必要な品質、データの扱い、費用と運用を整理することから始めましょう。このガイドでは、相談前に考えておきたい5つのポイントを紹介します。
すべての項目が決まっていなくても、ご相談いただけます。記載例は説明用の想定であり、導入実績や推奨構成を示すものではありません。
利用目的を整理する
まず、誰がどの業務でAIを使うのかを整理します。質問への回答、文書の要約、情報の抽出など、入力と期待する出力を具体的にすると、必要な処理やアプリケーションとの連携を検討しやすくなります。
整理すること
- 利用者と対象業務
- 入力する情報と期待する出力
- 現在の作業で困っていること
相談時に伝える例
社内マニュアルを参照し、社員の質問に回答する仕組みを検討しています。現在は担当部署が個別に回答しています。
利用規模と処理のタイミングを考える
利用人数だけでなく、同時に処理する量や、処理が集中する時間帯も構成を考える手がかりになります。その場で応答する対話と、一定の期限までにまとめて処理する文書業務では、確認する条件が異なります。
整理すること
- 利用人数と同時利用の見込み
- 文書の件数や1件あたりの長さ
- 処理の頻度、ピーク時間、完了したい時刻
相談時に伝える例
社員約50人が利用する予定です。同時利用数はまだ分かりませんが、平日の日中に使うことを想定しています。
補足
利用人数だけで必要なGPU数やTPMを決めることはできません。モデルや入力・出力の条件も合わせて確認します。
必要な品質と応答速度を決める
どのような回答なら業務で使えるかを、実際の入力例とともに考えます。回答内容の確認方法や、利用者が待てる時間を整理しておくと、検証で評価する項目が明確になります。
整理すること
- 期待する回答や出力形式
- 誤りがあった場合の影響と確認方法
- 許容できる待ち時間
相談時に伝える例
回答は担当者が確認してから利用します。まずは実際の問い合わせ例で、内容の妥当性と待ち時間を評価したいです。
補足
AIの出力には誤りが含まれる場合があります。用途に応じて、人による確認やアプリケーション側の制御も検討します。
データの取り扱いとシステム連携を確認する
どの情報をAIに渡すか、誰がアクセスできるか、結果をどこで使うかを整理します。文書検索、権限管理、OCR、既存システムとの接続は、推論処理とは分けて対応範囲を確認する必要があります。
整理すること
- 機密情報や個人情報を含むか
- 保存場所、ログ、保存期間に関する要件
- アクセス権限と既存アプリとの接続方法
相談時に伝える例
社内限定の文書を扱います。部署ごとの閲覧権限を維持したいので、検索機能と推論基盤の連携方法から相談したいです。
補足
初回の相談では、機密文書や実データを送付せず、データの種類や要件の概要をお知らせください。
費用と運用の担当範囲を整理する
導入時の構成だけでなく、利用期間、継続費用、運用担当者まで含めて考えます。基盤の保守運用と、アプリケーションや業務データの管理を区別し、どこを社内で担い、どこを相談したいかを整理します。
整理すること
- 開始したい時期と利用期間
- 予算の目安と将来の拡張予定
- 保守、障害対応、データ管理の担当範囲
相談時に伝える例
継続利用を想定しています。アプリケーションは社内で管理し、推論基盤の運用を相談したいです。費用は構成と対応範囲を確認して検討します。
補足
Token Factoryでは継続利用に向けた月額固定型の提供形態を想定しています。料金・提供時期・対応範囲は個別に確認します。
相談前の検討メモ
分かる範囲だけで構いません。未定の項目は「未定」と記入し、ご相談時の整理にご利用ください。
- 実現したい業務：
- 利用者・利用人数の目安：
- 処理する内容・量・頻度：
- 必要な回答品質・待ち時間：
- 扱うデータと連携先：
- 開始希望時期・利用期間：
- 予算の目安：
- 社内で対応できる範囲：
- 現時点で分からないこと：