不動産仲介企業(従業員150名)｜ 2025年1月〜2025年3月（3ヶ月（継続中））
AI物件提案エージェントの品質劣化を検知・改善し精度を安定化
AgentOps基盤による継続的な品質監視・改善サイクルで、導入後の精度劣化を解消し経営成果を最大化
提案精度
85→94%
向上
月間コスト
25%
削減
改善サイクル
週次
（月次→週次）
顧客満足度
+15pt
改善
プロジェクト開始前の課題
導入後の精度劣化に気づけない
AI物件提案エージェントを導入した当初は好評だったが、3ヶ月後から「提案が的外れ」というクレームが増加。しかし、品質を定量的に測定する仕組みがなく、「本当に劣化しているのか」すら判断できない状態だった。
改善運用が回らない
開発ベンダーに改善を依頼しても「次のリリースで対応します」と先送りされる。フィードバックループが設計されておらず、現場の不満が蓄積していた。
コストの肥大化
物件データの増加に伴い、API利用料が毎月増加。どの処理がコストを押し上げているのか分析できず、「とりあえず使い続ける」状態が続いていた。
CIALTEのアプローチ
品質モニタリング基盤構築
提案精度・ユーザーフィードバック・レスポンスタイム・トークン消費をリアルタイムで計測するモニタリング基盤を構築。品質スコアが閾値を下回った際の自動アラートと、原因分析ダッシュボードを提供。
Why this approach
「劣化しているかどうか分からない」が最大の問題。定量的な品質測定基盤を構築することで、劣化の早期検知と原因特定を可能に。
週次改善サイクルの確立
毎週の品質レビュー→原因分析→改善施策実装→効果測定のサイクルを確立。プロンプトチューニング・コンテキスト最適化・モデル切り替えなど、状況に応じた改善施策を実行。
Why this approach
AIは「作って終わり」ではなく継続的な改善が必要。月次では遅すぎるため、週次サイクルで迅速に品質を回復・向上させる体制を構築。
コスト最適化
トークン消費の内訳を可視化し、不要なコンテキスト情報の削減とセマンティックキャッシュの導入でコストを最適化。品質を維持しながら月間APIコストを25%削減。
Why this approach
品質改善とコスト最適化はトレードオフではなく両立可能。コンテキストエンジニアリングにより、「必要な情報だけを適切に渡す」ことで品質向上とコスト削減を同時達成。
Technology Stack
プロジェクトの成果
| Metric | Before | After |
|---|---|---|
| 提案精度 | 85%（劣化傾向） | 94%（安定） |
| 月間APIコスト | 68万円 | 51万円 |
| 改善サイクル | 月次1回（不定期） | 週次1回（定期） |
| 顧客満足度（NPS） | +18 | +33 |
「提案が的外れ」のクレームが激減し、現場営業の信頼が回復
品質ダッシュボードが経営会議の定例報告資料に採用
「作って終わり」だったAIが「育て続ける」体制に変わり、社内のAI活用の手本に
"AIを導入した当初は良かったのですが、徐々に「提案が微妙」という声が増えていました。CIALTEさんに品質モニタリングを入れてもらって初めて、実際に精度が下がっていたことが数字で分かりました。今は毎週改善が回るので、現場も安心して使えています。コストも下がったのは嬉しい誤算でした。"
デジタル推進室 室長
不動産仲介企業