コールセンターに蓄積された応対履歴やマニュアル等の「生データ」を活用し、オペレーターの回答支援や自動応答の実現可能性を検証する生成AI（LLM）活用PoC（概念実証）を実施しました。

コールセンターの「生データ（過去ログ、マニュアル等）」を用い、検索手法、データ前処理、プロンプトエンジニアリング、さらにはFine-tuningとの比較など、10項目以上の変数について網羅的な精度評価を遂行。理論値ではない、実務転用を見据えた最適解を導き出しました。

技術スタック

• Language: Python
• LLM Orchestration: LangChain / LlamaIndex
• Evaluation Framework: Ragas
• Vector Database / Search: * Pinecone / Elasticsearch / FAISS / ChromaDB
• Development Library:
  • OpenAI API / オープンソースモデル

検証内容・プロセス

本プロジェクトでは、精度に影響を与える変数を切り分け、ABテスト形式で以下の検証を行いました。

1. ベクトルDBごとの評価：
   • Pinecone / FAISS / ChromaDB
2. ベクトルDBと検索エンジンの検証：
   • ベクトル検索 vs 全文検索（Elasticsearch） vs ハイブリッド検索の比較
3. データ構造・前処理の検証：
   • チャンク分割の有無および、最適なチャンクサイズ（文字数・意味の切れ目）の特定
   • 精度低下を招くデータの特徴抽出
   • ゴミデータ（不要な定型句・ノイズ・短すぎる報告文）のクレンジングによる精度変化の計測
   • PDF、Excel、PowerPointからの非テキスト情報抽出性能（LlamaIndex活用）の評価
4. モデルおよび学習手法の比較評価：
   • RAG（検索拡張） vs Fine-tuning（追加学習）による回答精度の検証
   • ベクトル変換（Embedding）モデルごとの検索再現率の比較
5. プロンプトエンジニアリングの深化：
   • Zero-shot / Few-shot / CoT / ReFine / HHH 等の各手法による回答品質の評価
6. 実運用シナリオに基づく評価：
   • データセット（製品カテゴリや時期）の違いによる汎用性の検証
   • 既知の問い合わせ（過去ログ存在）と未知の問い合わせに対する、AIの挙動およびハルシネーションの発生率比較

※ 精度評価には、Ragasを活用

プロジェクトの特徴

• 徹底的な「定量的評価」へのこだわり 「なんとなく動く」ではなく、どの手法が何％精度を向上させるのかを全て数値化。LlamaIndexやLangChainの機能をフル活用し、技術的な裏付けに基づいたアーキテクチャ選定を行いました。
• 生データ特有の泥臭い課題解決 現場の生データには、AIの精度を著しく下げるノイズが多く含まれます。それらを「特徴抽出」によって特定し、エンジニアリングによって解決するプロセスを確立しました。

成果

• 運用実現性に向けた「本質的課題」の提示： 検証の結果、現状のログデータの質・構造では実運用に耐えうる精度に到達しないことを定量的に証明。その上で、次期システムで目標精度を達成するために「どのようなログデータを、どう蓄積すべきか」という具体的なデータ戦略レポートを策定しました。
• 検証資産のライブラリ化（技術資産の構築）： 今回の評価に使用した膨大な検証コードを、単なる使い捨てのスクリプトで終わらせず、次期システム開発において「アプリ基盤」として即座に再利用できるよう、汎用的なライブラリとして再整備・納品しました。

Altus-Fiveの強み

単にAIツールを導入するのではなく、インフラ、DB、コード、そしてデータの性質までを垂直統合で理解し、ハックする。その姿勢があるからできる緻密な比較検証です。

新しい技術を魔法のように語るのではなく、地道な検証の積み重ねによって「ビジネスで使える道具」へと昇華させる。それが私たちのエンジニアリングの流儀です。

The post コールセンター業務における生成AI（LLM）活用PoC first appeared on 株式会社Altus-Five.

マンション管理会社様において、入居者から寄せられる多種多様な問い合わせ（設備トラブル、契約変更、ゴミ出しルールなど）に自動回答するAIチャットボットを開発しました。

電話対応が主だったカスタマーサポートの窓口をデジタル化し、24時間365日の即時レスポンス体制を構築。入居者の利便性向上と、管理事務所の受電負荷の大幅な軽減を実現しました。

主な機能は以下の通りです：

• 自然言語による意図解釈： ユーザーの入力文から「何を知りたいか」をAIが判定し、最適な回答を提示。
• カテゴリ別FAQ： 設備故障、車庫証明、更新手続きなど、複雑な手続きをステップバイステップで案内。
• 緊急連絡先ナビゲーション： 水漏れや鍵の紛失など、緊急性の高いトピックには専用窓口を即座に提示。
• 管理画面からの回答更新： 管理会社様側でFAQの内容を随時メンテナンスできる運用機能を構築。

技術スタック

• NLU (自然言語理解): Google Dialogflow (ES/CX)
• Infrastructure (AWS):
  • Compute: AWS Fargate (Serverless Container)
  • Database: Amazon Aurora (MySQL)
  • Cache: Amazon ElastiCache for Redis
  • Search: Amazon OpenSearch Service
• Backend: Python / Django
• Frontend: Vue.js

プロジェクトの特徴

LLM（大規模言語モデル）が普及する以前の構築事例として、精度の高い「インテント（意図）設計」に重きを置いたプロジェクトです。

• 当時のAIでは最高水準の対話エンジンを使った緻密なシナリオ設計
  • 当時は現在の生成AIのように「自由に答える」ことが難しかったため、入居者が使いそうな言い回しを数千パターン学習させ、高い正答率を確保。管理会社特有の専門用語や曖昧な表現を的確に捉えるチューニングを行いました。
• 実務に即した導線設計
  • 単なるFAQ回答に留まらず、「最終的に解決したか」のアンケート取得や、解決しない場合の有人オペレーター・問い合わせフォームへのスムーズな引き継ぎフローを実装しました。
• マルチプラットフォーム対応
  • スマホのWebViewで動くようにシステムを構成し、iPhone、Andoroidに対応しました。

成果

• 自動応答へ移行： よくある質問をチャットボットが完結させることで、スタッフがより複雑な案件や現場対応に集中できる時間を創出。
• 入居者満足度の向上： 深夜・早朝でも即時に回答が得られることで、入居者のストレス軽減に貢献。
• 問い合わせデータの可視化： どのような悩みが多いかをデータ化し、マンション運営の改善に活かせる体制を実現。

Altus-Fiveの強み

私たちの真の強みは、昨今の生成AI（LLM）ブームが訪れる遥か以前から、機械学習や自然言語処理（NLP）を用いた実用的なシステムの開発・運用に深く携わってきたことにあります。

本プロジェクトのように、Dialogflowを用いた緻密なインテント（意図）設計や、OpenSearch・Redis・Auroraを組み合わせた高度な検索・データ処理基盤の構築など、AIを「単なる単体の機能」としてではなく、**「ビジネスを支える堅牢なエンタープライズシステム」**として成立させるためのノウハウを長年蓄積してきました。

この「AIの基礎体力」とも言える深い技術的理解があるからこそ、最新の生成AIを扱う際にも、その特性を正しく見極め、ハルシネーション（もっともらしい嘘）の抑制や、既存システムとの確実な連携、そしてコストパフォーマンスを最適化したインフラ設計を実現できます。

私たちは、流行の技術を追うだけでなく、これまでの歩みで得た確かな知見に基づき、お客様の課題に対して「本当に機能する解決策」を提案し、共に伴走し続けます。

The post マンション管理会社様向け チャットボット first appeared on 株式会社Altus-Five.