市場調査・競合分析のためのデータ収集基盤を開発しました。複数の業界ポータルサイトの公開情報を自動で収集し、サイトごとにバラバラな形式を統一スキーマへ正規化します。
クライアント / プロジェクト概要
店舗ビジネスを展開する企業様です。出店エリアの市場動向（どの店舗がどの媒体にどの掲載枠で出ているか、求人の相場感はどれくらいか）を把握したいものの、情報は複数のポータルサイトに散在しており、手作業の目視調査では追いきれない状態でした。
課題
- 競合店舗の媒体掲載状況・広告プランを調べる作業がすべて目視で、定期的な定点観測ができなかった
- サイトごとに情報の形式・呼び方が異なり、横断で比較できるデータがなかった
- 市場の相場感（求人条件など）を裏づける実データを持っていなかった
ご提案・アプローチ
対象サイトごとの収集プログラムを個別に作るのではなく、巡回・待機・保存の共通処理を土台（フレームワーク）として作り、サイトごとの差分だけを小さく実装する構成を提案しました。呼び方や表記がサイトごとに違う項目（掲載プラン・エリアなど）は、収集時に統一スキーマへ正規化し、日付を付けて蓄積することで時系列の変化も追えるようにしています。
制作のポイント
- サイト追加のコストを最小化する設計。 共通基盤が巡回の流れを持ち、サイト固有の実装は要素の取り出し方だけ。1サイトあたり100行前後の追加で対応できます
- 「壊れたらすぐ気づく」仕組み。 必須項目が取れない場合は即座にエラーで止まり、任意項目の欠損では止まらない、という使い分けを全収集処理で徹底しました
- 収集対象は設定ファイルで外部化。 エリアや対象の追加はプログラム変更なしで運用できます
- 収集は相手サイトに負荷をかけない間隔で実行。 待機時間を挟んだ巡回で、安定して回り続けることを優先しています
制作の流れ
- ヒアリング：知りたい市場情報と、対象となるポータルサイトを整理
- 設計：共通フレームワークと統一スキーマ（正規化の対応表）を設計
- 制作：対象サイトを1つずつ追加し、取得データを検証
- 納品・運用：定期実行による定点観測データの蓄積を開始
成果
- 複数ポータル・数千ページ規模の情報を1バッチで自動収集できるようになり、目視調査の工数を解消しました
- サイトごとに異なる掲載プランの呼び方を統一し、横断比較できる市場データとして蓄積
- 掲載状況の変化（新規出店・撤退など）を時系列で追える基盤が整いました