人流データの前処理

「人がいつどこに何人いるのか」を把握するために用いられる、人流データ。収集した人流データ（生データ）はそのまま利用できないこともあり、その場合はデータを加工処理して使える状態にします。

このページでは、集めた人流データ（生データ）を分析できる状態にするための前処理について説明します。

人流データにおける前処理とは？

素材を活かした料理を作るためには下ごしらえが必要なように、ビッグデータを活用するためには前処理が必要不可欠です。例えば同じジャンルを示すデータだったとしても、その体裁が異なる場合に「違うデータ」として取り扱われることがあります。そうなると冗長性が生まれてしまい、適切なデータ集計が行えなくなってしまう可能性が高いでしょう。そのような状態になってしまわないよう、一定程度の編集・補正・統合はデータ活用において必要なプロセスとなります。

データクレンジング

データクレンジングは主に前述したようなデータの編集・補正・統合を意味します。例えば「(株)」のような略称と「株式会社」という表記の違いや、「全角スペース有り」とスペース無し」の違い、「全角入力」と「半角入力」の違いなどが対象となります。これらは意味として同じであるものの、コンピュータ上で処理する際には別のものとして扱われることになってしまうため、扱いやすいデータに適正化する必要があり、これをデータクレンジングといいます。

スケーリング

スケーリングはデータの値を特定の範囲に変化する前処理方法をいいます。例を挙げると、異なる単位のデータを比較するために単位を揃えたり、データを測るスケールを同じものに揃えたりする、などの処理があります。このスケーリングには最小値０～最大値１にスケーリングする「Min-Maxスケーリング」や平均0・分散1にスケーリングする「Zスコアスケーリング」などがあり、これを適切に使い分けることによって機械学習の効率化が図れます。

エンコーディング

テキストデータを数値データに変換する前処理をエンコーディングといいます。機械学習におけるアルゴリズムは数値データしか扱うことができないため、エンコーディングすることでAIが学習できるようにデータ整形を行います。さらにその中でもグループ分けできるデータは「カテゴリ変数」と呼ばれ、このカテゴリ変数にどのような数値を割り当てるかでエンコーディングの手法も変わってきます。

次元削減

機械学習においては、学習データの中において予測や分類に有効な情報を示す変数のことをいう「特徴量」や、その特徴量の数を表す「次元」という用語が存在します。次元削減はデータにおける次元数を減らす前処理方法であり、データ内の相関関係を見つけることによって相関を最大化する新しい軸を定義します。元のデータセットの次元を減らす事によって機械学習データを圧縮し、計算を効率化することが可能になるというメリットがあります。

特徴選択

特徴選択は機械学習データの中から強い関連がある特徴を選択することを表します。機械学習データにおいて多数の特徴量がある場合、関連しない特徴量までを学習すると予測精度が下がってしまうという懸念があります。そこで重要な特徴量だけを取り出して学習することにより、その予測精度の質を担保するための前処理です。特徴選択にはフィルター法・ラッパー法・埋め込み法の3種類があり、それぞれで特徴量の選択方法が変わります。

人流データの前処理でよくあるチェックポイント

人流データの前処理におけるチェックポイントを紹介します。ここでは特に「データ収集方法」「個人情報の取り扱い」「データの供給元」という3点に絞って解説しますので、ぜひ覚えておいて下さい。

参照元：【pdf】国土交通省/地域課題解決のための 人流データ利活用の手引き　Ver1.0

データ収集方法

データを正しく取り扱うためには、その前提情報が重要です。どのようなデータを取り扱う場面においても、そのデータ収集の環境や方法といった前提が予期せぬ状態であれば、データそのものの信憑性が疑われるためです。人流データの例でいうとセンサーなどの機器を使用している場合に「人が重なっている」状態や「傘をさしている」状態などで収集されたデータは誤差が生じている可能性があります。このように、集計方法によってさまざまなエラーが考えられるのです。

個人情報の取扱

今やさまざまなデータを集めることができる時代になっています。単純な文字や数字だけでなく、画像や動画データも入手することが容易になりました。カメラやスマートフォンなどが身近になった今、これらの機器を駆使して人流データを集めることも可能になっていますが、中には個人情報として取り扱うべきデータもあるでしょう。そういった場合にはデータの取り扱いについて、細心の注意を払う必要があります。

データの供給元

統計データを取り扱う場合、そのデータ対象の規模が大きくなればなるほど全数調査が行われている可能性が低くなります。手間とコストが膨大になるためです。それは人流データにおいても同様であり、例えば通信キャリアや民間のデータ収集事業者が取り扱っている場合、「実測値をもとに推計したデータ」である可能性があります。そのデータの活用目的によって推計データで事足りるかどうかは変わってくると思われますので、必ず確認しておくようにしましょう。

正しいデータ活用には知識が必要

ここで紹介したようにデータを取り扱うためにはさまざまな点に注意しなければいけませんし、前処理をするためにどの前処理が必要か判断するためには一定程度の専門知識が必要になります。さらに集計方法によっても結論が変わってしまう恐れがありますので、人流データの活用には他にも注意すべき点があります。中には人流データの分析サービスを提供している事業者も存在しますので、正しくデータ活用をしたいと考える方は専門家に相談することも検討してみてはいかがでしょうか。