COLUMN

1. データクレンジングとは

データクレンジングとは、データの不備や重複などを修正する作業のことです。不備の例としては、次のようなものがあります。

【データの不備の例】

例えば、複数の従業員や部署でデータ入力作業を行っている場合や、顧客へのアンケート調査のように情報源が不特定多数の場合は、データの不備や重複が発生しやすくなります。

このようなデータの誤りや不揃いなどを修正することで、データ全体の正確性を向上させることがデータクレンジングの目的です。

表面的な文字や表現の誤りだけでなく、内容面にも着目してデータの不足や重複を修正し、分析に適したデータに整える点が、文章校正との大きな違いと言えるでしょう。

データクレンジング	文章校正
文字や表現の誤りを修正する データの不足や重複を修正する 分析に適したデータに整える	文字や表現の誤りを修正する

データクレンジングでは、分析に使いたいデータにどのような不備があるのかを大まかに確認して、必要な調整を行っていきます。データ量が少ない場合は手作業でも可能ですが、量が多い場合や時間を欠けられない場合はツールを使って行います。

1-1. データクレンジングはデータ分析の精度を高めるために必要

データクレンジングは、データ分析の精度を高めるために欠かせない作業です。

データ分析の基となるデータが不揃いだったり間違っていたりすると、分析結果も不正確なものになってしまうからです。

グローバル化などに伴う市場ニーズの多様化に伴い、データ分析結果を判断材料として重視する傾向にある現代では、分析結果の精度の高さが意思決定の良し悪しを左右します。AIやビッグデータの活用が進む中、ビジネスにおけるデータ分析の重要性はますます高くなっていくでしょう。

だからこそ、分析結果の正確性を担保するデータクレンジングは、とても重要なのです。

◆データクレンジングの活用シーン例

1-2. データクレンジングと名寄せ・データクリーニングとの違い

データクレンジングと似た意味合いの言葉に「名寄せ」「データクリーニング」があります。どちらも、データを整理する点ではデータクレンジングと同じです。ただし厳密に言うと、以下のとおり意味する作業内容が違います。

名寄せ・データクリーニングとは
名寄せ	いくつかのデータベース間で重複している氏名や企業名などを統合すること データが重複しているので整理したい場合に実施
データクリーニング	古くなった情報を更新、もしくは削除すること 最新の情報を活用したい場合に実施

基本的には、名寄せやデータクリーニングも、データクレンジングの一種と考えておけばよいでしょう。

なお、名寄せは、データの誤りや不足・不揃いを修正した後で行うのがおすすめです。データが不揃いなまま名寄せをしても、重複と認識できずうまくまとめられないからです。

2. データクレンジングのメリットと具体例

データクレンジングを行うと、次のようなメリットがあります。

データクレンジングの代表的なメリット３つ
データ分析の精度を高めることができる 業務効率化につながる コストを削減することができる

それぞれ、企業にとってどのような恩恵があるのか、具体例をまじえて解説していきます。

2-1. データ分析の精度を高めることができる

データクレンジングを行い、分析のもととなるデータの重複や不足部分を修正しておくことで、正確な分析ができるようになります。

実際に、住宅・建材メーカーで、社内の複数の部署で管理するデータベースに保存されているデータをクレンジングしたところ、データベースの一元管理が実現しました。同社では複数のデータベース間で、登録ルールに違いがあったため、連動させて活用するのが難しい状況でした。そこで、これらのデータベース間でルールを整理しクレンジングを行ったのです。

その結果、部署の垣根を超えた精度の高いデータ分析ができるようになり、利益につながりやすい顧客の発掘や売上の向上などにつながったということです。

2-2. 業務効率化につながる

データクレンジングは、業務の効率化を進める際にも欠かせない作業です。データの不備を修正しておくことで、必要なときに正確な情報が1回の検索で手に入るからです。また、複数の部署や拠点間での情報共有もスムーズにできるようになります。

実際に、各拠点で個別に顧客の情報を管理していた自動車メーカーでは、拠点間のデータ管理方法が異なっていため情報の共有が難しく、更新作業なども煩雑化していました。

そこでデータクレンジングを実施したところ、拠点間の顧客情報を一括管理できるようになり、更新作業も1度で済むようになるなど、業務効率化が実現したとのことです。

2-3. コストを削減することができる

データクレンジングには、コスト削減効果もあります。データクレンジングを行うと、重複情報や古い情報を整理することができるので、誤った情報に基づく営業活動などをしなくて済むようになるからです。

通信販売事業を手がける企業においても、データクレンジングを行うことで、年間約350万円ものコスト削減を実現しています。この企業では、ダイレクトメールを送る際に使用していた顧客情報のデータベースに不備が多く、約2割は不着になっていました。

そこで、顧客情報データベースのデータクレンジングを実施し、古い情報や誤った情報などを整理したところ、届かないダイレクトメールはなくなりました。その結果、届かないダイレクトメールを送るために費やしていたコストの削減ができたのです。

ITの基本情報を毎週メールマガジンにてお届けしております。こちらからご登録ください。

3. データクレンジングの基本的な進め方3ステップ

データクレンジングの基本的なサイクルは、次の3ステップです。

「効果的なデータクレンジングのやり方がわからない」という場合は、以下で各ステップについて説明しますので、参考にしてみましょう。

3-1. 【ステップ①】社内のデータを集約する

最初に、複数のデータベースや部署などに分散している蓄積データを一つのデータベースにまとめます。例えば、顧客の①購入履歴と②登録情報と③アンケート結果を組み合わせて分析しマーケティングや商品開発に活かしたいなら、①から③のデータをまずは一つのデータベースに集約しましょう。

データクレンジングに取り掛かる前にデータを集約しておくことで、データ間の相関関係を確認したり、フォーマットを整えたりすることができるからです。

このようにデータクレンジング後の活用がしやすく、クレンジング業務を効率化することができるため、一つのデータベース上で処理できるように、まずはデータをまとめましょう。

3-2. 【ステップ②】品質チェックとクレンジング

データクレンジングを行いたいデータを一つのデータベースにまとめることができたら、データの品質を確認してから、クレンジングを行っていきます。チェックは手動でもツールでも行うことができます。

重複や記載方法の不揃いだけなのか、不足部分もあるのかなど、データにどのような不備があるのかをあらかじめ大まかにチェックすることで、必要な作業工程がわかり計画的に進めやすくなるからです。

例えば、重複や単位の不揃いだけ修正するなら、対応するツールで処理するだけで済みますが、データの未入力箇所があるなら入力担当者へ照会する作業を先に行う必要があるといった作業工程の違いがでてきます。

必要な作業の大枠がつかめたら、データクレンジングを行いましょう。表記を統一する・誤字を訂正する・不足を補うといった工程を終えてから重複データを削除していくと、効率的に進められます。

3-3. 【ステップ③】データの整理

データクレンジングが終わったら、データの整理を行っておくことで、品質維持をしていきましょう。具体的にはタグ付けをする、データの保存や参照に関するマニュアルを作るなど、データを使いやすい仕組みを作ったうえでデータを格納していきます。

データはデータクレンジング終了後、分析やマーケティングの資料など、さまざま形で活用することで生産性向上につながるので、活用しやすくしておくことが大切だからです。

4. データクレンジングの注意点とスムーズに進めるポイント

データクレンジングをスムーズに進めるためには、次の点に注意が必要です。

データクレンジングの注意点
クレンジングの基準が明確でないとデータクレンジングをしても効果を実感しづらい 手作業でやるとチェックや修正をするための時間や手間がかかる

データの不備を修正するデータクレンジングですが、どこまでを不備とみなすかは、データの使用目的などによって異なります。明らかな入力誤りは修正するにしても、データの不揃いや不足をどこまで修正すべきか事前に検討しておかないと、時間ばかりかかって効果を実感しづらい結果になりがちです。

また、データの不備を探して一つずつ手作業で修正すると、時間や手間がかかってしまいます。データの量が多いとなおさらでしょう。

こういったデータクレンジングの注意点を踏まえると、次の2つのポイントを押さえておくことが大切です。

4-1. 【ポイント①】クレンジングのルールを整理する

データクレンジングの作業に取り掛かる前に、クレンジングのルールをきちんと整理しておきましょう。

データの使用目的に影響のない不備を修正しても時間や労力がかかるばかりですし、影響の大きい不備を見逃してはクレンジングのやり直しになって、二度手間になるからです。

データクレンジング後、データをどのように活用するのかを具体的に想定し、クレンジングのルールを整理しておくことで、効率的に作業を進められるでしょう。

◆クレンジングのルール例

4-2. 【ポイント②】自動化する

データクレンジングは、できるだけツールを活用して自動化しましょう。

多くのデータをすべて手作業で修正しようとすると膨大な時間がかかるばかりか、見落としや修正ミスにつながりかねないからです。データクレンジングツールにはさまざまなものがあり、クラウドサービスで手軽に使うこともできます。クレンジングの目的に合ったものを選びましょう。

ただし、ツールを使った場合でも、最終段階で目視の確認をする必要があります。人間が見ればわかるような重複などを、ツールが見抜けない場合があるからです。

5. データクレンジング自動化に活用したいツール

「データクレンジングを自動化したいけれど、どのツールを選べばよいのかわからない」という方に向けて、データクレンジングができるツールの中でも気軽に使いやすいクラウドツールを2つご紹介します。

5-1. AWS Glue DataBrew

AWS Glue DataBrewは、アマゾンが提供するクラウドサービスAWS（Amazon Web Services）のデータクレンジングをすることができるツールです。

データクレンジングをしたいデータを指定すると、分析結果が、グラフなど視覚的にわかりやすい形式で表示されるのが特徴です。全体的な品質を簡単に把握できるので、使いやすくデータクレンジング初心者にもおすすめのツールと言えます。

データクレンジングの作業も、必要なものを画面上から選んで組み合わせるだけなので、コードがわからなくても使えます。

※AWS：AWS Glue DataBrew

※Amazon Web Services（AWS）、AWS Glue DataBrewは、米国その他の諸国における、Amazon.com, Inc.またはその関連会社の商標です。

5-2. Azure Data Factory

Azure Data Factoryとは、Microsoftが提供するクラウドサービスMicrosoft Azureのデータクレンジングツールのことです。

SaaSなどさまざまな場所にあるデータを取り込み、コードを使わずにクレンジングすることができるのが特徴です。その他にも、複数システムのデータを自動で収集して蓄積し集計まで行うなど、データに関する多様な処理ができます。

社内に分散するデータ統合に課題があるなら、活用を検討してみるとよいでしょう。

※Azure：Azure Data Factory

※Microsoft Azure、および記載のMicrosoft Azureの各サービス名は、Microsoft Corporationの米国及びその他の国における登録商標または商標です。

クラウドツールでデータクレンジングを行い生産性を向上させるならNTT東日本で

「データクレンジングを自動化するのに、おすすめのツールが知りたい」 「ツールを使いたいけれど、コストは抑えたい」 そのようにお考えでしたら、NTT東日本のクラウド導入・運用for AWS / Microsoft Azureの利用をおすすめします。 NTT東日本のクラウド導入・運用for AWS / Microsoft Azure最大の魅力は、AWS認定有資格者をはじめとするクラウドのプロフェッショナルが多数在籍し、150を超えるクラウド導入実績に基づく豊富なノウハウがあることです。 御社の状況や希望するデータクレンジングにあわせた最適なクラウドツールをご提案するのはもちろんのこと、クラウドのビジネスでの利活用に関する疑問や課題に、第三者的な立場からアドバイスが可能です。AWS（Amazon Web Services）とMicrosoft Azureのどちらも取り扱っておりますので、お気軽にお尋ねください。 また、NTT東日本では、初期コストはもちろんのこと、導入開始後の保守管理や周辺環境のコストまで含めて、最適なプランをご提案しています。だから、「導入費用は安かったけれど、労力がかかった」「関係するシステムやソフトウェアの調整で、かえって高くついた」などの失敗がありません。 端末・ネットワーク・クラウドのすべての領域において、現在の悩みやご要望をお聞かせください。安心して業務に専念できる環境の構築を実現いたします。 まずは、お気軽にお問い合わせください。

6. まとめ

データクレンジングとは、データの誤記や未入力・重複などの不備を修正し、データの正確性を高める作業のことです。データの誤りや不揃いなどを修正することで、データ全体の正確性を向上させることを目的としています。

データクレンジングの主なメリットは、次の3つです。

データクレンジングの代表的なメリット３つ
データ分析の精度を高めることができる 業務効率化につながる コストを削減することができる

データクレンジングの基本的な流れは、

【ステップ①】社内のデータを集約する

【ステップ②】品質チェックとクレンジング

【ステップ③】データの整理

となっています。データクレンジングが最終目標ではなく、その後の有効活用が目標なので、活用することを見越した進め方をすることがポイントです。

また、データクレンジングをスムーズに進めるポイントが2つあります。

【ポイント①】クレンジングのルールを整理する

【ポイント②】自動化する

できるだけ時間をかけず効率的に、データクレンジングの効果を実感するためにも、ポイントを押さえて作業に取り組みましょう。

ビジネスを取り巻く環境が複雑化し、市場ニーズが読みづらくなった近年、データの活用は企業の利益を向上させるために欠かせないものとなっています。データを有効活用し、正しい戦略を打ち出せるよう、データクレンジングをしっかりと行い、データの正確性を確保しておきましょう。