Alteryxを使って「名寄せ・表記ゆれ」データのクレンジングを行う

データクレンジングや大量のデータを使って分析を行いたい
というお客様からよく聞かれるお悩みとして「名寄せ」があります。
Alteryxではどのようにデータを綺麗に整理しているのか。
について、具体的なツールを使ってご説明します。

こんにちは。Saoriです。

処理アイコンをドラッグ&ドロップし、線でつなげていくことで「ワークフロー」という処理の履歴を構築し、
再生ボタンを押すことで、処理が実行できるため、とても分かりやすいのが強みの統計ツールである”Alteryx”。

データクレンジングやデータプレパレーションを行う際に、
「名寄せと表記ゆれで時間が大変掛かる。」

というお悩みをよく伺います。

日本語を扱う私たちには多いこのお悩み。

専用ソフトやツールも販売されている今、
Alteryxを使った表記ゆれ・名寄せの解決方法をご紹介いたします。

表記ゆれ・名寄せとは

そもそも表記ゆれと名寄せとは、を整理します。

“表記ゆれ”とは

同じ意味だけど字体が異なるデータが、1つのファイル(データ)併存している状態を指します。
人間からしたら同じ意味だと判断ができますが、データは別ものと判断してしまうような表記のことを指します。
★例★
・”コンピューター”と”コンピュータ”
・”渡辺”と”渡邊”
・”1-1-1″と”一丁目一番地一号”
・”株式会社”と”㈱”
などです。

名寄せとは

複数のデータの中から、同一人物を特定しまとめるための作業を意味します。
先ほどご紹介した、表記ゆれのことも含めて名寄せ、といわれている方もいます。
★例★
・苗字が変更になった
・部署が変わった
・吸収合併等で社員番号が複数存在するようになった
などです。

番号や名前は違えど、”実際は同じ人”ということは多々あります。


 

表記ゆれ・名寄せ、どちらにも言えるのは”同じデータであるのに別データとして認識されてしまい、正しい結果を導き出せない”
点が手間がかかる点なのだと思います。

日本語は同じ表記をするにも表現方法が多数あります。
・漢字
・ひらがな
・カタカナ
・ローマ字(アルファベット)
そして
・記号
と、複数の表現方法があるため、他の言語よりも表記ゆれの発生が多く、名寄せを課題として感じられる方が多いのだと思います。

例えば、「株式会社」 1つにしても、

・株式会社
・㈱  ※環境文字
・(株) ※半角括弧+株の文字
・(株)※全角括弧+株の文字

と記述がバラバラになる要素が存在します。

加えて、
・会社の種類の後ろのスペースの有無と種類(全角スペースか、半角スペースか)
・社名の半角全角表記
・商号の位置間違い(株式会社○○ なのに ○○株式会社)

ちょっと考えただけでも違いが多々発生しそうです。

Alteryxで名寄せ・表記ゆれを整えるツール

ここからは、
Alteryxで名寄せ・表記ゆれ関連を行うにあたり、大変便利なツール2種についてご紹介いたします。

DataCleansing データクレンジング Alteryx アイコンData Cleansing(データクレンジング)ツール

空白や記号等のデータをその名の通り綺麗にしてくれるツールです。
1つのツールで一気にデータがきれいになるので大変便利!なツールです。

——–データクレンジングツールでできること——–
・空白の削除(文字型データの場合)
・空白に0を代入する(数字型データの場合)
・大文字小文字の変換
・不要な句読点の削除
・文字列の削除
・数字の削除

空白(スペース)は見逃しやすいため、それらを一気にきれいにしてくれるのは大変便利です。

FindReplace 探索変換 Alteryx ツール アイコンFindReplace(検索置換)ツール

2つのテーブルの共通ワードをキーとして、リストを元にデータを置換してくれるツールです。
置換したいリストがあれば、簡単に変換することが出来ます。

ExcelのSUBSTITUTE関数や、”置換機能”に近い動きをしてくれます。

また、FindReplace(検索置換)ツールは
完全一致
部分一致(先頭一致、中間一致)
の変換も可能です。

余談:Formula 式 フォーミュラ ツール Alteryx アイコンFormula(フォーミュラ)ツールのIF関数やREPLACE関数を使って変換を行うこともできますが、
指定された文字のみの変換になるため、条件が複数ある場合はFindReplace 探索変換 Alteryx ツール アイコンFindReplace(検索置換)ツールを使っていただいたほうが圧倒的に早いです。

データクレンジングツールと探索置換ツールの具体的な使い方

ここからは、2つのツールを使った具体的設定方法・活用方法をご紹介いたします。

使い方① DataCleansing データクレンジング Alteryx アイコンDataCleansing(データクレンジング)ツール

DataCleansing(データクレンジング)ツールは、不要な情報を一括で取り除けるため、大変便利です。

例えば以下のような空白や大文字小文字、不要な句読点が混じったデータがあったとします。それらをすべて一括で変換したのが下の前後の図です。

Alteryx DataCleansing データクレンジング ツール 事例

上記のような設定は以下になります。
クリックをするだけで設定が可能です。本当に簡単です。
Alteryx DataCleansing データクレンジング ツール 設定画面

なお、Alteryxのデータクレンジングツールを使って変換できる記号は以下になります。

! ” # $ % & ‘ ( ) * + , \ – . / : ; < = >? @ [ / ] ^ _ ` { | } ~

そのため、日本ではよく使われる
【 や ★ の記号では変換(削除)がされません。
また、
(株)で使われる括弧が変換(削除)されてしまうため、

商号部分を変換したい場合は、ワークフロー作成時、DataClensingツールよりも前に、FindReplace 探索変換 Alteryx ツール アイコンFindReplace(検索置換)ツールをを使われることを
おすすめします。

使い方② FindReplace 探索変換 Alteryx ツール アイコンFindReplace(検索置換)ツール

今度はFindReplace(検索置換)ツールです。変換リストを元に、文字通り検索をして、置換をしてくれます。

個別に変換設定が出来る点と、リストを更新していくだけでよいので、変換条件の追加が大変しやすいです。

変換リストと、変換したいリストを以下のように結合します。

Alteryx Findreplace 検索置換ツール 事例

設定も簡単です。検索対象のフィールドと検索する値(フィールド)を選択し、
置換するフィールドを選択するのみです。

Alteryx Findreplace 検索置換ツール 設定画面

検索と置換についてはこのように変換リストを作成するだけです。また新たな条件が追加された場合は、こちらに追記するだけですので、メンテナンスや条件の設定が大変簡単です。

Alteryx Findreplace 検索置換ツール 事例 テキスト入力ツール

 

使い方③ 組み合わせワークフローのご紹介

実際に名寄せを行うにあたってのワークフローを簡単にご紹介します。

複雑な条件を足さずに簡単に出来るため、名寄せ精度が格段に上がります。

例えば、顧客情報と、問合せ情報を以下ワークフローを使い、AlteryxのJoin ジョイン Alteryx アイコン画像JOIN(ジョイン)ツールを使うなど、結合に関するツールを使えば、一致率は格段に上がります。
実際私もそのようにしてデータクレンジングとデータ比較や検索を行っています。

★サンプルワークフロー★
Alteryx Findreplace 検索置換ツール データクレンジングツール 事例ワークフロー

まとめ

今回は、名寄せや表記ゆれに役立ちそうなツールのご紹介をいたしました。
複雑な関数や条件を使うことなくデータを綺麗に出来るのは、
データクレンジングが強いと言われる所以かと思います。

私も、Alteryxを使うと、データクレンジングがしやすいと実感しており、
大変使いやすいので、是非使ってみていただければと思います。

Alteryx(アルタリクス/アルテリックス)を14日間無料でご体験いただけます。
最新版を利用いただけます。
トライアル期間中もサポートいたします、ご不明な点がございましたらお気軽にお問い合わせください。
14日間のフリートライアルはこちらから

Alteryx(アルタリクス/アルテリックス)のお見積りや、データ分析に関するご相談は「問い合わせページ」にて承っております。お気軽にご相談ください。
お見積もり依頼などのご相談はこちらから

 

関連記事

  1. Alteryxのレポート機能についてご紹介

  2. Alteryx Community イメージ画像

    【Alteryx Community】のご紹介

  3. Alteryx版 文字型(String)から日付型(DateTime)…

  4. コマンドラインを使ってAlteryxを動かしてみる-アプリ編-

  5. Alteryx おすすめトレーニング教材のご紹介

  6. 手順に沿って設定するだけで予測モデルが作れる Alteryx Inte…

フリートライアル(14日間の無料試用)