表計算によるデータ整形作業や
マスタへの取り込みを自動化
営業活動で得た名刺、セミナーやイベントの申し込み、あるいはWebサイトでの入力など、企業はさまざまなルートでデータを入手する。それらのデータから重複や誤記、表記のゆれなどを発見し、削除や修正、正規化などを実施して、データを整備する。こうしたデータクレンジングや名寄せなどの作業は、マーケティングや営業活動はもちろん、ビッグデータの品質を高めるうえでも今や欠かせないプロセスとなっている。
Excelなどの表計算ソフトを使ってデータを整形する作業は大なり小なり、ほとんどの企業で発生している。多くの場合、それは属人化した業務となり、経験とスキルを備えたベテラン担当者の手作業で実施される。
JBアドバンスト・テクノロジー(以下、JBAT)が2018年1月にリリースする「デジピタ!」は、こうしたデータ整形作業を支援し、自動化するツールである。データクレンジング・ツールはすでにいくつも発売されているが、「デジピタ!」がユニークなのは手動で実施される操作と手順を記録し、再適用することでデータクレンジング作業を自動化できること、そしてAPIを使ってマスタや外部システムにデータを自動連携できることである(図表1、冒頭の図表)。
マクロや関数といったExcelの知識は一切不要であり、整形データの保管までを含めて完全クラウド型で実施できる点も大きな特徴であろう。
JBATでは2016年3月に、データクレンジングの自動化ツールとして「デジピタ」を発表している。ただしこの時期は、システム移行に伴うデータの取り込みや整備といった目的での導入が中心であった。
「Excelを使ったデータ整備作業は、システム移行やマーケティング活動にとどまらず、企業活動のさまざまな場面で見られますが、手作業だと多くの工数を要し、またミスも発生します。そうした状況を目のあたりにして、『デジピタ』の活用シーンは我々が当初、考えていたよりもはるかに広く、多様であることに気づきました。そこで従来の『デジピタ』が備える機能群から表編集機能を切り出し、そこにAPIを付加してマスタへの取り込みなどを自動化するRPA製品『デジピタ!』として、新たに提供を開始することになりました。APIをRPA(Robotic Process Automation)のコンポーネントとしてご提供するので、今後はRPA領域を開拓するソリューションとしても、期待しています」と語るのは、小原鉄仁氏(マーケティング本部 本部長)である。
操作手順を記録し
APIから他のデータに再適用
「デジピタ!」は、データクレンジングに向けた多彩な表編集機能を備えている。たとえば、「カタカナをひらがなに」「半角を全角に」「ひらがなをローマ字に」など、クレンジングや名寄せ作業でよく使われる操作を図表2のようにメニュー化している。
図表2 定型操作をメニュー化
さらに下記のような機能をサポートする。
・データの絞り込み
絞り込み条件を設定し、操作影響範囲を限定。関数による独自の絞り込み条件で、データの状態確認ツールとしても利用可能である。
・データの取り込み
UIの設定で、他の表計算データから列の内容が一致している複数列のデータを一括追加/上書きする。
・データの比較
2つの列を比較し、異なる内容のセルを検出する列を追加する(「列」単位の比較操作が可能)。
・変換機能
複数値セルの行分割や単語の分割、空白セルの連続値処理、Unicode正規化、住所列の住所要素への分割、縦格納セルの1行化など、各種の変換機能を備える。
・列内表記ゆれの統合支援
列内にある類似のセル内容をまとめて一括修正し、表記ゆれを統一する。
「自動化精度を高めるには、一定の操作記録期間が必要となります。たとえば導入後に、日常的なデータ整備作業を『デジピタ!』上で実行して、操作履歴を記録していきます。保存された操作内容は、APIによりほかのデータに対して再適用できます。対象となる作業量にもよりますが、1カ月から数カ月程度の間、さまざまな操作手順を記録していくことで、その後は一連の作業の自動化が実現します」と指摘するのは、開発を担当した田中慎一郎氏(ソフトウェア開発 サービス開発部 アナリティクスグループ)である。
またAPIではCSVやXLSデータの登録およびアップロード/ダウンロードが可能なので、マスタや外部システムとの連携を実現する。ちなみにデータはすべてAmazon S3に保管される。
「デジピタ!」は1ユーザー当たり2万5000円から利用可能(APIの価格については要相談)。
正式発売に先立ち、すでに数社のユーザーが会員管理、顧客管理、物流管理などの自動化とマスタ連携に取り組んでいるという。
Excelを利用した日常業務の自動化へ、さらにビッグデータ分析の品質向上に向けても、「デジピタ!」の果たす役割が注目される。
[IS magazine No.18(2018年1月)掲載]