いつも弊社の記事をご覧いただき、ありがとうございます。今回は、データ統合環境を構築するにあたり、３つの重要な要素をお話しさせていただきます

データ統合環境の構築に必要な３つの要素

DX時代に入り、ビジネスの成長にはデータ活用が必須となりました。一方で、どのようにデータを活用すればいいかわからない、データ活用をしたいがデータが社内に散らばっているという相談を受けます。その中でも、データ統合環境を構築したいが、どう作って良いかわからないという相談に対して、弊社の作り方をお話しさせていただこうと思います。一言で言えば、データ統合環境のアーキテクチャ（インフラではなく、データをどのような概念で配置していくか）についてです。具体的には、蓄積・汎用化・目的という観点からお話しさせていただきます

蓄積

データ統合環境（以下、データウェアハウスで統一）の入り口となる「蓄積」は、会計システムや販売管理システムといった各ソースシステムからデータを受け取り、文字通りデータを蓄積します。現在のシステムではあまり無いかもしれませんが、各ソースシステムにはデータ蓄積量や年数が設定されており、大量にデータを蓄積することはできませんでした。そのためデータウェアハウスは、ソースシステムで消されてしまうデータを保持する重要な役割があります。さらに重要なのは、形を変えずに蓄積することです。ソースシステム側でデータの訂正があった場合の入れ替えや、ソースシステム側のデータ調査に、データウェアハウスのデータと付け合わせするといった対応が可能になります。形を変えずといっても、ファイル連携であれば取り込みファイルの名前、作成者や作成日といったカラムを追加しておくことで、トレーサビリティを上げることは必要になります

汎用化

蓄積によってソースシステムのデータが収集・蓄積され、散らばっているデータが一箇所に集まりました。次に実施することは、このデータを社内でよく使う分析の切り口で汎用化することです。実際、汎用化せずにソースデータからすぐに目的に応じたデータマートを作るアーキテクチャもあります。しかし、いきなり特定の目的に応じた形をとってしまうと、違う目的のデータが必要になった時に、データマートが必要以上に増えてしまう可能性があります。そこで、共通で使う指標は汎用化領域で定義することを勧めています。当然、すべての項目を定義しきることは難しいですし、目的領域で定義したものを汎用化するといったケースも考えられますが、より重要なのは、企業内で共通化された指標はみんなで使い回すという考え方です。例えば売上という指標があった場合、ある人は返品を考慮した売上を集計し、ある人は返品を考慮しない売上を集計するかもしれません。会社で統一的に見る指標は算出ルールも統一し、ブレがないようにしておくことが重要です。もし統一ルールから外れる場合は、目的領域で個別に定義した算出ルールを適用するようにしましょう。では、具体的な実装についてお話しします。汎用化領域では、顧客や売上・商品といった、よく使う分析の切り口でデータをまとめます。顧客であれば顧客の粒度でよく使う分析軸、例えばソースデータに顧客の誕生日しかなければ、汎用化領域の顧客データには年齢を追加します。売上であれば、ソースデータがトランザクションのヘッダーと明細に別れている場合、ヘッダー粒度にまとめます。購入商品の点数、購入商品カテゴリといった項目をヘッダー側に付与することで、明細を見ずに売上の詳細分析が可能になります

目的

汎用化されたデータを特定の期間や利用する単位に切り出します。いわゆるデータマートを作成することを指します。この切り出したデータは、BIツールやレポートツールで利用します。一般的な分析ツールでは、ツールの中でリレーションを組むことができるため、汎用化領域のデータをそのまま使うことも可能です。しかし、テーブルに存在するレコード数が多いことや、結合によるコストの問題により、パフォーマンスが出ない場合があります。そこで目的領域は利用者のことを最大限考え、データを作り込みます。また、すごく特殊な分析をする場合、ツール上で加工しきれない場合があります。その場合は、SQLレベルで事前加工し、目的領域にデータを出力することで問題を解決します。このように、ある特定の目的に特化したデータを作ります

まとめ

弊社がデータウェアハウスを開発する時に考慮する３つの要素について共有させていただきました。お客様の要件や予算、目的などによって実装のアーキテクチャーは変わりますが、基本的にどのようにデータを収集・蓄積し、汎用化すべきかを検討し、何にデータを使うかといった目的を明らかにした上でデータを配置するようにしています。データ統合環境の構築でお悩みであれば、ぜひお問合せください

お問い合わせフォームはこちら