データチェックの基礎知識まとめ

データチェックの基礎知識まとめ

これまで何記事かに分けてデータチェックの基礎知識を紹介してきました。本記事ではそれをまとめます。以下の4つのプロセスに分かれます。

  1. 突合せ前
  2. 突合せ時
  3. 差異発生時
  4. 突合せが終わるまで

1) 突合せ前に確認すべきこと

ExcelやAccessで突合せを行う前にチェックしておきたいことです。

一つあげるなら、そのファイルは読めるものなのかどうかをチェックします。

「読める」とは文字化けしておらず、データの縦と横を識別できることを指します。

データチェックの基礎知識その1ファイルに関するあれこれ

その1で紹介した改行コードと文字コードの詳細を書いています。

データチェックの基礎知識その2 改行コードと文字コード

2) 突合せの基本は縦と横を合わせること

対象ファイルの確認ができたら突合せに入ります。

縦(レコード)を合わせるためのキー項目を特定し、続いて横(カラム、フィールド)を合わせるための項目定義を確認します。

そして、キー項目で結合し、AccessやExcelで一致不一致を確認します。

項目定義によっては、型変換を行ったり、桁埋めや特定桁のみの比較を行うこともあります。

データチェックの基礎知識その3縦と横を何であわせるか

3) 差異が発生した時に確認すべきこと

突合せをして全く差異が発生しないことはありません。そのまま左から右に持ってきただけだとしても、です。

突合せ前に確認したことと同様に、縦の差異、横の差異の順番で原因を確認していきます。

データチェックの基礎知識その4 差異が発生した時の分析方法

4) 差異が解消するまで突合せを繰り返すために

差異原因が特定できたら元データの修正やプログラムの改修を行います。

しかしながら変更を加えると改善することもありますが改悪することもありえます。差異が完全になくなるまで効率よくチェックを繰り返せるよう、チェックツールと手順の作成をお勧めします。その際、なるべく手作業は減らすことです。

手作業は作業者によって品質にばらつきが出るからです。

▼その最たる例が、先頭に埋められている0を消してしまうことです。CSVファイルをExcelで開く時は要注意です。

データチェック時は先頭0落ちに気をつける

▼チェックツール作成において、AccessではVBAのようなプログラミング言語を使わなくても、SQLやクエリを視覚的に作成することでデータ操作を手軽に行うことができます。

Access初心者がデータの現新比較をしたい時に読む本

▼SQLはシンプルな構文を組み合わせて使います。慣れると使いやすく、実行してから結果を得るまで独特の爽快感があります。

SQLを学ぶ時のおすすめ順

まとめ

本記事では、現行システムと新システムの2つのデータを比較するようなデータチェック作業に関する基礎知識を紹介してきました。

プログラマーやSE経験がないもしくは少ない方もこれらの作業に携わることはあると思います。その際のお役に立てれば幸いです。



このブログを書いている人

電子書籍「システム導入のためのデータ移行ガイドブック」著者。
新卒から外資系コンサルティングファームに所属。15年に渡り販売物流、特にCRM領域のコンサルティングに従事。
100名を超えるプロジェクトのPMOなど全体を推進していく役回りや、ユーザ企業への出向を通じた実務経験を持つ。

このブログでは、自身がかき集めた知識や経験を共有する。クライアントへの提案やソリューション開発に直結しないガラクタのようなもの。将来再利用する自分のために。同じような悩みを抱える誰かのためにブログ「外資系コンサルのガラクタ箱」を運営

スポンサーリンク