データの差分チェックが大変だったことはありますか？ 私はマーケティング・営業企画の仕事でデータを扱っているので、定期的にダウンロードするデータや、システムに取り込む前のデータ修正時など、2つのデータの相違点（変わった点）...

AIという言葉をよく耳にするようになりました。ただAIという概念や研究自体は、20年前、私が学生の頃にもありましたし、そもそも1950年頃くらいまで遡る歴史があります。 ただ、AI搭載の製品もずいぶん身近になりましたし企...

Salesforceのダッシュボードをメンテナンスしています。 ボリュームとしては、 3つのダッシュボード 1つのダッシュボードに15個コンポーネントを配置 重複を除くと10個のレポート それぞれのレポートは、元データの...

データ移行の本を書いてからもうすぐ2年になります。 しかもこれはおよそ10年前の経験をもとに書いたもの。 Kindle配信開始！「システム導入のためのデータ移行ガイドブック―コンサルタントが現場で体得したデータ移行のコツ...

Excelデータの集計時にとても面倒な差分チェック。 データ受領が一回だけで済むなら差分チェックはさほど必要ありませんが、何度も更新データを受け取る場合は集計ミスを招きかねません。 サクっと丁寧に集計ができるよう、本記事...

システム開発や運用の現場でも、営業企画やスタッフ部門の現場でも新旧のデータを比較したり、集めたデータを集計しチェックすることは少なくありません。 ビッグデータとして大量・大容量のデータが扱われようと、AIやディープラーニ...

以下のような記事を拝見しました。Oracleデータベースの6つの表アクセス方式の速度が比較されています。 私が移行やインターフェースののプログラムを構築する際に気をつけていたのは、最低限、テーブルフルスキャンを回避するこ...

JP1、TWS（Tivoli Workload Scheduler）、Windowsタスクマネージャーなど、各ジョブ管理ツールの使い勝手を比較します。

システムでデータを持つ時、特定の項目をマスタ参照することで常に最新の情報を表示が可能になります。 本記事ではマスタ参照と実カラム持ちのメリットデメリットについて整理します。

ExcelやGoogleスプレッドシート、あるいは業務システムからダウンロードしたCSVファイルなどのデータ突き合わせで苦労したことはありませんか？ 私もコンサルタントとしてITベンダーとして、ユーザ部門として様々な業務...

先日データの現新比較（新システムのデータが正しいことを確認するために、現行システムのデータと比較すること）をするのにAccessを使う機会がありました。Accessを触った経験のない方が大半だったため、簡単に操作説明を行...

手作業でデータチェックする時に気をつける必要があるのが、コード値の先頭にある0です。 例えば以下のような顧客コードがあったとします。 01123 00015 12345 これらが、意図せず以下のような状態になることがある...

SQL(Structured Query Language)はDDLとDMLに分かれます。 データを定義するのがDDL(Data Definition Language)で、データを操作するのがDML(Data Mani...

データチェックの基礎知識4回目は、差異が発生した時の分析方法です。 2つのデータを比較して件数に差異があった時は、まず片方だけに存在するデータを特定します。それぞれに共通する点を探します。特定の日付で作成されたデータや、...

プロジェクトでデータ検証メンバーを急遽集める必要がある時、どうやってスキルの有無を見極めますか？ Microsoft認定資格を持っていれば基礎的な操作を習得していることはわかるかもしれませんが、どんな実務経験があるかはわ...

データチェックの基礎知識第3弾です。改行コードと区切り文字によりファイルごとの縦と横は特定できました。

データチェック基礎知識の続き記事です。 ▼前の記事はこちら データチェックの基礎知識その１ファイルに関するあれこれ データチェックする際の縦と横を識別するのが、これから紹介する改行コードと区切り文字です。理由は、縦と横で...

平常時はプロのSEさんに依頼できる作業でも、トラブル時などは頼れるSEさんがいなくて自分自身で何とかする必要が出てくることがあります。本記事ではデータチェックにまつわる基礎知識を紹介します。