データローダーによる保守・運用コストの削減方法
今日の企業は、データ統合に多くの時間とリソースを割き、効果的な分析プログラムを実行する上で重要な役割を担っています。
このプロセスを加速・合理化するために、データ統合ツールはデータを送信元から送信先に移動させるのに役立ちます。
一方で、データ統合を最新の状態に保つために、データのライフサイクルの中で必要な保守作業を行うのは面倒な場合があります。これには、データ統合ツールの使用状況の追跡、サードパーティのスケジューラーを使用したジョブの実行、新しいユーザーの設定、アップグレードの実行が含まれます。クラウドサービスプロバイダーは、通常追加料金を支払うことで、これらの機能をエンドユーザーのみに提供します。
また、購入前にユーザーが試せるフリーミアムや無料トライアルでは、さまざまな機能が提供されていないことが大半です。
データの民主化の実現のため、これらの機能にセルフサービスでアクセスできるようにすれば、組織は運用コストを削減することができます。そして、これらの作業にかかる時間を、より多くの情報に基づいた意思決定に集中するために振り向けることができます。
それを実現するための最適な方法が、データローダーです。
インフォマティカの Data Loader は、複数のエコシステムに対応した 3 段階のウィザードを無償で提供します。ゼロコード、ゼロDevOps、ゼロインフラが必要です。Data Loader は、IT 部門以外のユーザーがよりスマートなビジネス上の意思決定を行えるように設計されています。
Data Loaderが業務改善を支援する6つの方法
このシリーズの最初のブログでは、Data Loaderによって、ある大規模な小売業者がリアルタイムの洞察を得るためにデータの民主化をどのように進めたかを調べました。ここでは、同じ小売業者がメンテナンスを容易にし、コストを削減するために役立つData Loaderの機能をいくつか紹介します。
1. メータリング
効果的なデータ統合を行うには、実行中のジョブや、組織内のさまざまな人によるツールの使用状況を把握する必要があります。
Informatica Data Loader を使用すると、必要なだけのデータをクラウドデータウェアハウスにロードすることができます。その使用状況を追跡するには、Data Loader の Administrator ビューで利用可能な計測オプションを使用します。
メータリングのページには、組織のData Loaderの総使用量が表示されます。これには、現在の使用量と平均使用量が含まれ、さらに、定期的に処理される行数を示すグラフがプロットされて表示されます。最も重要なのは、アクセスはすべてのユーザーが利用でき、なおかつ管理活動を容易に行えるということです。また、Data Loaderの利用統計の追跡や保守のために、追加のリソースは必要ありません。
図1：Data Loaderでは、利用状況メトリクスをリアルタイムおよび月単位で算出することが可能
このユースケースに登場する大規模小売業者にとって、メータリングオプションがどのように有効なのか見てみましょう。
同社では、データエンジニア、アナリスト、ビジネススチュワードに対して、Informatica Cloud Data Integration のライセンスとサブスクリプションを発行しています。プロジェクトに関わる人数が多いため、各人が実際にアクセスする必要がない場合もあります。その場合、利用がなくても、各ユーザーにライセンスとサブスクリプションを発行することになります。
Data Loader を使用すると、小売業者の IT チームは、無料の Data Loader ツールの使用状況に基づいて、Informatica Cloud Data Integration へのアクセスが必要なユーザーを特定することができます。
このようにして、アドオン機能を使用する必要があるユーザーに対してのみ、限定的なサブスクリプションまたはライセンスを発行することができます。
2. モニタリング
監視は、ツールの使用状況を把握し、潜在的な問題を特定するために重要です。Data Loaderタスクを実行すると、My Jobsページですべてのジョブを監視することができます。このエリアには、ステータス、処理された行数、開始時間、終了時間というラベルのついたカテゴリーで、ジョブに関する詳細が表示されます。そして、ジョブをクリックすると、ジョブのプロパティ、結果、サブタスクの詳細が表示されます。ジョブが失敗した場合、エラーメッセージが表示されます。同じページからログをダウンロードすることができます。ユーザーはログの詳細を見るために、他の環境への追加アクセスは必要ありません。
マイジョブ」ページには、ユーザーが自分の側から実行したジョブのリストが表示されます。スケジュールされたすべてのジョブを監視するには、ユーザーはモニターサービスの表示に切り替える必要があり、そこでは組織内のすべてのジョブが利用可能です。
図2：Data Loaderでインスタンス名、場所、サブタスク、開始時間、終了時間、処理された行数、ステータスで実行されたジョブを示すリスト
図 3: Data Loader のジョブプロパティを表示した図 図 3: Data Loader のジョブプロパティを表示した図
図 4: セッションログをダウンロードするか、ジョブ実行を再開するかを選択できる個々のジョブ結果を示すリスト
さて、この大規模小売業者は、複数の地域から同じマートに販売データを取り込むために、いくつかのデータロード活動を実行する必要があります。
彼らは、分析作業を一時停止することに依存しています。
現在、この大規模小売業者は、複数の地域から同じマートに販売データを取り込むために、いくつかのデータロード作業を行う必要があります。この企業は、すべての地域のデータがデータマートに正常にロードされるまで、分析作業を一時停止する必要がありました。モニタリング機能を利用することで、その状況を確認する必要がなくなりました。全地域のデータロードが完了したら、分析作業を再開すればよいのです。また、通知機能を利用することで、手動での作業を回避することができ、メンテナンスの必要性を減らすことができます。これについては、後ほど詳しくご説明します。
3. インクリメンタルデータロードの使用
Informatica Data Loaderは、プライマリーキーとウォーターマークフィールドを定義することで、ターゲットへのインクリメンタルロードを実行することができます。ウォーターマークフィールドは通常、日付と時間、または数値フィールドです。この2つのオプションはData Loaderで利用可能で、使用するために追加のサブスクリプションやライセンスは必要ありません。
Data Loaderのユーザーにとって、インクリメンタルデータロードがどのように有益であるかを見てみましょう。この大規模小売企業の分析チームは、市場分析のために購入者データセット全体をクラウドデータウェアハウスにロードしたいと考えています。Informatica Data Loaderでソースを選択すると、データセットからCUSTOMER_ID列が主キーとして、PURCHASE_DATEがウォーターマークフィールドとして自動的に検出されます。
小売業者がターゲットにロードする必要のある複数のファイルがある場合、ユーザーはソース間で同じまたは異なるキー/フィールドを設定するオプションがあります。主キーを使用することで、ユーザーは倉庫への増分または差分のロードを実行することができます。
図 5: Data Loader で増分データロードを処理するための主キーフィールドとウォーターマークフィールドの定義
4. タスクのスケジューリング
Informatica Data Loaderは、外部のシミュレータを使用せずにタスクをスケジューリングする機能を備えています。タスクをスケジューリングして実行することは、オプションの機能です。しかし、スケジューリング機能を活用することで、社内のリソースを解放し、他の優先事項に集中することができます。
ここでは、大規模小売業において、スケジューリングがどのように業務を円滑に進めるかを見てみましょう。分析チームは最近、ロサンゼルスに新しくオープンした店舗の顧客評価に関する詳細を受け取りました。彼らは特に、新店舗の顧客訪問を分析し、週次と月次で顧客満足度調査を公表したいと考えています。これを実現するために、小売業者はData Loaderタスクを毎日実行するようスケジュールする必要があります。こうすることで、クラウドデータウェアハウスに定期的にデータをロードすることができます。スケジュールはビジネスニーズに基づいて作成することができ、どのタイムゾーンでも実行することができます。これにより、データが定期的にロードされ、分析チームは視聴率に関する洞察に迅速にアクセスできるようになります。
図6：Data Loaderのスケジューリングオプション
図 7: Data Loader での新規スケジュールの作成
5. 通知の自動化
Informatica Data Loader には、スケジュール済み、未スケジュールにかかわらず、タスクの実行をユーザーに通知する機能があります。これにより、スムーズな運用を実現し、問題を即座に特定することで、問題解決のためのメンテナンスの必要性を軽減することができます。
この小売業者の場合、分析チームは、ビジネスインテリジェンスのニーズに応えるため、ファイルとして送られてくる在庫データをクラウドデータウェアハウスにロードすることを希望しています。以前は、データロードに失敗した場合、在庫データアナリストに通知することしかできませんでした。しかしData Loaderでは、データロードの成功、失敗、警告のどのような場合でも、アラートメールで通知を行うことができます。それぞれのカテゴリーにメールを追加するだけでいいのです。これにより、インベントリデータアナリストは、毎回手動で確認しなくても、データロードの進捗状況を容易に把握することができ、問題があればリアルタイムで対処することができます。
図8：Data Loaderで利用可能な電子メール通知機能
6. 共有環境の利用
Data Loaderの共有環境へのアクセスを提供し、コラボレーションを行うために、管理チームがユーザー設定を行う必要はありません。また、ユーザは他のユーザを同じ組織で作業するように招待したり、Data Loaderのタスクを一緒に構築／管理するためのアクセス権を持っています。通常、他のプロバイダーが提供する無料トライアルでは、ユーザーコラボレーションは利用できないため、これはData Loaderを際立たせています。
小売業での使用例に戻りますが、分析チームはビジネスインテリジェンスの必要性から、特定の地域から送られてくる在庫データをSalesforceからクラウドデータウェアハウスにロードしたいと考えています。また、経営統合に伴い、分析チームは複数のデータウェアハウスを統合する必要があります。また、他の地域のデータも同時にロードする必要があります。
共同作業を行うには、新しいパイプラインを構築したり、新しい製品を入手したりする代わりに、他の拠点のアナリストに同じData Loader orgへのアクセスを与えることができます。そして、既存のタスクを利用したり、新しいタスクを構築したりすることができます。これにより、時間とコストの両方が節約され、小売業者のリソースが解放されます。
図9：Data Loaderにアクセスできるユーザは、その電子メールを使って他のユーザを同じ組織に招待することができる
Data Loaderを使い始めるための次のステップ
この無料ツールをデータ統合戦略に統合して、メンテナンス要件を緩和し、コストを削減する準備が整いましたか？
以下のビデオでData Loaderの使用方法についてご覧ください。
このブログはHow a Data Loader Can Help Ease Maintenance and Operations Costsの翻訳です。
