Integration Servicesを利用してHTMLからデータを抽出する [SSRS with Bing Maps #2]

少し間が空いてしまいました。
佐久間です。

「Reporting ServicesとBing MapsでWEB上のHTMLデータを可視化するレポートを作成する」

第2回目は前回作成したWorkテーブルにHTMLから抽出したデータを取り込む処理を行います。
(目次はこちら)
 

2. データを取得・変換する:Integration Services

今日は、SQL Server 2008 R2に付属のIntegration Services(以下SSIS)を使用してデータの抽出・変換・ロード(ETL)を行います。
ETL処理の全体像は下記の通りです。
2-1. 抽出(Extract) ←今回
 2-1-1 HTMLからデータを抽出してTSVを作成する
 2-1-2 ワークテーブルを空にする
 2-1-3 TSVからSQL Serverへデータをインポートする
 
2-2. 変換(Transform)
 2-2-1 都道府県IDを付与する
 2-2-2 最大震度IDを付与する
 2-2-3 座標データをGeography型に変換する
 
2-3. ロード(Load)
 2-3-1 インデックスを無効化する
 2-3-2 ワークテーブルのデータでレポート用テーブルのデータを洗い替える
 2-3-3 インデックスを再構築する

 

– 前準備 –

まずは前準備としてSSISの新しいプロジェクトを作成します。
開発環境はBusiness Intelligence Development Studioです。
これはSQL Serverのインストーラーに同梱されているVisual Studioのシェルを利用したツールです。
新しいプロジェクトの作成は左上のメニューから行います。

1. 「新しいプロジェクト」を選択
新しいプロジェクト

2. 「Integration Services プロジェクト」を選択

プロジェクトの新規作成

Read More

Reporting Servicesのレポート用データベースを作成する [SSRS with Bing Maps #1]

こんばんは。佐久間です。
先週告知した連載
「Reporting ServicesとBing MapsでWEB上のHTMLデータを可視化するレポートを作成する」

第1回目はデータベースの作成です。(目次はこちら)
早速ですが手順を追いながらいってみましょう。

1. データベースを作成する:SQL Server
- まずはデータベースを作ります。 -
1. Management Studioのメニューから「新しいデータベース」を選択する
メニュー「新しいデータベース」

Read More

Reporting ServicesとBing MapsでWEB上のHTMLデータを可視化するレポートを作成する [SSRS with Bing Maps #0]

初めまして。佐久間と申します。

今年3月の震災後、地震や放射性物質・電力消費量などの情報が以前よりも数多く、わかりやすく、また加工しやすくWeb上に広がるようになりました。

こういった情報を整理・加工して「こんな形にできたらもっといい情報提供になるのにな」とイメージは持っているけれど、どう作ったらいいのかわからない・・・

そんな方に向けてWeb上のデータを可視化する簡易地図レポートのざっくりとした作り方を紹介します。

 
[作成する簡易地図レポート]

作成する地図レポートは2種類。
1つはBing Mapsと連携してデータを表示するレポートで、もう1つはGISソフトでよく使われる図形と属性データを持ったシェープファイル(ShapeFile)を使用したレポートです。

最大深度マップ
県別地震発生回数マップ

Read More

次のエントリー>>

ネクストスケープ企業サイトへ

NEXTSCAPE

検索する

タグ

メタデータ

投稿のRSS

著者

データベースの中のデータはその企業の財産のはず。
しかし現実にはユーザー自身が自由に見れないことが多い。

データを未来のために活かせる状態にすることを求めるエンジニアです。
「sakuma」さんの全ポストを読む