OLAP (On-Line Analytical Processing)

Nama   : L.Efendi
NIM    : 11.41010.0211
Tugas  : Pertemuan 11  [ MK Data Warehouse ]

Apa itu OLAP ?

        Suatu teknologi perangkat lunak yang memungkinkan seorang analis, manajer dan eksekutif untuk mendapatkan informasi secara cepat, konsisten, interaktif, serta akses dalam berbagai sudut pandang informasi yang mungkin telah mengalami transformasi data untuk memunculkan dimensi fakta dari perusahaan sesuai dengan pemahaman dan kebutuhan pengguna (user).

Information Delivery

         Dalam penyampaian dan penyajian informasi yang baik kita harus mengetahui subjek informasi yang disajikan dan untuk siapa informasi itu disajikan. Secara umum, ada beberapa kelompok karakteristik pengguna informasi. 

Antara lain:

▫Operators

▫Farmers

▫Miners

▫Explorers

▫Tourists

Bentuk Penyajian Informasi

•Reports

•Queries

•Analysis (Complex Queries)

•Application

Kubus (Cube)

Kubus (Cube) dalam OLAP merupakan sebuah array dari data suatu dimensi atau lebih.

Disebut Hypercube apabila terdiri dari lebih dari tiga dimensi.

Operations of Cube

•Slicing

•Dicing

•Drill-downand Roll-up

•Pivoting

Slicing

•Proses penyaringan subset data dari sebuah cube.

•Contoh : manajer ingin menampilkan data PNS yang lulus pada tahun 1997 dari semua kota.

Dicing

•Setelah melakukan proses slicing, kita dapat menyaring subset data yang disebut dicing.

•Contoh : manajer ingin menampilkan data PNS yang lulus SMA pada tahun 1997 dari semua kota.

Drill-up and Drill Down

Drill-down--> Menampilkan data pada level yang lebih detil.

Drill-up--> Menampilkan data pada level yang lebih umum.

Pivoting

Pivoting dapat kita lakukan dengan menggeser field dimensi yang kita ingin kan pada field page, coloumn,atau row.

OLAP Feature

•Multi-dimensional views of data.

•Support for complex calculations.

•Time intelligence.

OLAP Function

•Trend analysis and detection

•Key ratio indicator measurement and tracking

•Drill down analysis

•Problem monitoring

•Competitive analysis

•Key performance indicator monitoring

OLAP Models

Model-model dari OLAP yang ada dan dipakai dalam pemrosesan data menggunakan OLAP.

OLAP Model

OLAP memiliki 3variasi model :

•ROLAP Model : Relational Online Analysis Processing.

•MOLAP Model : Multidimentional Online Analysis Processing.

•HOLAP Model ; Hybrid OLAP, gabungan antara ROLAP dan MOLAP.

ROLAP Model

Data disimpan sebagai baris dan kolom dalam bentuk relasional.

MOLAP Model

Data yang digunakan untuk analisis disimpan dalam multidimensi database.

HOLAP

•Hybrid OLAP, adalah model OLAP yang merupakan gabungan dari model ROLAP dan MOLAP.

•Menggunakan Relational DB untuk menyimpan detil data.

•Menggunakan Multidimensional untuk aggregasi-nya.

HOLAP (cont.)

•HOLAP lahir untuk menambal kelemahan dari ROLAP dan MOLAP, yang diantaranya:

▫Performa ROLAP yang buruk karena setiap cache sudah tidak terpakai, aggregasi dilakukan ulang.

▫Storadge MOLAP yang terbatas untuk menyimpan data yang lebih detil.

Sumber

•Poniah, P. “DATA WAREHOUSE FUNDAMENTALS : A Comprehensive Guide for IT       Professionals”. John Wiley & Sons, Inc. New York : 2001.

•Inmon, WH. “Building the Data Warehouse, 4th Edition”. Willey. New York : 2005.

•http://zara-science.blogspot.com/2011/06/karakteristik-olap.html. Diakses pada 8 Desember 2013.

•http://en.wikipedia.org/wiki/OLAP_cube. Diakses pada 8 Desember 2013.

•http://ecomputernotes.com/database-system/adv-database/online-analytical-processing. Diakses pada 8 Desember 2013.

                      Data  Transformation  Services  ( DTS )  

Nama   : L.Efendi

NIM    : 11.41010.0211

Tugas  : Pertemuan 9 dan 10  [ MK Data Warehouse ]

DTS adalah :

•    Seperangkat piranti / Tools yang digunakan untuk import, export dan transformasi data antara satu atau lebih sumber data

•       Memindahkan data dari database OLTP ke Data Warehouse sesuai dengan tujuannya.

                                   

Transformasi data

•       Proses Merubah bentuk data sehingga data siap untuk di analisis.

•       proses menyaring dan merubah data mentah (raw data) hasil ekstraksi sesuai dengan kaidah bisnis yang berlaku.

Langkah-langkah Transformasi data

—  Memetakan data input dari skema data aslinya ke skema data warehouse.

—  Melakukan konversi tipe data atau format data.

—  Penghitungan nilai-nilai derivat atau mula-mula.

—  Penghitungan nilai-nilai agregat atau rangkuman.

—  Pemeriksaan integritas referensi data.

—  Pengisian nilai-nilai kosong dengan nilai default.

—  Penggabungan data.

Data Transformation Services (DTS) Pada Microsoft SQL Server 2000

Menyediakan kumpulan graphical tools dan objek pemrograman yang berfungsi untuk :

—  Perpindahan data

—  Ekstrak data

—  Transformasi

—  penggabungan data

—  hubungan berupa ODBC (Open Database Connectivity)

Tools untuk menciptakan dan mengeksekusi DTS packages

—  Import/Export Wizard

Untuk membangun DTS packages sederhana, mensupport perpindahan data dan transformasi sederhana.

—  DTS Designer

Mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.

Tools untuk menciptakan dan mengeksekusi DTS packages (cont’d)

—  DTSRun

Merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.

—  DTSRunUI

Merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

—  SQLAgent

Bukan merupakan aplikasi DTS; meskipun demikian dapat juga digunakan oleh DTS untuk menjadwalkan pengeksekusian dari package.

Daftar Pustaka

1. Gunawan, Arief Hamdani. 2004, Data Transformation Services (DTS) Pada Microsoft SQL Server 2000 , [online], (http://www.telkomrdcmedia.com/index.php?ch=8&lang=ind&s=3a48581d884be9d9516159f227586120&n=233)
2. http://thesis.binus.ac.id/Doc/Bab2HTML/2008100363SIBab2/page29.html
3. http://informatika.web.id/category/data-warehouse

Data  Quality

Nama   : L.Efendi

NIM    : 11.41010.0211

Tugas  : Pertemuan 8  [ MK Data Warehouse ]

Data Quality Critical

Why Is Data Quality So Critical?

•       Meningkatkan kepercayaan diri dalam pengambilan keputusan

•       Memperbaiki pelayanan kpd Customer

•       Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi pelayanan

•       Mengurangi resiko dari keputusan yang sifatnya berbahaya

•       Mengurangi biaya, terutama untuk pemasaran,

•       Mengembangkan strategi untuk pembuatan keputusan,

•       Meningkatkan produktivitas dengan memangkas beberapa proses

•       Menghindari efek komplikasi dari data yang terkontaminasi

Data Accuracy VS Data Quality

Data Accuracy

•       Hal spesifik dari entitas secara akurat menggambarkan kejadian tersebut pada entitas

•       Elemen data menentukan syarat dari teknologi database

•       Elemen data memenuhi kepada validation constraints

•       Elemen data individu mempunyai tipe data yang benar

•       Secara tradisional, berhubungan dengan sistem operasional

Data Quality

•       Data item benar2 cocok untuk tujuan yang mana telah ditentukan oleh pengguna bisnis

•       Konsep yang lebih luas berdasarkan spesifikasi bisnis dari perusahaan

•       Berhubungan tidak hanya dengan satu elemen data, tetapi untuk sistem secara keseluruhan

•       Bentuk dan isi elemen data yang konsisten di seluruh sistem

•       Pada dasarnya diperlukan sebuah data warehouse perusahaan secara luas untuk pengguna bisnis

Indikator Data Quality

•       Accuracy = data yang tersimpan nilainya benar (nama cocok dengan alamatnya)

•  Domain Integrity = nilai attributnya sesuai batasan yang diperkenankan (nilai attribut laki dan perempuan)

•       Data Type = Nilai data disimpan dalam tipe data yang sesuai (data nama disimpan dengan tipe text)

•       Consistency = nilai sebuah field data akan sama semua dalam berbagai berkas (field produk A dgn kode 123, akan selalu sama kodenya di setiap berkas lain)

•       Redundancy = tidak boleh ada data yang sama disimpan di tempat yang berbeda dalam satu sistem

•       Completeness = Tidak ada nilai atribut salah / hilang yang diberikan dalam sistem

•       Duplication = tidak ada baris record yang sama dalam satu sistem

•   Conformance To Business Rules = sesuai dengan aturan bisnis yang berlaku (di bank è loan balance = + or 0)

•   Structural Definiteness = dapat didefinisikan strukturnya (nama = firstname + middlename + lastname

•       Data Anomaly = sebuah field harus digunakan untuk tujuan yang telah ditentukan

•       Clarity= Penamaan elemen data agar mudah dimengerti oleh user

•       Timely= Data harus bersifat aktual

•     Usefulness = Setiap elemen data dalam data warehouse harus memuaskan banyak kebutuhan dari koleksi user

Benefit of Improved Data Quality

•       Analysis with Timely Information

•       Better Cutomer Service

•       Newer Opportunities

•       Reduced Cost and Risk

•       Improved Productivity

•       Reliable Strategic Decision Making

Data Quality Challenges

1. Sources of Data Pollution
2. Validation Names and Addresses
3. Costs of Poor Data Quality

Source of Data Pollution

•       System Conversions

•       Data Aging

•       Heterogeneous System Integration

•       Poor database design

•       Incomplete information at data entry

•       Input errors

•       Internationalzation / Localization

•       Fraud

•       Lack of Policies

Validation Names and Addresses

Masalah yang melekat ketika menginputkan nama-nama dan alamat-alamat :

•       No unique key

•       Many names on one lines

•       One name on two lines

•       Name and the address in a single line

•       Personal and company are mixed

•       Different addresses for the same person

•       Different names and spelling for the same customer

Costs of poor Data Quality

•       Biaya implementasi konsep Data Quality mahal dan membutuhkan usaha yang besar

Data Quality Tools

•       Berisi algoritma untuk  mengurai, mengubah, mencocokan, mengkonsolidasi, dan memperbaiki data

•       Ada 2 cara untuk melakukan pembersihan data agar dapat meningkatkan kualitas data :

1.       Data Error Discovery -> to identify inaccuracies and inconsistencies

2.       Data Correction -> to help fix the corrupt data

Data Error Discovery meliputi fungsi :

•       Mengidentifikasi duplikasi record dengan cepat dan mudah

•       Mengidentifikasi item data yang nilai-nilainya di luar jarak dari nilai legal domain

•       Menemukan inkonsistensi data

•       Memeriksa jarak dari nilai yang diijinkan

•       Mendeteksi inkonsistensi antar item-item data dari sumber yang berbeda

•       Mengijinkan user untuk mengidentifikasi dan mengukur masalah kualitas data

•       Memantau tren kualitas data dari waktu ke waktu

•       Melaporkan kepada user tentang kualitas data yang digunakan untuk analisis

•       Memperbaiki masalah dari referential integrity dari DBMS

Data Correction meliputi fungsi :

•       Menormalkan inkonsistensi data.

•       Meningkatkan penggabungan data dari sumber data yang berbeda.

•       Mengelompokkan dan menghubungkan data data customer yang  memiliki “rumah” yang sama.

•       Memberikan pengukuran bagi kualitas data.

•       Memvalidasi nilai – nilai yang diijinkan.

Data Quality Initiatives

Pertanyaan dasar sebelum berinisiatif menerapkan Data Cleansing :

•       Which data to cleanse?

•       Where to cleanse?

•       How to cleanse?

•       How to discover the extent of data pollution?

•       Setting up a Data Quality Framework

Kesimpulan

•   Data Quality adalah hal yang sgt kritis karena dapat meningkatkan kepercayaan diri data, memungkinkan pelayanan customer menjadi lebih baik, meningkatkan pengambilan keputusan stratejik, dan mengurangi risiko dari keputusan rawan.

•     Dimensi Data Quality meliputi accuracy, domain integrity, consistency, completeness, structural definiteness, clarity, dll.

•       Data Quality dihasilkan dari berbagai sumber dalam sebuah data warehouse dan berbagai sumber polusi yang mengintensifkan tantangan yang dihadapi ketika mencoba untuk membersihkan data.

•       Buruknya kualitas data nama dan alamat memberikan keprihatinan serius kepada organisasi. Daerah ini adalah salah satu tantangan terbesar dari Data Quality.

Perancangan Data Logis dan Fisik

Nama   : L.Efendi

NIM    : 11.41010.0211

Tugas  : Pertemuan 6  [ MK Data Warehouse ]

Data logis

            Adalah bagaimana database dilihat dari tingkatan user.            
  

Data fisik

           Adalah bagaimana suatu data tersimpan secara fisik pada perangkat keras penyimpan (storage).

 >  OLTP (Online Transaction Processing)

 >  OLAP (Online Analytical Processing)

                      

Data Warehouse

Perancangan OLTP

     Data Logic Design

           Langkah:

              > ERD

              > Normalisasi

CDM

PDM

Perancangan Data Warehouse

      Data Logic Design

           Langkah:

               > ERD

               > Denormalisasi

CDM - Perpustakaan

Data Physical Design

   Langkah:

         > Pemodelan dimensional

Data physical design - Star Schema

Perancangan OLAP

     Data Logic Design

            Langkah:

                  > ERD

                  > Denormalisasi

Kesimpulan

Daftar Pustaka :

• ¢  http://giriayoga.com/2011/03/16/perbedaan-oltp-dan-olap/
• ¢  http://www.globalkomputer.com/Bahasan/Database/Topik/WareHouse-n-OLAP.html
• ¢ http://edukasi.kompasiana.com/2013/05/15/oltp-etl-olap-dan-datawarehouse-apa-itu-556127.html
• ¢  http://wawanagung.blogspot.com/2011/01/olap-on-line-analitycal-processing.html
• ¢  http://fsolihin.wordpress.com/bahanajar/data-warehouse/
• ¢  http://ananta-sena.blogspot.com/2010/03/data-warehouse-olap-oltp-data-mining.html
• ¢  http://world-itcomp.blogspot.com/2012/01/data-warehouse-vs-oltp.html
• ¢  http://terrymbienugraha.blogspot.com/2013/04/perancangan-basis-data.html
• ¢http://edukasi.kompasiana.com/2013/05/14/oltp-etl-olap-dan-datawarehouse-apa itu555744.html
• ¢  http://docs.oracle.com/cd/E11882_01/server.112/e25554/logical.htm
• ¢  http://adiwira058.wordpress.com/2008/12/09/perbedaan-oltp-dengan-olap/
• ¢  http://erick1719.wordpress.com/2010/11/05/perbedaan-data-warehouse-dengan-oltp/
• ¢  http://en.wikipedia.org/wiki/Database_design
• ¢http://blog.infoadvisors.com/index.php/articles/what-are-conceptual-logical-and-physical-datamodels/
• ¢  http://informatika.web.id/metodologi-perancangan-basis-data.htm
• ¢  http://chievan.blogspot.com/2010/04/rancangan-database-warehouse.html