DATABASE  ADMINISTRATION

Nama   : L.Efendi

NIM    : 11.41010.0211

Tugas   : Pertemuan 1 [ MK  Database Administration ]

Tujuan

•         Memilih DBMS yang tepat untuk sebuah organisasi

•         Menjaga ketersediaan dan keamanan database

•         Management database performance

•         Implementasi backup dan recovery

•         Disaster planning Database

•         Database Connectivity

DATABASE ADMINISTRATOR

          Orang yang memastikan fungsi operasional aplikasi dan database organisasi  dapat berjalan secara efisien

            Database administrator (DBA) harus diposisikan dalam manajemen menengah puncak dalam sebuah organisasi. Karena DBAsangat bertanggung jawab secara teknis dan menjalankan tugas tugas seperti yang tersebut dibawah ini :

•           Medisain dan Mengorganisasi

•           Data Definition

•           Fisik Struktur

•           Data Dictionary / Direktori

•           User Interface

•           Penyediaan dokumentasi

•           Berhubungan dengan Pengguna / Education

•           GUI

•           Keamanan

•           Operasi Normal

•           Kegagalan Kondisi

•           Kompatibilitas dengan non-DBMS

•           Uji Database

•           Kinerja Sistem

•           Timing

•           Performance tuning

Database

           Database atau basis data adalah kumpulan data yang disimpan secara sistematis di dalam komputer dan dapat diolah atau dimanipulasi menggunakan perangkat lunak (program aplikasi) untuk menghasilkan informasi. 

            DBMS merupakan sistem perangkat lunak yang memungkinkan user untuk memelihara, mengontrol, dan mengakses data secara praktis dan efisien.

            Tujuan utama dari DBMS adalah untuk memberikan tinjauan abstrak data kepada user (pengguna). Jadi sistem menyembunyikan informasi tentang bagaimana data disimpan, dipelihara, dan tetap dapat diambil (akses) secara efisien. 

Dilihat dari jenisnya, basis data dibagi menjadi dua yaitu:

• Basis data flat-file. Basis data flat-file ideal untuk data berukuran kecil dan dapat dirubah dengan mudah. 
• Basis data relasional. Basis data ini mempunyai struktur yang lebih logis terkait cara penyimpanan. 

                       

RDBMS [ Relation DataBase Management System ]

            Basis data merupakan kumpulan data yang saling berhubungan satu dengan yang lainnya yang diaorganisasikan sesuai struktur tertentu dan disimpan dengan baik.  Untuk mendapatkan informasi yang berguna dari kumpulan data maka diperlukan suatu perangkat lunak (software) untuk memanipulasi data sehingga mendapatkan informasi yang berguna. Database Manajement System (DBMS) merupakan software yang digunakan untuk membangun sebuah sistem basis data yang berbasis komputerisasi. DBMS membantu dalam pemeliharaan dan pengolahan kumpulan data dalam jumlah besar. Sehingga dengan menggunakan DBMS tidak menimbulkan kekacauan dan dapat digunakan oleh pengguna sesuai dengan kebutuhan.

            DBMS merupakan perantara bagi pemakai dengan basis data. Untuk merinteraksi dengan DBMS (basis data) menggunakan bahasa basis data yang telah ditentukan oleh perusahaan DBMS. Bahasa basis data biasanya terdiri atas perintah-perintah yang di formulasikan sehingga perintah tersebut akan diproses olah DBMS. Perintah-perintah biasanya ditentukan oleh user.

Ada 2 bahasa basis data:

1. Data Definition Language (DDL)

DDL digunakan untuk menggambarkan desain basis data secara keseluruhan. DDL digunakan untuk membuat tabel baru, menuat indeks, ataupun mengubah tabel. Hasil kompilasi DDL disimpan di kamus data.

2. Data Manipulation Language (DML)

DML digunakan untuk melakukan menipulasi dan pengambilan data pada suatu basis data seperti penambahan data baru ke dalam basis data, menghapus data dari suatu basis data dan pengubahan data di suatu basis data.

Dalam pembuatan DBMS diperlukan beberapa komponen fungsional penyusunnya sebagai berikut:

1.  DML Precompiler : mengkonversi pernyataan-pernyataan DML yang dimasukkan di dalam program aplikasi ke dalam pemanggilan prosedur normal di dalam bahasa induknya. Procompiler harus berinteraksi dengan query processor untuk membuat kode-kode yang diperlukan.

2.  Query Processor : menterjemahkan pernyataan-pernyataan bahasa query ke dalam instruksi-instruksi low-level yang dimengerti oleh database manager.

3.  DDL Compiler : mengkonversi pernyataan DDL ke dalam sekumpulan table yang mengandung metadata atau “data mengenai data”

4.  Database Manager : menyediakan interface antara data low-level yang disimpan didalam basisdata dengan program-program aplikasi dan queries yang dikirimkan ke system.

          Salah satu tujuan dari DBMS adalah memberikan tampilan kepada pengguna dalam hal menyampaikan data. Untuk itu dalam DBMS terdapat Level Abstraksi Data. Level ini berguna untuk menyembunyikan detail atau kompleksitasnya basis data seperti bagaimana data disempan dan diolah. Sehingga pengguna hanya melihat tampilan yag dibutuhkan oleh pengguna.

1. Level fisik

Level fisik merupakan level yang paling bawah. Pada level ini memperlihatkan bagaimana sesungguhnya data disimpan.

     2. Level Konseptual

Level ini menggambarkan bagaimana sebenarnya basis dta disimpan dan berhubungan dengan data lainnya

     3. Level View

Level abstaraksi ini hanya menunjukkan sebagian dari basis data.  Pada umumnya pengguna tidak melibatkan secara langsung sehingga pengguna hanya melihat data sesuai dengan yang dibutuhkan

 Struktur File Database

1. Data adalah satu satuan informasi yang akan diolah, dimana sebelum diolah dikumpulkan di dalam suatu file database. Pengumpulan data dilakukan secara sistematis menurut struktur file database tersebut.
2. RECORD adalah data yang isinya merupakan satu kesatuan seperti Nama, Alamat, Nomor Telepon. Setiap keterangan yang mencakup Nama, Alamat dan Nomor Telepon dinamakan satu record. Dan setiap record diberi nomor urut yang disebut nomor record (Record Number). Ukuran suatu file database ditentukan oleh jumlah record yang tersimpan di dalamnya.
3. FIELD adalah sub bagian dari Record. Dari contoh isi record diatas maka terdiri dari 3 field, yaitu field Nama, field Alamat dan field Nomor Telepon.

Sumber :

•   Mullin, C.S. 2002. Database Administration: The Complete Guide to Practices and Procedures, Addison Wesley.

•         Berzukov, Pablo, 2010, Understanding Database Administration, CreateSpace

•         http://www.termasmedia.com/65-pengertian/69-pengertian-database.html

•       http://plantino.wordpress.com/2013/03/18/pengertian-relation-database-management-system-rdbms/  [ Diakses 18 Maret 2013]

•         http://vriyan.wordpress.com/2011/01/07/database/ [ Diakses 7 Januari 2011]

•         http://yusronz.wordpress.com/2011/02/28/pengertian-dba/ [ Diakses 28 Februari 2011]

OLAP (On-Line Analytical Processing)

Nama   : L.Efendi
NIM    : 11.41010.0211
Tugas  : Pertemuan 11  [ MK Data Warehouse ]

Apa itu OLAP ?

        Suatu teknologi perangkat lunak yang memungkinkan seorang analis, manajer dan eksekutif untuk mendapatkan informasi secara cepat, konsisten, interaktif, serta akses dalam berbagai sudut pandang informasi yang mungkin telah mengalami transformasi data untuk memunculkan dimensi fakta dari perusahaan sesuai dengan pemahaman dan kebutuhan pengguna (user).

Information Delivery

         Dalam penyampaian dan penyajian informasi yang baik kita harus mengetahui subjek informasi yang disajikan dan untuk siapa informasi itu disajikan. Secara umum, ada beberapa kelompok karakteristik pengguna informasi. 

Antara lain:

▫Operators

▫Farmers

▫Miners

▫Explorers

▫Tourists

Bentuk Penyajian Informasi

•Reports

•Queries

•Analysis (Complex Queries)

•Application

Kubus (Cube)

Kubus (Cube) dalam OLAP merupakan sebuah array dari data suatu dimensi atau lebih.

Disebut Hypercube apabila terdiri dari lebih dari tiga dimensi.

Operations of Cube

•Slicing

•Dicing

•Drill-downand Roll-up

•Pivoting

Slicing

•Proses penyaringan subset data dari sebuah cube.

•Contoh : manajer ingin menampilkan data PNS yang lulus pada tahun 1997 dari semua kota.

Dicing

•Setelah melakukan proses slicing, kita dapat menyaring subset data yang disebut dicing.

•Contoh : manajer ingin menampilkan data PNS yang lulus SMA pada tahun 1997 dari semua kota.

Drill-up and Drill Down

Drill-down--> Menampilkan data pada level yang lebih detil.

Drill-up--> Menampilkan data pada level yang lebih umum.

Pivoting

Pivoting dapat kita lakukan dengan menggeser field dimensi yang kita ingin kan pada field page, coloumn,atau row.

OLAP Feature

•Multi-dimensional views of data.

•Support for complex calculations.

•Time intelligence.

OLAP Function

•Trend analysis and detection

•Key ratio indicator measurement and tracking

•Drill down analysis

•Problem monitoring

•Competitive analysis

•Key performance indicator monitoring

OLAP Models

Model-model dari OLAP yang ada dan dipakai dalam pemrosesan data menggunakan OLAP.

OLAP Model

OLAP memiliki 3variasi model :

•ROLAP Model : Relational Online Analysis Processing.

•MOLAP Model : Multidimentional Online Analysis Processing.

•HOLAP Model ; Hybrid OLAP, gabungan antara ROLAP dan MOLAP.

ROLAP Model

Data disimpan sebagai baris dan kolom dalam bentuk relasional.

MOLAP Model

Data yang digunakan untuk analisis disimpan dalam multidimensi database.

HOLAP

•Hybrid OLAP, adalah model OLAP yang merupakan gabungan dari model ROLAP dan MOLAP.

•Menggunakan Relational DB untuk menyimpan detil data.

•Menggunakan Multidimensional untuk aggregasi-nya.

HOLAP (cont.)

•HOLAP lahir untuk menambal kelemahan dari ROLAP dan MOLAP, yang diantaranya:

▫Performa ROLAP yang buruk karena setiap cache sudah tidak terpakai, aggregasi dilakukan ulang.

▫Storadge MOLAP yang terbatas untuk menyimpan data yang lebih detil.

Sumber

•Poniah, P. “DATA WAREHOUSE FUNDAMENTALS : A Comprehensive Guide for IT       Professionals”. John Wiley & Sons, Inc. New York : 2001.

•Inmon, WH. “Building the Data Warehouse, 4th Edition”. Willey. New York : 2005.

•http://zara-science.blogspot.com/2011/06/karakteristik-olap.html. Diakses pada 8 Desember 2013.

•http://en.wikipedia.org/wiki/OLAP_cube. Diakses pada 8 Desember 2013.

•http://ecomputernotes.com/database-system/adv-database/online-analytical-processing. Diakses pada 8 Desember 2013.

                      Data  Transformation  Services  ( DTS )  

Nama   : L.Efendi

NIM    : 11.41010.0211

Tugas  : Pertemuan 9 dan 10  [ MK Data Warehouse ]

DTS adalah :

•    Seperangkat piranti / Tools yang digunakan untuk import, export dan transformasi data antara satu atau lebih sumber data

•       Memindahkan data dari database OLTP ke Data Warehouse sesuai dengan tujuannya.

                                   

Transformasi data

•       Proses Merubah bentuk data sehingga data siap untuk di analisis.

•       proses menyaring dan merubah data mentah (raw data) hasil ekstraksi sesuai dengan kaidah bisnis yang berlaku.

Langkah-langkah Transformasi data

—  Memetakan data input dari skema data aslinya ke skema data warehouse.

—  Melakukan konversi tipe data atau format data.

—  Penghitungan nilai-nilai derivat atau mula-mula.

—  Penghitungan nilai-nilai agregat atau rangkuman.

—  Pemeriksaan integritas referensi data.

—  Pengisian nilai-nilai kosong dengan nilai default.

—  Penggabungan data.

Data Transformation Services (DTS) Pada Microsoft SQL Server 2000

Menyediakan kumpulan graphical tools dan objek pemrograman yang berfungsi untuk :

—  Perpindahan data

—  Ekstrak data

—  Transformasi

—  penggabungan data

—  hubungan berupa ODBC (Open Database Connectivity)

Tools untuk menciptakan dan mengeksekusi DTS packages

—  Import/Export Wizard

Untuk membangun DTS packages sederhana, mensupport perpindahan data dan transformasi sederhana.

—  DTS Designer

Mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.

Tools untuk menciptakan dan mengeksekusi DTS packages (cont’d)

—  DTSRun

Merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.

—  DTSRunUI

Merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

—  SQLAgent

Bukan merupakan aplikasi DTS; meskipun demikian dapat juga digunakan oleh DTS untuk menjadwalkan pengeksekusian dari package.

Daftar Pustaka

1. Gunawan, Arief Hamdani. 2004, Data Transformation Services (DTS) Pada Microsoft SQL Server 2000 , [online], (http://www.telkomrdcmedia.com/index.php?ch=8&lang=ind&s=3a48581d884be9d9516159f227586120&n=233)
2. http://thesis.binus.ac.id/Doc/Bab2HTML/2008100363SIBab2/page29.html
3. http://informatika.web.id/category/data-warehouse

Data  Quality

Nama   : L.Efendi

NIM    : 11.41010.0211

Tugas  : Pertemuan 8  [ MK Data Warehouse ]

Data Quality Critical

Why Is Data Quality So Critical?

•       Meningkatkan kepercayaan diri dalam pengambilan keputusan

•       Memperbaiki pelayanan kpd Customer

•       Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi pelayanan

•       Mengurangi resiko dari keputusan yang sifatnya berbahaya

•       Mengurangi biaya, terutama untuk pemasaran,

•       Mengembangkan strategi untuk pembuatan keputusan,

•       Meningkatkan produktivitas dengan memangkas beberapa proses

•       Menghindari efek komplikasi dari data yang terkontaminasi

Data Accuracy VS Data Quality

Data Accuracy

•       Hal spesifik dari entitas secara akurat menggambarkan kejadian tersebut pada entitas

•       Elemen data menentukan syarat dari teknologi database

•       Elemen data memenuhi kepada validation constraints

•       Elemen data individu mempunyai tipe data yang benar

•       Secara tradisional, berhubungan dengan sistem operasional

Data Quality

•       Data item benar2 cocok untuk tujuan yang mana telah ditentukan oleh pengguna bisnis

•       Konsep yang lebih luas berdasarkan spesifikasi bisnis dari perusahaan

•       Berhubungan tidak hanya dengan satu elemen data, tetapi untuk sistem secara keseluruhan

•       Bentuk dan isi elemen data yang konsisten di seluruh sistem

•       Pada dasarnya diperlukan sebuah data warehouse perusahaan secara luas untuk pengguna bisnis

Indikator Data Quality

•       Accuracy = data yang tersimpan nilainya benar (nama cocok dengan alamatnya)

•  Domain Integrity = nilai attributnya sesuai batasan yang diperkenankan (nilai attribut laki dan perempuan)

•       Data Type = Nilai data disimpan dalam tipe data yang sesuai (data nama disimpan dengan tipe text)

•       Consistency = nilai sebuah field data akan sama semua dalam berbagai berkas (field produk A dgn kode 123, akan selalu sama kodenya di setiap berkas lain)

•       Redundancy = tidak boleh ada data yang sama disimpan di tempat yang berbeda dalam satu sistem

•       Completeness = Tidak ada nilai atribut salah / hilang yang diberikan dalam sistem

•       Duplication = tidak ada baris record yang sama dalam satu sistem

•   Conformance To Business Rules = sesuai dengan aturan bisnis yang berlaku (di bank è loan balance = + or 0)

•   Structural Definiteness = dapat didefinisikan strukturnya (nama = firstname + middlename + lastname

•       Data Anomaly = sebuah field harus digunakan untuk tujuan yang telah ditentukan

•       Clarity= Penamaan elemen data agar mudah dimengerti oleh user

•       Timely= Data harus bersifat aktual

•     Usefulness = Setiap elemen data dalam data warehouse harus memuaskan banyak kebutuhan dari koleksi user

Benefit of Improved Data Quality

•       Analysis with Timely Information

•       Better Cutomer Service

•       Newer Opportunities

•       Reduced Cost and Risk

•       Improved Productivity

•       Reliable Strategic Decision Making

Data Quality Challenges

1. Sources of Data Pollution
2. Validation Names and Addresses
3. Costs of Poor Data Quality

Source of Data Pollution

•       System Conversions

•       Data Aging

•       Heterogeneous System Integration

•       Poor database design

•       Incomplete information at data entry

•       Input errors

•       Internationalzation / Localization

•       Fraud

•       Lack of Policies

Validation Names and Addresses

Masalah yang melekat ketika menginputkan nama-nama dan alamat-alamat :

•       No unique key

•       Many names on one lines

•       One name on two lines

•       Name and the address in a single line

•       Personal and company are mixed

•       Different addresses for the same person

•       Different names and spelling for the same customer

Costs of poor Data Quality

•       Biaya implementasi konsep Data Quality mahal dan membutuhkan usaha yang besar

Data Quality Tools

•       Berisi algoritma untuk  mengurai, mengubah, mencocokan, mengkonsolidasi, dan memperbaiki data

•       Ada 2 cara untuk melakukan pembersihan data agar dapat meningkatkan kualitas data :

1.       Data Error Discovery -> to identify inaccuracies and inconsistencies

2.       Data Correction -> to help fix the corrupt data

Data Error Discovery meliputi fungsi :

•       Mengidentifikasi duplikasi record dengan cepat dan mudah

•       Mengidentifikasi item data yang nilai-nilainya di luar jarak dari nilai legal domain

•       Menemukan inkonsistensi data

•       Memeriksa jarak dari nilai yang diijinkan

•       Mendeteksi inkonsistensi antar item-item data dari sumber yang berbeda

•       Mengijinkan user untuk mengidentifikasi dan mengukur masalah kualitas data

•       Memantau tren kualitas data dari waktu ke waktu

•       Melaporkan kepada user tentang kualitas data yang digunakan untuk analisis

•       Memperbaiki masalah dari referential integrity dari DBMS

Data Correction meliputi fungsi :

•       Menormalkan inkonsistensi data.

•       Meningkatkan penggabungan data dari sumber data yang berbeda.

•       Mengelompokkan dan menghubungkan data data customer yang  memiliki “rumah” yang sama.

•       Memberikan pengukuran bagi kualitas data.

•       Memvalidasi nilai – nilai yang diijinkan.

Data Quality Initiatives

Pertanyaan dasar sebelum berinisiatif menerapkan Data Cleansing :

•       Which data to cleanse?

•       Where to cleanse?

•       How to cleanse?

•       How to discover the extent of data pollution?

•       Setting up a Data Quality Framework

Kesimpulan

•   Data Quality adalah hal yang sgt kritis karena dapat meningkatkan kepercayaan diri data, memungkinkan pelayanan customer menjadi lebih baik, meningkatkan pengambilan keputusan stratejik, dan mengurangi risiko dari keputusan rawan.

•     Dimensi Data Quality meliputi accuracy, domain integrity, consistency, completeness, structural definiteness, clarity, dll.

•       Data Quality dihasilkan dari berbagai sumber dalam sebuah data warehouse dan berbagai sumber polusi yang mengintensifkan tantangan yang dihadapi ketika mencoba untuk membersihkan data.

•       Buruknya kualitas data nama dan alamat memberikan keprihatinan serius kepada organisasi. Daerah ini adalah salah satu tantangan terbesar dari Data Quality.