Senin, 16 September 2013

OLTP, OLAP dan Peramalan #DW_Part_2

Kalo kita bicara tentang database, terlebih data warehouse maka juga akan membicarakan tentang apa itu yang dimasksud dengan OLTP dan OLAP.


Online Transaction Processing atau biasa disingkat dengan OLTP adalah sistem yang berorientasi proses yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan (Nandang, 2004). Dimana OLTP suatu proses yang berfungsi sebagai operasi harian dan datanya bisa di insert, update, atau delete. Semisal seperti kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya.
Sedangkan OLAP (Online Analytical Processing) yang merupakan bagian dari Business Intelligencey yang berguna untuk menyediakan laporan analisis, seperti penjualan, marketing, BPM (Business Process Management), budgeting, forecasting, keuangan dan sebagainya. Model multidimensi, yang mengijinkan query analisis yang kompleks dengan kecepatan eksekusi yang tinggi (PC Media, 2007). Data pada OLAP disajikan biasanya merupakan suatu fungsi agregasi seperti summary, max, min average dan lain-lain. Oleh karena itu OLAP fungsinya lebih diutamakan dalam mendukung pengambilan keputusan dalam data warehouse sehingga data-data di OLAP bukanlah data yang bisa di-edit, di-ganti atau di-hapus seperti pada OLTP. Dan OLAP biasanya digunakan oleh manager dalam mencari suatu keputusan.
Tabel berikut menyajikan perbedaan utama antara OLTP dan desain sistem OLAP :
OLTP System Online Transaction Processing (Operational System) OLAP System Online Analytical Processing (Data Warehouse)
Source of data Sumber datanya adalah asli Data berasal dari berbagai OLTP Database
Purpose of data Digunakan untuk mengontrol dan menjalankan tugas dari bisnis Untuk membantu perencanaan, pemecahan masalah, dan mendukung keputusan
What the data Menunjukkan gambaran dari proses bisnis yang sedang berlangsung Tampilan multidimensi dari berbagai jenis kegiatan bisnis
Inserts and Updates Memperpendek dan mempercepat insert dan memperbarui data yang dilakukan oleh pengguna akhir Secara berkala running lebih lama tuntuk me-refresh data
Queries Sangat cepat Query sering rumit, sehingga menyebabkan agregasi
Processing Speed Relatif kecil jika data historis diarsipkan Tergantung pada jumlah data yang terlibat, merefresh sekumpulan data dan query yang rumit dapat menyita waktu, kecepatan query dapat ditingkatkan dengan menciptakan indeks
Space Requirements Lebih dinormalisasikan dengan banyak tabel Lebih besar karena adanya struktur agregasi dan data history; membutuhkan indeks
Database Design Data operasional sangat penting untuk menjalankan bisanis, kehilangan data Biasanya dinormalisasikan dengan sedikit tabel; menggunakan bintang
Backup and Recovery Mungkin memerluan kerugian keuangan yang signifikan dan tanggung jawab Backup secara teratur, beberapa lingkungan tertentu mungkin mempertimbangkan reload data OLTP sebagai metode pemulihan

Dalam mencari sebuah keputusan pasti ada suatu metode untuk melakukan pengambilan keputusan tersebut untuk kedepannya yang baik, contohnya adalah metode peramalan.  Ada dua metode peramalan yang biasa dipakai, metode forecasting dan metode backcasting.

 
Banyak perusahaan melakukan sebuah metode forecasting atau biasa disebut dengan peramalan. Teknik peramalan ini digunakan untuk penentuan jadwal produksi dimasa depan. Beberapa perusahaan banyak menggunakan metode forecasting ini, dikarenakan ketidakpastian dari masa depan yang selalu berubah-ubah. Karena metode forecasting ini bekerja dengan cara melihat sebuah history dalam perusahaan, jadi metode forecasting ini adalah metode yang membuka masalah atau problem dalam perusahaan di masa lalunya demi perbaikan perusahaan di masa depannya.
Sedangkan, metode backcasting adalah kebalikan dari metode forecasting, dimana metode back casting ini dimulai dari prediksi masalah masa yang akan datang untuk dibuat sebuah keputusan di masa saat ini.


Sumber :
http://datawarehouse4u.info/OLTP-vs-OLAP.html
http://fe.uajy.net/fs/as/?page_id=7
http://adiwira058.wordpress.com/2008/12/09/perbedaan-oltp-dengan-olap/
http://en.wikipedia.org/wiki/Backcasting

Minggu, 08 September 2013

Data Warehouse #DW_Part_1


Data warehouse atau disebut dengan gudang data adalah database yang digunakan untuk pelaporan dan analisa data. Data warehouse merupakan repositori pusat data yang dibuat dengan mengintegrasikan data, dari satu atau lebih dari sumber yang berbeda. saat ini data warehouse digunakan untuk menyimpan sata historis dan untuk membuat laporan terupdate sebagai laporan manajemen seperti perbandingan tahunan.

Definisi dari data warehouse berfokus pada penyimpanan data. Sumber utama data dibersihkan, diubah, katalog dan dibuat tersedia untuk digunakan oleh para manajer dan profesional bisnis lainnya untuk penambangan data, pengolahan analisis online, riset pasar dan mendukung keputusan (Marakas & O'Brien 2009).



Data warehouse dapat dibagi lagi menjadi data mart untuk meningkatkan inerja dan kemudahan penggunaan di area tertentu. Dimana data mart merupakan gudang data kecil yang difokuskan pada wilayah tertentu yang menarik. atau dengan cara lain, pada sebuah oraganisasi dapat membuat sebuah satu atau lebih data mart sebagai langkah pertama menuju sebuah gudang data perusahaan yang lebih besar dan lebih kompleks.


Karakteristik data warehouse menurut Inmon, yaitu :
a. Subject Oriented (Berorientasi subject)
Data ware house berorientasi subject artinya data warehouse didesain  untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi, bukan pada proses atau fungsi aplikasi tertentu. Data warehouse diorganisasikan disekitar subject-subject utama dari perusahaan(customer, product, dan sales). Hal ini dikarenakan kebutuhan dari data warehouse untuk menyimpan data-data yang bersifat sebagai penunjang suatu keputusan, dari pada aplikasi yang berorientasi terhadap data. Jadi dengan kata lain, data yang disimpan adalah berorientasi kepada subjek bukan terhadap proses. Secara garis besar perbedaan antara data operasional dan data warehouse dapa di lihat pada tabel berikut ini.

Data Operasiaonal dan Data Warehouse
Data Operasional Data Warehouse
Dirancang berorientasi hanya pasa aplikasi dan fungsi tertentu Dirancang berdasarkan pada subjek-subjek tertentu(utama)
Fokusnya pada desain database dan proses fokusnya pada pemodelan data dan desain data
Berisi rincian atau detail data Berisi data-data history yang akan dipakai dalam proses analisis
Relasi antar table berdasarkan aturan terkini (selalu mengikuti aturan terbaru) Banyak aturan bisnis dapat tersaji antara tabel-tabel

b. Integrated (Terintegrasi)
Data warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegritasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang enunjang keseluruan konsep data warehouse sendiri. Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara seperti konsistensi dalam penanaman variabel, konsisten dalam ukuran variabel, konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data.

c. Time-variant (REntang waktu)
Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data warehouse, kita dapat menggunakan cara antara lain :
  • Pertama menyajikan data warehouse pada rentan waktu tertentu, misalkan antara 5 sampai 10 tahun kedepan.
  • Kedua dengan menggunakan variasi/perbedaan waktu yang disajikan dalam data warehouse baik implicit secara explicit dengan unsur waktu dalam hari, minggu, bulan, dsb. Secara implicit misalkan pada saat data tersebut diduplikasi pada setiap akhir bulan, atau per tiga bulan. Unsur waktu akan tetap ada secara implisit didalam data tersebut.
  • Cara yang ketiga, variasi waktu yang disajikan data warehouse melalui serangkaian snapshot yang panjang. Snapshot merupakan tempilan dari sebagian data tertentu sesuaikeinginan pemakai dari keseluaruhan data yang ada bersifat read-only.
 d. Non-Volatile
Maksut dari non-volatile adalah data pada data warehouse tidak di update secara real time tetapi direfresh dari sistem operasional secara reguler. Data yang baru selalu ditambahkan sebagai suplemen bagi database itu sendiri dari pada sebagai sebuah perubahan, Database tersebut secara kontinyu(berkesinambungan) menyerap data baru ini, kemudian secara incremental(berkembang secara teratur) disatukan dengan data sebelumnya. Berbeda dengan database operasional yang dapat melakukan maintenance terhadap data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses fata warehouse seperti melakukan query atau menampilkan laporan yang dibutuhkan, tidak ada kegiatan uploading data).


Arsitektur Data Warehouse 
Arsitektur yang dimaksut adalah bagaimana data warehouse dibangun, arsitektur tidak ada yang benar dan salah tetapi suatu arsitektur dibangun tergantung situasi dan kondisi. arsitektur data warehouse akan berpengaruh pada penggunaan dan pemeliharaan.
Lapisan-lapisan arsitektur data warehouse :

1. Operasional database layer / lapisan basis data operasional
  • Sumber data(source) untuk data warehose
  • Data lengkap, data hari ke hari
  • Mempunyai nilai saat ini (data berarti)
  • Tingkat kemungkinan sata besar.
2. Data Access Layer / Lapisan akses data
  • Tools untuk mengekstrak, mengubah dan mengambil(load) data.
  • Meliputi karakteristik data warehouse.
 3. Metadata Layer / Lapisan Metadata
  • File data tersimpan / Direktori
  • Lebih detil dari direktori data sistem, maksudnya lebih mendalam dan file data yang tersedia sebelumnya.
  • Ada Petunjuk untuk keseluruhan warehouse dan ada petunjuk data yang dapat diaksesreport khss ntk di analisis.
4. Informational access layer (lapisan akses informasi)
  • Akses data dan juga untuk laporan dan analisis.
  • Tools Business Intelligence masuk ke tahap ini. 

Keuntungan Data Warehouse
  • Data warehouse menyediakan model data yang bervariasi dan tidak tergantung pada satu sumber data saja. Hail ini memudahkan pimpinan perusahaan/manager membuat laporan dan menganalisa.
  • Saat membuka data yang ada dalam data warehouse, data yang tidak konsisten akan diketahui dan secepatnya dirubah. Mendukung proses pembuatan laporan, agar keputusan yang diambil adalah keputusan yang benar sesuai data.
  • Keamanan informasi didalam data warehouse terjamin, karena data warehouse terpisah dengan database operasional.
  • Data warehouse menyediakan berbagai macam bentuk laporan yang terbaru.
Kerugian Data Warehouse
  • Data warehouse tidak cocok untuk data yang tidak terstruktur.
  • Data perlu di extract, diubah, dan di load ke data warehouse, sehingga membutuhkan waktu (delay) kerja untuk data warehouse yang belum terbentuk.
  • Semakin lama masa hidup bisnis yang menggunakan data warehouse, maka semakin banyak biaya yang dikeluarkan oleh perusahaan untuk memodifikasi teknilogi data warehouse tidak berkualitas, sehinggga laporan tidak optimal.


sumber :
http://blog.ub.ac.id/benzeven/2010/11/02/dataware-house/
http://en.wikipedia.org/wiki/Data_warehouse
http://informatika.web.id/category/data-warehouse