Tutorial DQS SQL Server (Data Cleansing & Data Matching) - Mata Kuliah : Kualitas Data, Institut Bisnis Dan Informatika STIKOM Surabaya
Karena disini saya mempunyai knowladge base sendiri yang berisikan data dari Adventure Works.
Untuk deskripsi silahkan boleh dikosongi.
Pada create knowladge base from silahkan pilih data file AdventureWorks/data kalian masing masing.
Setelah file data telah dipilih akan muncul bagian knowledge base yang berisikan base kalian masing masing.
Setelah itu pilih Domain Managemen dan klik button Next.
Apabila sudah selesai akan muncul sebuah tampilan seperti dibawah ini
Setelah itu kita cek domain rulesnya, apakah kita akan memakai domain rules apa tidak.
Contoh pemakaian domain rules pada DQS.
Nah diatas adalah contoh pemakaian domain rules, yang bertujuan untuk mencari value email yang harus sesuai adalah @adventure-works.com.
Apabila kita sudah selesai di domain rules maka kita tekan button Finish
Knowledge Discovery
Setelah melakukan pembuatan data pada knowledge base, kita akan masuk kedalam Knowledge Discovery.
Hal yang harus dilakukan adalah kita tekan nama knowledge base, setelah itu akan muncul pilihan, kita pilih knowledge discovery
Apabila sudah dilakukan akan muncul tampilan awal seperti ini.
Kita ganti data source sesuai pada tipe data kita masing-masing, disini saya memakai file dari excel.
Note: apabila file excel yang anda tidak bisa dibaca/error silahkan ganti format file tersebut ke .csv, cara ini berhasil pada saya
Ini adalah contoh map yang sudah di sesuaikan.
Setelah itu kita tekan button next, dan akan muncul tampilan seperti dibawah ini.
Tekan Button Start, dan proses akan berjalan.
Setelah itu akan muncul hasilnya seperti dibawah.
Setelah itu kita tekan saja button next.
Akan muncul tampilan seperti diatas. Dan kita check apakah ada value yang incorect, Invalid apa tidak. Apabila Selesai, tekan button finish setelah itu publish
Data Cleansing
Setelah itu kita masuk kedalam Data Cleansing.
Pertama-tama untuk melakukan data cleansing kita tekan pada new data quality project.
Setelah itu kita isi nama, deskripsi sesuai keinginan kita, untuk use knowledge base kita pilih yang sudah dibuat tadi. Pada select activity kita pilih Cleansing dan kita pilih next.
Nah setelah itu akan muncul tampilan seperti dibawah ini.
Untuk Data Source kita sesuaikan pada jenis data yang kita punya, pada mapping akan muncul sendiri apabila kita benar menginputkan file yang kita miliki. Langsung saja kita klik next.
Setelah itu akan muncul tampilan seperti Knowledge Discorvery dan kita tekan saja Start. Proses akan berjalan.
Tekan Button Next untuk masuk ke Manage and View Result.
Kita cek terlebih dahulu data apakah ada data invalid, apabila ada yg invalid segera lakukan perbaikan. Setelah itu kita klik next
Akan muncul tab Export, disini kita pilih destination typenya(jenis filenya) yang anda inginkan, disini saya memakai file CSV, setelah itu pilih Data and Cleansing Info karna lebih lengkap, lalu klik Export, file Cleansing akan segera di export. lalu tekan finish untuk selesai.
Foto diatas adalah contoh hasil dari cleansing data yang telah saya buat sesuai dengan langkah langkah diatas.
Setelah itu kita akan masuk ke tab Map disini kita sesuaikan Dara Sourcenya dan Mappingnya.
Apabila selesai tekan button next. Akan muncul tampilan seperti dibawah, karena kita masuk ke tab Matching Policy.
Pada Rule Name kita isi sesuai dengan kita inginkan, pada Rule Editor kita bisa sesuaikan dengan yang kita mau, dan total dari Weightnya harus 100%, apabila tidak, maka tidak bisa di Start.
Jika semua sudah dirasa benar maka kita tekan button Start.
Akan muncul hasil seperti foto diatas apabila data memiliki kecocokan. setelah itu kita tekan button next. Setelah itu akan muncul tampilan seperti dibawah ini, kita tekan saja button start.
Lalu akan muncul hasil dari Matching Result tersebut seperti dibawah ini
Apabila sudah selesei kita tekan button finish dan publish.
Setelah itu kita masuk pada menu Data Quality Project, kita klik New Data Quality Project, dan sesuaikan dengan kebutuhan kita. Dan tekan button Next.
Setelah itu masukkan data source, maka mapping akan otomatis berubah.
Setelah itu kita klik button next apabila sudah selesai menyesuaikan.
Kita klik button Start, dan tunggu prosesnya.
Akan muncul tampilan seperti diatas apabila berhasil, kita tekan saja button next.
Setelah itu kita masuk ke tab Export
Sesuaikan Destination type sesuai yang kalian inginkan, disini saya memakai file CSV
Centang Pada Matching Result dan browse untuk memberi nama file, apabila sudah tekan button Export.
Setelah file berhasil di Export kita check terlebih dahulu hasilnya.
Setelah kita buka file hasil Exportnya maka akan terlihat mana data yang sama. apabila sudah selesai tekan button Finish.
Ya itulah cara Data Cleansing dan Data Matching dara saya, semoga dengan tutorial ini bisa membantu para pembaca blog ini/yang sedang kesusahan dengan tugasnya.
Created By: Iqbal Faturohman Sunaryo
Data Matching
Untuk tahap data matching pertama kali yang harus dilakukan adalah klik pada nama file knowledge base pertama kali dan pilih matching policy.
Apabila selesai tekan button next. Akan muncul tampilan seperti dibawah, karena kita masuk ke tab Matching Policy.
Pada Rule Name kita isi sesuai dengan kita inginkan, pada Rule Editor kita bisa sesuaikan dengan yang kita mau, dan total dari Weightnya harus 100%, apabila tidak, maka tidak bisa di Start.
Jika semua sudah dirasa benar maka kita tekan button Start.
Lalu akan muncul hasil dari Matching Result tersebut seperti dibawah ini
Apabila sudah selesei kita tekan button finish dan publish.
Setelah itu kita masuk pada menu Data Quality Project, kita klik New Data Quality Project, dan sesuaikan dengan kebutuhan kita. Dan tekan button Next.
Setelah itu masukkan data source, maka mapping akan otomatis berubah.
Setelah itu kita klik button next apabila sudah selesai menyesuaikan.
Kita klik button Start, dan tunggu prosesnya.
Akan muncul tampilan seperti diatas apabila berhasil, kita tekan saja button next.
Setelah itu kita masuk ke tab Export
Sesuaikan Destination type sesuai yang kalian inginkan, disini saya memakai file CSV
Centang Pada Matching Result dan browse untuk memberi nama file, apabila sudah tekan button Export.
Setelah file berhasil di Export kita check terlebih dahulu hasilnya.
Setelah kita buka file hasil Exportnya maka akan terlihat mana data yang sama. apabila sudah selesai tekan button Finish.
Ya itulah cara Data Cleansing dan Data Matching dara saya, semoga dengan tutorial ini bisa membantu para pembaca blog ini/yang sedang kesusahan dengan tugasnya.
Created By: Iqbal Faturohman Sunaryo
tags:
cara installasi DQS Server, Cara Data Cleansing, Cara Data Matching, Tutorial DQS Indonesia, Tutorial DQS SQL Server Indonesia, Tutorial Cara Penggunaan DQS, DQS Indonesia, Cara Cleansing, Cara Matching.
Posting Komentar untuk "Tutorial DQS SQL Server (Data Cleansing & Data Matching) - Mata Kuliah : Kualitas Data, Institut Bisnis Dan Informatika STIKOM Surabaya"