KUALITAS DATA DAN BOTTOM LINE

Menyampaikan Data Kualitas Tinggi

Metodologi delapan langkah untuk menjaga kualitas data.

Mengingat kemudahan dimana data cacat dapat masuk ke dalam sistem, terutama pada gudang data, menjaga kualitas data pada tingkat yang dapat diterima membutuhkan usaha dan koordinasi yang cukup besar di seluruh organisasi.

Meningkatkan kualitas data sering kali melibatkan proses buruk, mengubah praktik bisnis, mendapatkan dukungan untuk definisi data dan aturan bisnis yang umum, dan memberikan banyak pendidikan dan pelatihan. Singkatnya, memperbaiki kualitas data sering menyentuh saraf tender di perut organisasi.

Wells menekankan bahwa mengelola kualitas data adalah proses yang tidak pernah berakhir. Bahkan jika sebuah perusahaan mendapatkan semua barang untuk menangani masalah kualitas data hari ini, akan ada tantangan baru dan berbeda besok. Itu karena proses bisnis, harapan pelanggan, sistem sumber, dan peraturan bisnis semua berubah terus menerus.

Untuk memastikan data berkualitas tinggi, perusahaan perlu mendapatkan komitmen yang luas terhadap prinsip pengelolaan kualitas data dan mengembangkan proses dan program yang mengurangi cacat data dari waktu ke waktu. Untuk meletakkan dasar bagi data berkualitas tinggi, perusahaan harus mematuhi metodologi.

1. Luncurkan Program Mutu Data

Mendapatkan Eksekutif di Dewan. Langkah pertama untuk menyampaikan data berkualitas tinggi adalah meminta manajer puncak untuk mengakui ada masalah dan bertanggung jawab untuk itu. Banyak eksekutif berbicara tentang kualitas data, tapi hanya sedikit yang melakukan hal itu. 

TI bertanggung jawab untuk mengelola kualitas data di sebagian besar organisasi, diikuti oleh tim pergudangan data.

Langkah pertama: mintalah eksekutif untuk mengakui ada masalah.

Agar berhasil, program kualitas data harus diprakarsai oleh CEO, diawasi oleh dewan direksi, dan dikelola oleh pejabat kualitas data kepala atau manajer bisnis tingkat senior di setiap area bisnis.

Cara terbaik untuk memulai sebuah inisiatif kualitas data adalah dengan melipatnya ke dalam pengelolaan data perusahaan atau program administrasi data. Program ini biasanya disewa untuk menetapkan dan mempertahankan definisi data dan aturan bisnis yang konsisten sehingga perusahaan dapat mencapai "satu versi kebenaran" dan menghemat waktu untuk mengembangkan aplikasi baru dan mencari data.

Tujuan. Bank menetapkan tujuannya untuk Prakarsa Mutu Data dalam buletin perusahaan:

Tujuan utama kami adalah memperbaiki secara material profitabilitas perusahaan dengan (1) keputusan efektif didasarkan pada informasi yang segar dan akurat, dan (2) mengurangi biaya yang terkait dengan inefisiensi yang timbul dari pengerjaan ulang, penanganan pengaduan, pemanjangan waktu pemrosesan, layanan tidak terencana, dan usaha yang berlebihan.

Tetapkan tujuan dan harapan.

Menurut salah seorang eksekutif, tujuan perusahaan adalah mencapai "zero defects" dan terus mengukur kemajuannya terhadap tujuan tersebut, bersama dengan biaya varians.

Mengawasi kelompok dan fungsi kualitas data di seluruh organisasi.

Komite penatalayanan perusahaan juga perlu mengawasi dan memberikan arahan kepada semua tim atau fungsi kualitas data yang tersebar di seluruh perusahaan. Secara khusus, komite harus:

• Memberikan edukasi tentang pentingnya kualitas data kepada perusahaan 
• Mengkomunikasikan peningkatan kualitas data untuk semua karyawan
• Tentukan elemen data wajib yang perlu diukur
• Tinjau metrik untuk mengukur kualitas elemen ini
• Tentukan metode pelaporan pada tingkat kualitas data
• Tetapkan prioritas untuk menetapkan perjanjian tingkat layanan untuk kualitas data
• Tetapkan "pemilik" dan "penjaga" setiap area subjek utama dan penyimpanan data
• Selesaikan isu kualitas data perusahaan lintas sektoral
• Pastikan set kode diperbarui secara berkala

Intinya, panitia pelaksana perusahaan perlu menjadi clearinghouse untuk gagasan dan informasi yang berkaitan dengan kualitas data, dan bekerja dengan tekun dengan semua tim dan individu untuk mempertahankan momentum untuk mencapai tujuan program.

2. Kembangkan Rencana Proyek

Langkah selanjutnya adalah mengembangkan rencana proyek kualitas data, atau serangkaian rencana. Pegawai melakukan ini dengan memprioritaskan proyek yang memiliki keuntungan terbesar bagi perusahaan, dan mengatasinya satu per satu.

Rencana proyek harus menentukan ruang lingkup kegiatan, menetapkan tujuan, memperkirakan ROI, melakukan analisis kesenjangan, mengidentifikasi tindakan, dan mengukur dan memantau keberhasilan. Untuk melakukan tugas ini, tim perlu menggali data untuk dinilai keadaan saat ini, menentukan tindakan perbaikan, dan menetapkan metrik untuk memantau kesesuaian dengan sasaran.

• Tentukan Lingkup.

Setelah penilaian data awal dilakukan selama tahap peluncuran, perusahaan harus memiliki pemahaman yang layak mengenai area prioritas tinggi yang harus ditangani. Dokumen lingkup mengidentifikasi elemen data utama yang akan dianalisis, diukur untuk validitas, dan kemudian dibersihkan dan dipantau.

• Menentukan tujuan.

Sebuah rencana harus memiliki tujuan yang jelas namun realistis yang memberikan kejelasan dan momentum proyek untuk sukses. Tujuannya adalah mengurangi catatan pelanggan duplikat di gudang data menjadi kurang dari satu persen dalam tiga bulan.

• Tentukan ROI.

Rencananya juga harus memperkirakan ROI dan payback period untuk setiap proyek.

• Identifikasi Tindakan.

Sebuah rencana mendefinisikan bagaimana data akan diperbaiki (yaitu pencegahan, deteksi, koreksi, penyaringan, verifikasi) dan di mana (sumber, pementasan, area, target.)

• Ukur dan pantau kesuksesan.

Ini melibatkan membangun program untuk memantau kualitas data elemen data utama secara berkelanjutan.

3. Bangun Tim Mutu Data

Untuk menerapkan rencana kualitas data, organisasi harus menetapkan atau mempekerjakan individu untuk membuat rencana, melakukan penilaian awal, menggosok data, dan menyiapkan sistem pemantauan untuk mempertahankan tingkat kualitas data yang memadai. Di organisasi atau departemen kecil atau menengah, satu individu dapat memikul tanggung jawab atas banyak peran.

Peran Kualitas Data

Posisi kualitas data berikut mungkin tidak ada dalam organisasi Anda, tapi penting bagi seseorang untuk mengasumsikan peran di bawah ini.

• Chief Quality Officer
• Data Steward
• Data Quality
• Analis Kualitas Data
• Spesialis Alat
• Fasilitator Peningkatan Proses
• Data Quality Trainer

Analis menerapkan peraturan bisnis yang ditetapkan oleh pengguna bisnis dan petugas data. Mereka juga menulis skrip integritas data di bawah bimbingan kepala arsitek. Skrip ini mengidentifikasi cacat di antara sekitar 150 elemen data utama (KDE) saat dimasukkan ke dalam gudang data dan mengukur tingkat kualitas untuk setiap bidang berdasarkan ukuran yang telah ditentukan, seperti jumlah nilai null atau bidang yang hilang atau pelanggaran batasan. Analis juga menetapkan toleransi yang menentukan tingkat kualitas yang dapat diterima untuk setiap KDE dan mengukur kemajuan terhadap toleransi tersebut.

4. Meninjau Proses Bisnis dan Arsitektur Data

Begitu ada dukungan perusahaan untuk rencana kualitas data, panitia pelaksana - atau kelompok manajer senior yang representatif di seluruh perusahaan - perlu meninjau proses bisnis perusahaan untuk mengumpulkan, merekam, dan menggunakan data di bidang subjek yang ditentukan oleh dokumen lingkup . Dengan bantuan dari konsultan luar, tim juga perlu mengevaluasi pola arsitektur sistem yang mendasari praktik bisnis dan arus informasi. Ulasan bisnis dan teknis bisa memakan waktu beberapa hari atau minggu. Tinjauan bisnis dan teknis dapat memakan waktu beberapa hari atau minggu tergantung pada skala dan cakupan rencana kualitas data dan jumlah pemangku kepentingan yang terlibat.

Di sisi bisnis, tim perlu mendokumentasikan bagaimana elemen data di setiap area subjek dikumpulkan dan disimpan di mana. Tim juga perlu mengidentifikasi siapa pemilik data, siapa yang menggunakan data, jenis laporan yang mereka butuhkan, dan pemeriksaan kualitas apa yang ada, jika ada.

Tinjauan proses bisnis harus menghasilkan dokumen yang memaparkan proses bisnis yang perlu dimodifikasi dan menyarankan metrik untuk mengukur kualitas data, kata Elizabeth Vannan.

TINJAUAN TEKNIS

Pada saat bersamaan, technical review dapat mengungkapkan apakah ada peluang untuk re-arsitek atau mengganti sistem untuk meningkatkan kualitas data dan mengoptimalkan pengumpulan data. Perubahan ini mungkin juga diperlukan untuk membuka jalan bagi aplikasi strategis baru seperti CRM, otomatisasi tenaga penjualan, e-commerce, personalisasi, atau analisis rantai pasokan.

Dari data kualitas quagmires hingga data quality greenfields.

Arsitektur teknis yang baik akan melakukan sejumlah hal untuk meningkatkan kualitas data. Ilustrasi 12 menunjukkan contoh kemungkinan hasil ketika perusahaan mentransformasikan arsitektur datanya dari data kualitas quagmess ke data quality greenfields.

• Melaksanakan rutinitas validasi. Terapkan rutinitas validasi yang kuat pada titik pengumpulan data.
• Melaksanakan ETL dan Data Quality Tools. Gunakan alat data kualitas dan ekstraksi, transformasi, dan beban (ETL) untuk mengotomatisasi deteksi, pembersihan, dan pemantauan terus menerus terhadap file kunci dan arus data.
• Melaksanakan Pemeriksaan Kualitas Data. Melaksanakan pemeriksaan kualitas data atau audit pada titik penerimaan atau dalam proses ETL. Pemeriksaan yang ketat harus dilakukan pada sistem sumber dan hub integrasi data.
• Mengkonsolidasikan Poin Pengumpulan Data. Mengkonsolidasikan sistem sumber atau titik pengumpulan data untuk meminimalkan praktik entri data yang berbeda.
• Mengkonsolidasikan Data Bersama. Model subjek jadi data bisa diintegrasikan secara fisik atau logis. Gunakan data warehouse atau ODS untuk mengkonsolidasikan data secara fisik yang digunakan oleh beberapa aplikasi. Atau gunakan tabel referensi dan kunci untuk mengintegrasikan data secara logis yang harus tetap didistribusikan ke seluruh sistem.
• Minimalkan Antarmuka Sistem. Meminimalkan antarmuka sistem dengan (1) menimbunkan kembali gudang data di belakang beberapa data independen, (2) menggabungkan beberapa sistem operasional atau gudang data, (3) mengkonsolidasikan beberapa sistem warisan non-terpadu dengan menerapkan perangkat lunak aplikasi enterprise yang dikemas, dan / atau (4) ) menerapkan hub integrasi data.
• Melaksanakan Hub Integrasi Data. Sebuah hub dapat meminimalkan antarmuka sistem dan menyediakan satu sumber data bersih dan terpadu untuk beberapa aplikasi. Hub ini menggunakan berbagai middleware dan proses transformasi untuk menyiapkan dan mendistribusikan data untuk digunakan oleh beberapa aplikasi.
• Melaksanakan Meta Data Repository. Buat repositori untuk mengelola data meta yang dikumpulkan dari semua sistem perusahaan. Repositori harus menyediakan satu tempat bagi analis sistem dan pengguna bisnis untuk mencari definisi elemen data, laporan, dan pandangan bisnis; melacak garis keturunan elemen data dari sumber ke target; mengidentifikasi pemilik data dan kustodian; dan memeriksa laporan kualitas data. Selain itu, aplikasi enterprise, seperti hub integrasi data atau alat ETL, dapat menggunakan meta data ini untuk menentukan bagaimana cara membersihkan, mengubah, atau mengolah data dalam alur kerjanya.

5. Kaji Kualitas Data

Setelah meninjau proses informasi dan arsitektur, selanjutnya sebuah perusahaan perlu melakukan penilaian akan kualitas data di bidang kunci dan utama perusahaan tersebut yang dapat didapatkan dengan bantuan tools pembuktian yang nantinya akan menghasilkan sebuah diagram untuk dapat mengevaluasi apakah data yang dihasilkan sudah berkualitas atau belum. Salah satu indikator untuk menilai data itu berkualitas atau tidak dapat dilihat dari seberapa banyak komplain yang dilakukan oleh pelanggan. Kunci untuk pendekatan penilian data apa pun adalah dengan bekerjasama dengan seksama dengan pakar materi pelajaran yang sangat memahami bisnis dan data. Para pakar ini perlu mempelajari laporan penilian data sebelumnya dan menentukan sebuah kejanggalan yang nantinya dapat memberitahu mana data yang cacat dan mana data sudah valid.

6. Bersihkan Data

Begitu audit selesai, tugas membersihkan data dimulai. Prinsip dasar manajemen mutu adalah mendeteksi dan memperbaiki cacat sedekat mungkin dengan sumbernya untuk meminimalkan biaya.
Pencegahan adalah respon paling tidak mahal terhadap cacat, diikuti dengan koreksi dan perbaikan. Koreksi melibatkan perbaikan cacat di rumah, sementara perbaikan meliputi memperbaiki cacat yang mempengaruhi pelanggan secara langsung.
Ada empat metode dasar untuk "membersihkan" data:

• Sebagian besar operasi pembersihan melibatkan perbaikan elemen dan catatan data yang rusak.

Anda perlu memperbaiki elemen dan catatan data yang rusak.
Memperbaiki elemen data biasanya mengharuskan Anda untuk (1) memodifikasi nilai salah yang ada (misalnya memperbaiki kesalahan ejaan atau transposisi), (2) memodifikasi nilai yang benar agar sesuai dengan standar perusahaan atau industri, atau (3) mengganti nilai yang hilang. Anda dapat mengganti nilai yang hilang dengan memasukkan nilai default atau nilai yang benar dari database lain, atau dengan meminta seseorang yang mengetahui nilai yang benar.
Mengoreksi catatan biasanya mengharuskan Anda untuk (1) mencocokkan dan menggabungkan catatan duplikat yang ada dalam file atau beberapa file yang sama, dan (2) memisahkan data penggabungan yang salah. Decoupling diperlukan saat satu catatan berisi data yang menggambarkan dua atau lebih entitas, seperti individu, produk, atau perusahaan. Untuk memperbaiki data dalam database relasional, analis menggunakan SQL atau alat kualitas data komersial dengan dukungan SQL built-in. Untuk memperbaiki cacat pada database non-SQL, Anda harus menggunakan bahasa manipulasi data asli.

Kualitas Data Ekonomi

Cacat meningkat dalam biaya semakin lama mereka tidak terdeteksi, sementara biaya manajemen mutu menurun karena cacat dicegah. Dari kursus TDWI, "Pembersihan Data TDWI: Menyampaikan Data Gudang Berkualitas Tinggi."

Untuk memperbaiki data dengan cepat saat proses ekstraksi atau pemuatan, Anda dapat menggunakan alat ETL, yang menawarkan antarmuka visual untuk mendefinisikan transformasi.

• Penyaringan melibatkan penghapusan elemen data duplikat, hilang, atau tidak masuk akal, seperti ketika proses ETL memuat file yang salah atau sistem sumber merusak lapangan. Perhatian harus dilakukan saat memfilter data karena bisa menimbulkan masalah integritas data.
• Mendeteksi dan Melaporkan. Dalam beberapa kasus, Anda mungkin tidak ingin mengubah data yang rusak karena tidak efektif biaya atau memungkinkan melakukannya. Misalnya, jika 20 persen catatan pelanggan Anda kehilangan nomor jaminan sosial, namun catatan berusia lebih dari 30 tahun, mungkin tidak ada nilai bisnis untuk membersihkan data ini. Dalam kasus ini, analis perlu memberi tahu pengguna dan mendokumentasikan kondisinya dalam data meta.
• Dalam beberapa kasus, Anda mungkin tidak ingin mengubah data yang rusak karena tidak efektif biaya atau memungkinkan melakukannya.
• Pencegahan melibatkan pendidik pemasukan data, mengubah atau menerapkan validasi baru ke sistem operasional, memperbarui kode usang, merancang ulang sistem dan model, atau mengubah peraturan dan proses bisnis.

7. Pantau Data

Ini memakan waktu untuk menyiapkan file data saat memuat database untuk pertama kalinya. Tetapi organisasi dapat dengan cepat kehilangan manfaat dari upaya persiapan data ini jika mereka gagal memantau kualitas data secara terus menerus.
Perusahaan dapat dengan cepat kehilangan manfaat usaha pembersihan data jika mereka gagal memantau kualitas data secara terus menerus.
Untuk memantau kualitas data, perusahaan perlu membuat program yang mengaudit data secara berkala, atau sesaat sebelum atau sesudah data dimasukkan ke sistem lain seperti gudang data. Perusahaan kemudian menggunakan laporan audit untuk mengukur kemajuan mereka dalam mencapai sasaran kualitas data dan mematuhi perjanjian tingkat layanan yang dinegosiasikan dengan kelompok bisnis.
Jika ambang batas terlampaui, analis kualitas data perlu memeriksa data yang bersangkutan dan mengembangkan rencana untuk memperbaiki situasi. Dalam beberapa kasus, ini mungkin berarti memperbaiki data di sumber dan memuat ulang data warehouse. Di lain waktu, ini bisa berarti ambang tweaker untuk mengakomodasi ekspansi bisnis atau sama sekali tidak melakukan tindakan.

8. Perbaiki Proses Bisnis

Seperti disebutkan sebelumnya, mencegah kerusakan data melibatkan perubahan sikap dan proses bisnis yang optimal. "Masalah kualitas data adalah gejala dari kebutuhan akan perubahan dalam proses saat ini," kata Brad Bergh, seorang perancang database veteran dengan Double Star, Inc. Memperbaiki proses yang mapan seringkali memicu kebakaran politik dan budaya, namun hasilnya untuk mengatasi tantangan ini. bagus.
"Masalah kualitas data adalah gejala dari kebutuhan akan perubahan dalam proses saat ini." -Brad Bergh

Ada beberapa cara untuk memperbaiki proses dan praktik bisnis:

• Mendidik. Gunakan buletin, memo perusahaan, media berita, dan rapat karyawan dan pemegang saham untuk mengkomunikasikan kepada karyawan pentingnya data kepada perusahaan.
• Melatih dan Menghargai. Terus melatih pengguna entri data baru dan yang sudah ada mengenai standar data.
• Mendorong Dampak Bisnis Dekat dengan Rumah. Pemilik sistem sumber tidak termotivasi untuk melakukan perubahan sampai kerusakan data secara material mempengaruhi bisnis mereka
• Terapkan Validasi. Mencegah kesalahan dengan membangun pemeriksaan validasi yang ketat pada bidang entri data. Gunakan perangkat lunak verifikasi real time untuk mencegah CSR atau pelanggan berbasis Web memasukkan alamat yang salah.
• Standardisasi Kode, Aturan, dan Definisi. Bawa bersama para manajer senior untuk menyetujui kode standar, definisi data, dan peraturan bisnis.
• Meningkatkan keberhasilan. Beberapa kelompok dan unit bisnis akan menolak standardisasi, dalam beberapa kasus karena alasan bisnis yang sah. Tangani proyek yang mudah dulu, dan manfaatkan kesuksesan ini untuk memberi tekanan pada pegangan untuk berubah.
• Redesign Systems. Mendesain ulang model data agar lebih akurat mencerminkan bisnis dan lebih baik menegakkan integritas ential.

Teknik di atas, meski tidak mudah diimplementasikan dalam semua kasus, dapat membantu membawa perusahaan lebih dekat untuk mencapai fondasi yang kuat untuk membangun bisnis berbasis informasi.
Kuncinya adalah menyadari bahwa mengelola kualitas data adalah usaha terus-menerus. Perusahaan harus membuat komitmen untuk membangun kualitas data ke dalam semua proses pengelolaan informasi jika mereka akan memetik hasil dari data berkualitas tinggi-dan menghindari jebakan yang disebabkan oleh kekurangan data.

tags : Kualitas data, bottom line, data yang baik, menyampaikan data yang baik

Berbagi :