Audit Internal Sistem Manajemen Mutu menggunakan ‘Scoring System’

(Business Lounge – Quality) Audit Internal Sistem Manajemen Mutu merupakan salah satu tools yang sangat penting dalam proses evaluasi dan asesment kinerja satu perusahaan. Audit Internal Sistem Manajemen Mutu (SMM) ini dimaksudkan untuk meninjau tingkat kesesuaian dan efektifitas penerapan SMM yang telah ditetapkan dan menjadi dasar arah strategi dan sasaran mutu yang ingin dicapai dan tertuang dalam Manual Mutu. Untuk melakukan Audit Internal SMM ini hendaknya pimpinan perusahaan memastikan penetapan proses audit internal berjalan dengan efektif dan efisien dengan memperhatikan kekuatan dan kelemahan SMM.

Yang dimaksud dengan ‘Scoring System’ dalam pelaksanaan audit internal system manajemen mutu (SMM) adalah menetapkan kriteria yang kuantitatif (umumnya dengan alokasi rating / skor untuk setiap jawaban terhadap pertanyaan di dalam daftar pertanyaan) untuk dipakai mengukur signifikansi temuan audit dan kesimpulan hasil audit secara keseluruhan.

Kira-kira 20%-30% dari perusahaan-perusahaan menerapkan sistem ini dalam pelaksanaan audit internal SMM-nya. Alasannya supaya lebih terukur dan gampang melakukan analisa (apalagi kalau ingin melakukan analisa yang sifatnya statistik).

Scoring System yang digunakan bermacam-macam, mulai dari yang sederhana sampai yang dibikin rumit. Paling sederhana misalnya sbb. :
– Angka/Skor 0 (nol) diberikan untuk setiap pertanyaan yang jawaban dan bukti obyektif menyimpulkan adanya ketidaksesuaian /non-conformance terhadap persyaratan SMM.
– Angka/Skor 5 (lima) diberikan untuk jawaban dan bukti obyektif yang bisa dikategorikan sebagai observasi atau semacam inkonsistensi. Katakanlah dari 5 sample yang diambil maka ada 2 yang tidak sesuai, sedangkan yang 3 lagi semuanya sesuai.
– Angka/Skor 10 (sepuluh) diberikan untuk jawaban dan bukti obyektif yang sepenuhnya sesuai dengan persyaratan SMM.

Bentuk yang lebih rumit dari Scoring System bisa dengan memberikan pembobotan lebih lanjut terhadap setiap pertanyaan, terutama dari sisi kemungkinan dampak dari ketidaksesuaian ini terhadap kinerja bisnis perusahaan maupun kepuasan pelanggan.

Untuk mendapatkan kesimpulan hasil audit secara menyeluruh, angka skor keseluruhan biasanya dijumlahkan lalu dicari persentasenya terhadap total skor maksimum yang mungkin dicapai. Didapatlah semacam ‘passing grade’, ataupun angka skor yang kemudian dianggap mewakili kinerja implementasi SMM.

Dari pengamatan sepintas, banyak orang akan segera tertarik menggunakan ‘Scoring System’ untuk audit internal SMM di organisasinya. Ada beberapa keuntungan yang (mungkin) diperoleh dengan ‘Scoring System’ :
1. Penyajian temuan menjadi lebih terukur dibandingkan hanya dengan menyebut (misalnya yang umum) temuan Major, Minor atau observasi. Selain itu, kesimpulan hasil audit secara keseluruhan menjadi lebih terukur.

Contohnya : Bandingkan antara menyimpulkan melalui statement ”meskipun terdapat 2 temuan Minor, secara keseluruhan SMM masih sesuai dengan ISO 9001:2000” dengan ‘”Kinerja SMM berdasarkan hasil audit adalah pada level 80% kesesuaian terhadap standard ISO 9001:2000”. Kesimpulan yang terakhir lebih bisa terukur, bukan?

2. Faktor subyektifitas dalam pelaksanaan audit dan penyajian laporan menjadi diminimalisir karena ada standard penilaian/rating yang bisa dijadikan acuan sehingga orang lain pun bisa menilai apakah audit telah dilakukan subyektif atau tidak.

3. Analisa data terhadap hasil audit, kinerja SMM , efektifitas implementasi SMM dan perbaikan berkelanjutan (continuous improvement) menjadi lebih gampang dilakukan karena ada data yang terukur dan bisa diolah secara statistik. Misalnya : score audit di bulan Juli 2007 untuk bagian produksi adalah 70%, lalu saat audit di bulan Januari 2008 scorenya menjadi 80%. Dengan analisa trend sederhana terhadap data ini bisa disimpulkan ada perbaikan berkelanjutan di bagian produksi dalam kaitannya dengan implementasi SMM.

Meskipun demikian, berdasarkan pengalaman saya selama ini dan hasil diskusi dengan beberapa users terhadap Scoring System, ada beberapa kerugian terkait implementasi ‘Scoring System’ yang pada akhirnya menyebabkan sistem ini tidak secara efektif mendukung pelaksanaan audit mutu internal terhadap SMM. Berikut ini adalah pembahasannya :

1. Penggunaan ‘Scoring System’ untuk audit mutu internal terhadap pelaksanaan SMM berdasarkan ISO 9001:2000 berpotensi menimbulkan kerancuan. Penyebabnya tidak lain karena ISO 9001:2000 sendiri adalah suatu standard yang qualitative, bukan standard yang quantitative. Dengan demikian, tidak ada suatu standard scoring system yang bisa dijadikan acuan dalam menerapkan scoring.

Akibatnya setiap perusahaan atau organisasi bebas menetapkan scoring system masing-masing yang tentu saja tidak bisa dibandingkan ‘apple’ to ‘apple’ antara satu perusahaan dengan perusahaan lainnya. Angka 80% atau skor 80 di satu perusahaan tidak bermakna apa-apa atau berbeda makna di perusahaan lain yang punya scoring system berbeda.

Begitu pula dalam setiap proses bisnis di setiap perusahaan, sulit dicapai standard yang bisa merefleksikan komparasi kinerja yang ‘apple’ to ‘apple’ antara satu proses dengan proses lain karena ‘Scoring System’ tergantung pada daftar pertanyaan yang relevant terhadap ruang lingkup pekerjaan dan aktifitas di satu proses. Sebagai contoh : Bagian Marketing bisa saja mendapat nilai 100% karena mereka hanya mengolah 3 Purchase Order (PO) dalam 1 tahun dan hanya ada 2 prosedur terkait pekerjaan mereka. Sebaliknya bagian Produksi tidak pernah mendapatkan angka 100% karena setiap PO dari marketing terdiri dari 30 s/d 50 job order yang harus dikelola dalam satu tahun, plus ada 10 Prosedur dan 25 Instruksi Kerja yang harus dijalankan.
Kalau hanya melihat % skor hasil audit, selintas orang akan menyimpulkan bahwa kinerja pelaksanaan SMM di Marketing lebih baik daripada di Produksi. Padahal belum tentu kasusnya demikian.

Akan berbeda jika implementasi ‘Scoring System’ diterapkan terhadap suatu standard yang memang sifatnya quantitative, atau punya ukuran2 / skor yang sudah standard terhadap setiap persyaratan.

2. Semakin rumit ‘Scoring System’ yang dipakai, maka sebenarnya semakin besar potensi ketidak konsistenan dan subyektifitas. Kalau standardnya sederhana seperti contoh di awal tulisan ini (0, 5, 10) saja, cukup mudah diikuti dan diinterpretasi oleh siapa saja. Tetapi bayangkan kalau standardnya menjadi 0 s/d 10. Setiap auditor bisa memberikan angka yang berbeda untuk item yang sama, tergantung kompetensi, pemahaman atas permasalahan, dan subyektifitas tiap auditor.

3. Akurasi sistem ini sangat tergantung pada pemilihan pertanyaan atau critical control point yang harus diperiksa saat audit. Jika si pembuat Scoring System tidak kompeten, mungkin saja pertanyaan yang diajukan terlalu generic atau terlalu sederhana, sehingga hasil audit akan selalu 100%. Sebaliknya bisa juga menjadi terlalu detail atau banyak yang tidak relevant sehingga skor audit selalu rendah.

Kekurang mampuan menyusun daftar pertanyaan yang benar pada akhirnya memberikan data yang menyesatkan kepada Management tentang kinerja SMM.

Kesimpulannya, sebelum memutuskan menggunakan ‘Scoring System’ atau tidak dalam pelaksanaan audit SMM terhadap standard ISO 9001:2000, sebaiknya dipertimbangkan matang-matang dari sisi keuntungan dan kerugiannya. Dengan demikian bisa diputuskan apakah penggunaan ‘Scoring System’ memang akan bernilai tambah untuk proses audit internal di perusahaan / organisasi Anda, dan yang tak kalah pentingnya adalah bahwa ‘Scoring System’ yang diterapkan mampu memberikan data yang akurat kepada Management dan organisasi terkait kinerja maupun efektifitas SMM di perusahaan / organisasi Anda.

Jangan sampai penggunaan ‘Scoring System’ malah menjadi kontraproduktif karena satu bagian menjadi terdemotivasi dengan skor-nya yang selalu rendah (semata karena scope kerjaannya paling kompleks sehingga daftar pertanyaan menjadi banyak), sementara bagian lain menjadi merasa di atas angin karena skornya yang selalu tinggi (semata karena scope pekerjaan yang tidak begitu kompleks).

(PM/IC/BL)
Dari berbagai sumber