19 mins read

Cara Kerja Explainable AI dan Metode Beserta Penerapannya untuk Keputusan AI yang Transparan

Cara Kerja Explainable AI
Cara Kerja Explainable AI dan Metode Beserta Penerapannya untuk Keputusan AI yang Transparan
Mekari ERP Highlights
  • Penjelasan AI baru bermanfaat jika disesuaikan dengan audiens, tetap akurat terhadap perhitungan model, dan transparan mengenai batas pengetahuannya. Prinsip ini sejalan dengan empat prinsip NIST untuk membangun sistem AI yang dapat dipercaya.
  • PP 33/2026 yang berlaku penuh pada 16 Januari 2027 menuntut penyediaan informasi yang memadai serta jalur keberatan bagi individu yang terdampak keputusan otomatis.
  • Fitur Deteksi Anomali AI Mekari ERP membantu tim keuangan mengidentifikasi transaksi yang menyimpang dari pola normal. Penanda anomali yang dihasilkan dapat menjadi dasar peninjauan lebih lanjut, 

Penggunaan AI dalam bisnis semakin luas, mulai dari menganalisis data keuangan hingga membantu menentukan tindakan operasional. Namun, hasil yang akurat saja belum cukup. Perusahaan juga perlu memahami bagaimana sistem menghasilkan suatu rekomendasi atau keputusan, terutama ketika hasilnya memengaruhi transaksi, pelanggan, maupun proses bisnis.

Tantangan ini tercermin dalam survei McKinsey 2024. Sebanyak 40% responden menyebut explainability sebagai salah satu risiko utama dalam adopsi AI generatif, tetapi hanya 17% yang telah menanganinya. Kesenjangan tersebut menunjukkan bahwa transparansi masih menjadi tantangan dalam penerapan AI. 

Artikel ini membahas konsep dasar Explainable AI, prinsip-prinsip yang menjadi landasannya, berbagai metode yang dapat digunakan, serta enam langkah penerapannya agar perusahaan dapat memanfaatkan AI secara lebih transparan, terukur, dan bertanggung jawab. 

Apa Itu Explainable AI?

Explainable AI (XAI) adalah pendekatan dalam pengembangan dan penerapan kecerdasan buatan (artificial intelligence) yang memungkinkan manusia memahami alasan di balik setiap hasil atau keputusan yang dihasilkan sistem AI. Dengan XAI, pengguna tidak hanya menerima output, tetapi juga dapat mengetahui faktor yang memengaruhi hasil tersebut, menguji dasar penjelasannya, dan menilai apakah hasilnya dapat dipercaya.

Menurut NIST IR 8312, sistem AI disebut explainable apabila mampu memberikan bukti atau alasan atas setiap output dalam bentuk yang dapat dipahami oleh penerimanya. Dalam penerapannya, ada dua pasang istilah yang perlu dibedakan:

  • Interpretable vs. explainable: Model interpretable, seperti aturan, regresi, atau pohon keputusan, memiliki logika yang relatif mudah dipahami secara langsung. Sementara itu, model yang lebih kompleks, seperti gradient boosting atau jaringan saraf, biasanya membutuhkan metode tambahan (post-hoc) untuk menjelaskan hasilnya.
  • Global vs. lokal: Penjelasan global menunjukkan faktor yang paling berpengaruh terhadap perilaku model secara keseluruhan. Sebaliknya, penjelasan lokal menerangkan alasan di balik satu output tertentu, misalnya mengapa sistem menandai transaksi sebagai anomali. Jenis penjelasan lokal ini sangat relevan bagi approver dan auditor ketika meninjau transaksi.

XAI juga perlu dibedakan dari responsible AI. Responsible AI merupakan kerangka tata kelola yang lebih luas untuk memastikan AI dikembangkan dan digunakan secara etis, aman, serta bertanggung jawab. 

Sementara itu, explainability merupakan salah satu aspek penting di dalamnya yang membantu pengguna memahami dan mengevaluasi dasar dari output AI.

Mengapa Explainable AI Kini Jadi Kewajiban, Bukan Pilihan

Sampai 2025, explainability di Indonesia lebih banyak berupa imbauan etika. Per November 2026, petanya berubah karena PP 33/2026 sebagai aturan pelaksana UU Pelindungan Data Pribadi sudah ditetapkan pada 16 Juli 2026 dan berlaku penuh 16 Januari 2027.

PP ini mengatur hak keberatan atas keputusan yang hanya berbasis pemrosesan otomatis dan berdampak signifikan. Pengendali data wajib memberi informasi memadai tentang teknologi yang dipakai beserta konsekuensinya, menyediakan mekanisme menanggapi keberatan, dan melakukan penilaian dampak (DPIA) sebelum pemrosesan berisiko tinggi. Denda administratifnya bisa mencapai 2% dari pendapatan tahunan.

Peta regulasi explainable AI di Indonesia

RegulasiYang dimintaBukti yang perlu disiapkan
UU 27/2022 Pasal 10 dan PP 33/2026Hak keberatan atas keputusan otomatis berdampak signifikan; informasi memadai tentang teknologi dan konsekuensinyaKartu penjelasan per keputusan, prosedur keberatan, log peninjauan manusia
PP 33/2026 Pasal 120DPIA sebelum pemrosesan berisiko tinggi, termasuk keputusan otomatisDokumen DPIA per model, daftar data pribadi yang menjadi fitur
OJK, Tata Kelola Kecerdasan Artifisial Perbankan Indonesia (2025)Transparansi, explainability, dan akuntabilitas sepanjang siklus hidup AIDokumentasi model, hasil validasi, catatan audit AI
SE Menkominfo 9/2023Nilai transparansi, kredibilitas, dan akuntabilitasKebijakan internal etika AI dan pemilik tiap sistem

Kewajiban PP 33/2026 berlaku saat keputusan menyangkut orang perorangan, misalnya karyawan, kandidat, atau toko milik perorangan. Keputusan antarbadan usaha tetap butuh explainability demi pengendalian internal dan audit. Perpres Etika Kecerdasan Artifisial masih menunggu pengesahan, jadi SE Menkominfo 9/2023 tetap menjadi acuan etika.

4 Prinsip Explainable AI menurut NIST

Menurut NIST IR 8312, sistem Explainable AI perlu memenuhi empat prinsip utama agar hasil yang dihasilkan dapat dipahami, dievaluasi, dan digunakan secara bertanggung jawab. Keempat prinsip ini menekankan bahwa penjelasan AI harus tersedia, relevan bagi penerimanya, sesuai dengan cara kerja model, serta transparan terhadap keterbatasannya.

1. Explanation: Setiap Output Harus Disertai Alasan

Setiap hasil yang dihasilkan AI perlu disertai penjelasan mengenai alasan di baliknya. Artinya, sistem tidak cukup hanya memberikan rekomendasi, prediksi, atau penanda risiko tanpa menunjukkan faktor yang mendasari hasil tersebut.

Dalam proses keuangan, misalnya, sistem AI menandai sebuah faktur vendor sebagai “kemungkinan ganda”. Penjelasan yang diberikan sebaiknya mencantumkan faktur pembanding, kesamaan nilai transaksi, nomor referensi, serta selisih tanggal pencatatan. Informasi tersebut membantu approver memahami mengapa faktur ditandai dan menentukan apakah perlu dilakukan pemeriksaan lebih lanjut.

Tanpa penjelasan yang memadai, pengguna hanya memiliki dua pilihan yang sama-sama berisiko: mempercayai hasil AI tanpa pemeriksaan atau mengabaikan peringatan yang sebenarnya penting. Karena itu, setiap penanda perlu memiliki alasan yang dapat ditelusuri dan dijadikan dasar untuk mengambil tindakan.

2. Meaningful: Penjelasan Harus Dipahami oleh Penerimanya

Penjelasan AI harus disampaikan dengan cara yang sesuai dengan kebutuhan, pengetahuan, dan tanggung jawab penerimanya. Informasi yang secara teknis benar belum tentu bermakna apabila disampaikan menggunakan istilah yang tidak dipahami oleh pengguna.

Sebagai contoh, staf account payable (AP) yang memeriksa faktur membutuhkan penjelasan praktis, seperti nomor faktur yang memiliki kemiripan, nama vendor, nilai tagihan, dan tanggal transaksi. Sebaliknya, tim data atau pengembang model mungkin membutuhkan informasi lebih teknis, seperti nilai kontribusi fitur (feature attribution), tingkat keyakinan model, atau faktor yang paling memengaruhi prediksi.

Perbedaan kebutuhan tersebut menunjukkan bahwa satu format penjelasan tidak selalu cocok untuk semua pengguna. Sistem perlu menyajikan informasi sesuai konteks pekerjaan agar hasil AI dapat dipahami dan ditindaklanjuti, bukan sekadar menjadi informasi tambahan yang sulit digunakan.

3. Explanation Accuracy: Penjelasan Harus Sesuai dengan Perhitungan Model

Penjelasan yang diberikan AI harus benar-benar mencerminkan proses atau faktor yang menghasilkan suatu prediksi. Penjelasan tidak boleh sekadar terdengar masuk akal, tetapi harus memiliki keterkaitan yang dapat diuji dengan cara kerja model.

Prinsip ini penting karena penjelasan yang keliru dapat membuat pengguna mengambil keputusan berdasarkan asumsi yang salah. Misalnya, sistem menandai transaksi sebagai anomali karena nominalnya jauh berbeda dari pola transaksi vendor sebelumnya. Namun, penjelasan yang muncul justru menyebut perubahan tanggal pembayaran sebagai penyebab utama, padahal faktor tersebut tidak berkontribusi signifikan terhadap hasil model.

Risiko serupa dapat muncul ketika perusahaan menggunakan model bahasa besar (large language model/LLM) untuk menghasilkan narasi penjelasan. Jika narasi tersebut tidak terhubung dengan hasil perhitungan atau nilai kontribusi fitur yang sebenarnya, sistem berpotensi menghasilkan alasan yang terdengar meyakinkan tetapi tidak akurat. Oleh karena itu, penjelasan perlu divalidasi agar tetap konsisten dengan hasil dan mekanisme model.

4. Knowledge Limits: Sistem Harus Mengenali Batas Pengetahuannya

Sistem AI perlu mampu mengenali kondisi ketika data yang diterima berada di luar pola atau cakupan informasi yang digunakan selama pelatihan. Dalam situasi tersebut, sistem tidak seharusnya memberikan hasil seolah-olah memiliki tingkat kepastian yang sama seperti ketika memproses data yang sudah dikenali.

Contohnya, sistem pendeteksi anomali keuangan menerima transaksi dari vendor baru yang belum memiliki riwayat, atau transaksi menggunakan mata uang yang belum pernah muncul dalam data sebelumnya. Karena informasi pembandingnya terbatas, hasil analisis mungkin tidak cukup kuat untuk dijadikan dasar keputusan otomatis.

Dalam kondisi seperti ini, sistem perlu menyampaikan keterbatasan tersebut, memberikan penanda bahwa hasilnya belum dapat diandalkan sepenuhnya, dan mengarahkan transaksi untuk ditinjau oleh manusia. Dengan demikian, pengguna dapat mempertimbangkan konteks tambahan sebelum menyetujui, menolak, atau mengambil tindakan terhadap transaksi.

Metode Explainable AI: Mana yang Dipakai Kapan

Pemilihan metode Explainable AI (XAI) bergantung pada kompleksitas model, jenis keputusan yang dihasilkan, dan kebutuhan pengguna. Ada metode yang menjelaskan logika model secara langsung, sementara metode lainnya membantu menguraikan faktor di balik prediksi model yang lebih kompleks.

MetodeCara KerjaContoh PenggunaanKapan Digunakan?
Model interpretableMenggunakan model yang logikanya dapat dipahami secara langsung, seperti regresi linear, pohon keputusan, dan sistem berbasis aturan.Menjelaskan penilaian risiko keterlambatan pembayaran berdasarkan riwayat transaksi dan saldo piutang.Untuk keputusan berdampak tinggi yang membutuhkan transparansi dan kemudahan audit.
SHAPMengukur kontribusi setiap fitur terhadap prediksi berdasarkan konsep nilai Shapley.Menunjukkan pengaruh nominal, frekuensi pembayaran, dan riwayat vendor terhadap penanda anomali transaksi.Untuk model kompleks yang membutuhkan penjelasan kontribusi faktor secara lokal maupun global.
LIMEMembuat model sederhana yang mendekati perilaku model asli di sekitar satu prediksi.Mengidentifikasi faktor yang memengaruhi sistem ketika menandai satu transaksi sebagai anomali.Untuk pemeriksaan cepat terhadap satu prediksi atau investigasi awal.
Counterfactual explanationMenunjukkan perubahan pada input yang dapat menghasilkan prediksi berbeda.Menjelaskan perubahan rasio utang terhadap pendapatan yang dapat memengaruhi hasil penilaian kredit.Untuk memberikan penjelasan yang dapat ditindaklanjuti dan mendukung proses keberatan.
Kode alasan berbasis aturanMenghubungkan hasil keputusan dengan aturan atau kriteria yang memicu keputusan tersebut.Memberikan alasan “nomor faktur sudah pernah tercatat” ketika sistem menemukan nomor faktur duplikat.Untuk mesin aturan, validasi transaksi, dan sistem pencocokan data.
Narasi LLM berbasis atribusiMengubah hasil atribusi teknis menjadi penjelasan dalam bahasa yang lebih mudah dipahami.Mengubah kontribusi fitur SHAP menjadi narasi tentang alasan transaksi ditandai sebagai anomali.Untuk menyampaikan hasil analisis kepada pengguna nonteknis, dengan validasi terhadap data atribusi asli.

Bagaimana Memilih Metode yang Tepat?

Prinsip praktisnya adalah memulai dari model paling sederhana yang memiliki akurasi memadai untuk kebutuhan bisnis. Jika model interpretable sudah mampu menghasilkan prediksi yang dibutuhkan, perusahaan tidak harus menggunakan model kompleks.

Namun, jika model kompleks memberikan peningkatan akurasi yang signifikan, perusahaan dapat memasangkannya dengan metode penjelasan seperti SHAP. Metode ini membagi skor prediksi ke dalam kontribusi masing-masing faktor. Skor dasar ditambah seluruh kontribusi fitur akan menghasilkan skor akhir pada skala output model.

Sifat aditif tersebut membuat penjelasan SHAP lebih mudah diperiksa dan direkonsiliasi oleh auditor, selama skala output dan dasar perhitungannya didokumentasikan dengan jelas. Dengan demikian, perusahaan dapat mempertahankan kemampuan prediksi model kompleks sekaligus menyediakan penjelasan yang dapat ditelusuri.

6 Langkah Menerapkan Explainable AI di Proses Bisnis

Penerapan Explainable AI (XAI) tidak cukup hanya dengan menambahkan fitur penjelasan pada sistem AI. Perusahaan perlu memastikan setiap keputusan yang dihasilkan dapat dipahami oleh pihak yang menggunakannya, diperiksa kembali, dan didokumentasikan sebagai bagian dari pengendalian internal.

Agar penerapannya berjalan terstruktur, perusahaan dapat mengikuti enam langkah berikut.

1. Inventarisasi Keputusan AI dan Tetapkan Tingkat Penjelasan

Langkah pertama adalah mengidentifikasi seluruh proses bisnis yang melibatkan AI, mulai dari penanda risiko, skor prediksi, rekomendasi, hingga tindakan otomatis seperti penahanan transaksi atau pencatatan tertentu.

Setiap penggunaan AI perlu dicatat berdasarkan tujuan, pihak yang terdampak, tingkat risiko, dan konsekuensi apabila hasilnya keliru. Dari inventarisasi tersebut, perusahaan dapat menentukan tingkat penjelasan yang dibutuhkan:

  • Tingkat 1 – Informatif: AI hanya memberikan rekomendasi yang selalu diperiksa manusia sebelum digunakan. Penjelasan ringkas mengenai alasan rekomendasi umumnya sudah memadai.
  • Tingkat 2 – Operasional: AI menghasilkan penanda yang dapat menahan transaksi, pembayaran, atau aktivitas bisnis lainnya. Sistem perlu menyediakan kartu penjelasan lengkap agar pengguna dapat memeriksa faktor pemicu sebelum mengambil tindakan.
  • Tingkat 3 – Berdampak pada individu: AI digunakan untuk menghasilkan keputusan otomatis yang berdampak signifikan terhadap pelanggan perorangan, karyawan, atau kandidat. Penggunaan ini memerlukan perhatian lebih terhadap kewajiban pelindungan data, termasuk penilaian dampak pelindungan data pribadi (Data Protection Impact Assessment/DPIA) apabila memenuhi kriteria pemrosesan berisiko tinggi, serta mekanisme keberatan yang sesuai.

Pengelompokan tersebut membantu perusahaan menentukan prioritas pengembangan XAI. Semakin besar konsekuensi suatu keputusan, semakin kuat pula kebutuhan terhadap penjelasan, dokumentasi, dan pengawasan manusia.

2. Petakan Audiens dan Pertanyaan Mereka

Penjelasan AI perlu disesuaikan dengan pihak yang menerima dan menggunakan informasi tersebut. Operator membutuhkan informasi untuk memeriksa transaksi, sedangkan auditor membutuhkan bukti yang memungkinkan keputusan ditelusuri kembali.

Karena itu, perusahaan perlu memetakan kebutuhan setiap audiens sebelum menentukan format penjelasan yang akan ditampilkan.

AudiensPertanyaan UtamaBentuk Penjelasan
Operator (AP, AR, gudang)Apa yang harus saya periksa?Tiga faktor teratas yang dijelaskan menggunakan bahasa transaksi
ApproverApakah transaksi aman untuk disetujui?Skor, ambang batas, faktor pemicu, dan dokumen pendukung
AuditorApakah keputusan dapat ditelusuri kembali?Versi model, snapshot input, output, penjelasan, dan identitas peninjau
Subjek dataMengapa saya terdampak oleh keputusan ini?Ringkasan dalam bahasa awam dan informasi mengenai saluran keberatan
Tim data dan risikoApakah model masih bekerja secara wajar?Kontribusi fitur secara global, perubahan pola data (drift), dan hasil pengujian model

Pemetaan ini mencegah perusahaan menggunakan satu format penjelasan untuk seluruh pengguna. Informasi teknis yang dibutuhkan tim data belum tentu relevan bagi staf operasional. Sebaliknya, penjelasan yang terlalu sederhana mungkin tidak cukup untuk kebutuhan audit atau validasi model.

3. Pilih Metode Penjelasan untuk Setiap Model

Setelah kebutuhan audiens diketahui, perusahaan dapat menentukan metode XAI yang paling sesuai untuk setiap model. Pemilihannya perlu mempertimbangkan kompleksitas model, jenis output, kebutuhan penjelasan lokal atau global, serta tingkat risiko keputusan.

Sebagai contoh, model interpretable dapat digunakan ketika logika keputusan perlu dibaca secara langsung. Untuk model kompleks yang menghasilkan skor anomali transaksi, perusahaan dapat mempertimbangkan SHAP guna menguraikan kontribusi setiap faktor. Sementara itu, counterfactual explanation dapat digunakan ketika pengguna perlu memahami perubahan kondisi yang dapat menghasilkan prediksi berbeda.

Metode yang dipilih beserta alasan penggunaannya perlu dicatat dalam dokumentasi model. Dokumentasi ini penting agar perusahaan dapat menjelaskan mengapa suatu pendekatan digunakan, bagaimana penjelasan dihasilkan, dan apa saja keterbatasannya ketika dilakukan pemeriksaan oleh auditor.

4. Rancang Kartu Penjelasan untuk Setiap Keputusan

Penjelasan AI sebaiknya disajikan dalam format yang mudah ditemukan dan digunakan oleh pihak terkait. Salah satu pendekatan praktis adalah membuat kartu penjelasan (explanation card) yang memuat informasi utama di satu tampilan.

Untuk kebutuhan operasional dan audit, kartu tersebut setidaknya dapat mencakup tujuh elemen berikut:

  1. Keputusan dan status: Menampilkan hasil AI, seperti transaksi normal, perlu diperiksa, atau terindikasi anomali.
  2. Skor dan ambang batas: Menunjukkan skor prediksi serta batas yang digunakan sistem untuk menghasilkan penanda.
  3. Faktor utama: Menampilkan tiga sampai lima faktor yang paling berkontribusi terhadap hasil, beserta nilai kontribusinya jika tersedia.
  4. Data sumber: Menyediakan tautan ke dokumen atau catatan transaksi asli yang menjadi dasar analisis.
  5. Batas pengetahuan: Menyampaikan apabila data yang diproses berada di luar pola yang dikenali model atau memiliki informasi yang tidak memadai.
  6. Tindakan berikutnya: Menjelaskan langkah pemeriksaan yang perlu dilakukan serta pihak yang bertanggung jawab menindaklanjutinya.
  7. Informasi model: Mencatat versi model, waktu eksekusi, dan informasi lain yang diperlukan untuk menelusuri hasil analisis.

Sebagai contoh, ketika sistem menandai faktur vendor sebagai kemungkinan duplikat, kartu penjelasan dapat menampilkan nomor faktur pembanding, kesamaan nominal, selisih tanggal pencatatan, serta tautan ke kedua dokumen. Dengan informasi tersebut, approver dapat memeriksa dasar penanda sebelum memutuskan apakah faktur perlu ditahan atau dapat diproses.

5. Uji Kualitas Penjelasan Sebelum Go-Live

Sebelum digunakan dalam proses bisnis, penjelasan AI perlu diuji untuk memastikan informasi yang diberikan akurat, konsisten, mudah dipahami, dan benar-benar membantu pengguna mengambil tindakan.

Pengujian tidak hanya berfokus pada akurasi prediksi model, tetapi juga pada kualitas penjelasan yang menyertai setiap output. Beberapa indikator yang dapat digunakan perusahaan antara lain:

UjiCara MengukurAmbang Awal
FidelitySelisih antara skor model dan skor dasar ditambah kontribusi seluruh faktor≤1 poin
StabilitasKonsistensi urutan tiga faktor teratas pada input yang nyaris identikSama pada ≥90% sampel
KeterpahamanPersentase approver yang dapat memahami dasar keputusan hanya dari kartu penjelasanBenar pada ≥80% kasus
KegunaanPerubahan waktu investigasi setiap penanda dibandingkan kondisi sebelum penerapanTurun ≥50%
Batas pengetahuanKemampuan sistem mengarahkan input di luar pola data latih kepada peninjau manusia100% kasus uji

Ambang tersebut merupakan contoh target internal yang dapat disesuaikan dengan karakteristik bisnis, bukan angka yang diwajibkan oleh regulasi. Perusahaan juga perlu menetapkan metode pengujian dan ukuran keberhasilan yang konsisten agar hasilnya dapat dibandingkan dari waktu ke waktu.

Jika hasil pengujian belum memenuhi target, perusahaan perlu mengevaluasi model, metode penjelasan, kualitas data, atau format penyajian sebelum sistem diterapkan secara luas.

6. Simpan sebagai Bukti dan Tinjau Secara Berkala

Penerapan XAI harus disertai dokumentasi yang memungkinkan setiap keputusan ditelusuri kembali. Perusahaan perlu menyimpan snapshot input, versi model, hasil prediksi, penjelasan yang diberikan, serta tindakan dan alasan dari pihak yang melakukan peninjauan.

Dokumentasi tersebut dapat digunakan untuk kebutuhan audit, investigasi kesalahan, penanganan keberatan, maupun evaluasi performa model. Tanpa pencatatan yang konsisten, perusahaan akan kesulitan merekonstruksi alasan suatu keputusan ketika model atau data sumber sudah berubah.

Evaluasi juga perlu dilakukan secara berkala, misalnya setiap kuartal, dengan memperhatikan beberapa indikator berikut:

  • Tingkat override: Mengukur seberapa sering pengguna mengubah atau membatalkan rekomendasi AI. Angka yang tinggi pada faktor tertentu dapat mengindikasikan masalah pada data, model, atau aturan bisnis.
  • Perubahan pola data (data drift): Memantau apakah karakteristik data aktual mulai berbeda dari data yang digunakan saat pelatihan model.
  • Konsistensi penjelasan: Memastikan alasan yang diberikan tetap sesuai dengan hasil perhitungan model setelah pembaruan sistem.
  • Perubahan model dan DPIA: Meninjau kembali dokumentasi serta penilaian dampak ketika perubahan model atau tujuan pemrosesan memengaruhi tingkat risiko pemrosesan data pribadi.

Dengan evaluasi tersebut, perusahaan dapat memastikan penjelasan AI tetap relevan seiring perubahan data, proses bisnis, dan kebutuhan pengawasan. XAI pun tidak berhenti sebagai fitur transparansi, tetapi menjadi bagian dari tata kelola AI yang berjalan secara berkelanjutan.

Studi Kasus: Kartu Penjelasan Penahanan Pesanan

PT Arunika Distribusi Nusantara (fiktif) merupakan perusahaan distributor barang konsumsi yang melayani sekitar 3.400 pelanggan toko. Untuk mengendalikan risiko kredit, perusahaan menggunakan model AI yang memberikan skor risiko berdasarkan riwayat pembayaran, kondisi piutang, nilai pesanan, dan faktor transaksi lainnya.

Sistem dirancang untuk menahan pesanan secara otomatis ketika skor risiko mencapai 65 atau lebih. Namun, sebelum menerapkan Explainable AI, sistem hanya menampilkan notifikasi sederhana berupa “Ditahan: risiko tinggi” tanpa menjelaskan faktor yang menyebabkan pesanan masuk kategori tersebut.

Kondisi ini menyulitkan tim keuangan dalam melakukan investigasi. Credit controller harus memeriksa riwayat transaksi, mencocokkan pembayaran, dan menelusuri dokumen pendukung secara manual untuk mengetahui penyebab penahanan. Setiap bulan, rata-rata terdapat 1.240 pesanan yang tertahan dengan waktu investigasi sekitar 26 menit per kasus. Dari seluruh penahanan tersebut, 38% akhirnya dilepas karena setelah diperiksa, pesanan dinilai masih layak diproses.

Bagaimana Kartu Penjelasan Membantu Investigasi?

Untuk mengatasi masalah tersebut, perusahaan menerapkan kartu penjelasan yang menampilkan faktor-faktor pembentuk skor risiko, nilai kontribusi masing-masing faktor, serta informasi transaksi yang dapat ditelusuri kembali.

Salah satu contohnya terjadi pada pesanan senilai Rp186.000.000 dari Toko Sinar Makmur, sebuah toko milik perorangan. Sistem menahan pesanan karena skor risiko mencapai 70, melewati ambang batas 65.

Berbeda dari sistem sebelumnya, credit controller kini dapat melihat rincian faktor yang membentuk skor tersebut.

Kartu penjelasan penahanan pesanan

FaktorNilaiKontribusi Skor
Skor dasar rata-rata portofolio—22
Piutang lewat 60 hariRp74.000.000+31
Nilai pesanan dibandingkan rata-rata 6 bulan2,4 kali+14
Giro ditolak dalam 90 hari terakhir2 lembar+9
Lama menjadi pelanggan7 tahun−6
Skor akhir (ambang 65)70

Dari rincian tersebut, terlihat bahwa piutang yang telah melewati 60 hari menjadi faktor terbesar yang meningkatkan skor risiko. Sementara itu, lama hubungan pelanggan selama tujuh tahun justru memberikan kontribusi negatif, yang menurunkan skor risiko.

Informasi ini membantu credit controller menentukan prioritas pemeriksaan. Alih-alih menelusuri seluruh riwayat transaksi dari awal, tim dapat langsung memeriksa faktor dengan kontribusi terbesar, yaitu piutang lewat jatuh tempo.

Proses Koreksi Data dan Penyesuaian Skor Risiko

Setelah menelusuri catatan piutang dan dokumen bank, credit controller menemukan bahwa Rp58.000.000 dari total piutang lewat 60 hari sebenarnya sudah dibayar oleh pelanggan melalui transfer. Namun, pembayaran tersebut belum dialokasikan ke faktur yang bersangkutan sehingga masih tercatat sebagai piutang tertunggak dalam sistem.

Tim keuangan kemudian melakukan pencatatan alokasi pembayaran agar saldo piutang mencerminkan kondisi transaksi yang sebenarnya.

Jurnal alokasi pembayaran pelanggan

AkunDebitKredit
Pembayaran pelanggan belum teralokasiRp58.000.000—
Piutang usaha: Toko Sinar Makmur—Rp58.000.000

Setelah alokasi dilakukan, saldo piutang yang melewati 60 hari turun dari Rp74.000.000 menjadi Rp16.000.000. Kontribusi faktor tersebut terhadap skor risiko juga turun dari +31 menjadi +9.

Dengan penyesuaian tersebut, skor akhir berubah dari 70 menjadi 48, berada di bawah ambang penahanan 65. Pesanan senilai Rp186.000.000 akhirnya dapat dilepas setelah proses pemeriksaan selama 11 menit, tanpa pelanggan harus mengajukan keberatan terlebih dahulu.

Kasus ini menunjukkan bahwa penjelasan AI bukan hanya membantu pengguna mengetahui alasan sebuah keputusan, tetapi juga mengarahkan pemeriksaan pada sumber masalah yang sebenarnya. Dalam contoh ini, penyebab penahanan bukan sepenuhnya risiko kredit pelanggan, melainkan ketidaksesuaian pencatatan pembayaran.

Dampak Penerapan Explainable AI terhadap Operasional

Setelah menemukan pola serupa pada transaksi lainnya, perusahaan melakukan evaluasi terhadap seluruh penahanan pesanan. Hasilnya, sekitar 41% penahanan yang sebelumnya dilepas ternyata memiliki pola masalah serupa, yaitu pembayaran pelanggan yang sudah diterima tetapi belum dialokasikan dengan benar.

Perusahaan kemudian mengotomatisasi proses alokasi pembayaran dan melakukan kalibrasi ulang model agar penilaian risiko lebih mencerminkan kondisi piutang aktual.

Setelah tiga bulan penerapan, perusahaan mencatat perubahan pada sejumlah indikator operasional berikut:

IndikatorSebelumSesudah 3 Bulan
Penahanan per bulan1.240860
Waktu investigasi per kasus26 menit9 menit
Penahanan yang akhirnya dilepas38%17%
Jam investigasi per bulan537 jam129 jam
Biaya investigasi (Rp110.000 per jam)Rp59.070.000Rp14.190.000

Berdasarkan data tersebut, waktu investigasi turun dari 26 menit menjadi 9 menit per kasus. Jumlah penahanan juga berkurang sebanyak 380 kasus per bulan, sedangkan proporsi penahanan yang akhirnya dilepas turun dari 38% menjadi 17%.

Dari sisi biaya, pengeluaran investigasi turun dari Rp59.070.000 menjadi Rp14.190.000 per bulan. Artinya, perusahaan memperoleh penghematan sebesar Rp44.880.000 setiap bulan berdasarkan asumsi biaya investigasi Rp110.000 per jam.

Selain efisiensi operasional, setiap keputusan kini dilengkapi dengan informasi faktor pemicu, skor, data pendukung, dan catatan tindakan peninjau. Dokumentasi tersebut memberikan jejak pemeriksaan yang dapat digunakan ketika auditor meminta penjelasan mengenai alasan suatu pesanan ditahan atau dilepas.

Studi kasus ini memperlihatkan bahwa penerapan XAI dapat memberikan manfaat yang lebih luas daripada sekadar transparansi model. Ketika penjelasan terhubung dengan data transaksi dan proses pemeriksaan manusia, perusahaan dapat mengidentifikasi kesalahan pencatatan, mengurangi penahanan yang tidak diperlukan, dan meningkatkan akuntabilitas keputusan AI.


Kesalahan Umum dalam Menerapkan Explainable AI

Meskipun XAI membantu meningkatkan transparansi keputusan AI, penerapannya tetap memiliki sejumlah tantangan. Berikut beberapa kesalahan yang perlu dihindari perusahaan:

  • Menampilkan skor tanpa faktor penjelas: Membuat approver kesulitan memahami alasan keputusan. Tampilkan tiga faktor utama pada setiap penanda AI.
  • Menggunakan satu format untuk semua audiens: Penjelasan bisa terlalu teknis atau kurang informatif. Sesuaikan dengan kebutuhan masing-masing pengguna.
  • Menggunakan narasi LLM tanpa dasar atribusi: Berisiko menghasilkan alasan yang keliru. Pastikan narasi mengacu pada nilai kontribusi aktual.
  • Tidak mencatat versi model: Menyulitkan penelusuran keputusan lama. Simpan versi model, snapshot input, dan hasil penjelasan.

Bagaimana Mekari ERP Mendukung Explainable AI di Keuangan?

Penerapan Explainable AI dalam proses keuangan membutuhkan lebih dari sekadar kemampuan mendeteksi transaksi tidak wajar. Sistem juga perlu membantu tim memahami alasan di balik penanda, membandingkan data pendukung, dan mencatat tindakan yang diambil setelah pemeriksaan. Dengan begitu, hasil analisis AI dapat digunakan sebagai dasar investigasi tanpa menghilangkan peran manusia dalam pengambilan keputusan.

Melalui fitur AI Anomaly Detection Mekari ERP, perusahaan dapat mendukung proses tersebut melalui beberapa kapabilitas berikut:

  • Deteksi anomali transaksi: Membantu mengidentifikasi nominal yang tidak wajar, transaksi duplikat, dan pola transaksi yang berbeda dari kebiasaan. Tim keuangan dapat menggunakan penanda tersebut untuk menentukan transaksi yang perlu diperiksa lebih lanjut.
  • Penjelasan AI dan transaksi pembanding: Menyediakan penjelasan mengenai alasan transaksi teridentifikasi sebagai anomali, dilengkapi perbandingan dengan transaksi serupa dan rekomendasi langkah pemeriksaan berikutnya.
  • Klasifikasi tingkat risiko: Membantu mengelompokkan anomali berdasarkan tingkat risiko sehingga tim keuangan dapat memprioritaskan pemeriksaan berdasarkan tingkat urgensinya.
  • Review dan audit trail: Memungkinkan pengguna meninjau, menandai, atau mengabaikan anomali dengan menyertakan alasan. Riwayat keputusan juga tercatat untuk mendukung penelusuran dan proses audit.

Menjelang 16 Januari 2027, mulailah dari satu keputusan AI tingkat 2 atau 3, susun kartu penjelasannya, lalu uji dengan lima uji di atas.

Referensi

  • National Institute of Standards and Technology. Four Principles of Explainable Artificial Intelligence (NIST IR 8312). September 2021.
  • McKinsey & Company. “Building AI trust: The key role of explainability.” 26 November 2024.
  • Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi.
  • Peraturan Pemerintah Nomor 33 Tahun 2026 tentang Peraturan Pelaksanaan UU Nomor 27 Tahun 2022.
  • Otoritas Jasa Keuangan. Tata Kelola Kecerdasan Artifisial Perbankan Indonesia. 2025. Lundberg, S. dan Lee, S. “A Unified Approach to Interpreting Model Predictions.” NeurIPS 2017.

FAQ

1. Apa perbedaan explainable AI dan interpretable AI?

1. Apa perbedaan explainable AI dan interpretable AI?

Interpretable AI merujuk pada model yang logikanya bisa dibaca langsung, seperti aturan atau pohon keputusan. Explainable AI lebih luas: mencakup model interpretable sekaligus metode tambahan seperti SHAP yang menjelaskan model kompleks setelah prediksi dibuat.

2. Apakah semua sistem AI di perusahaan wajib explainable menurut regulasi Indonesia?

2. Apakah semua sistem AI di perusahaan wajib explainable menurut regulasi Indonesia?

Kewajiban paling tegas ada di PP 33/2026 untuk keputusan otomatis yang berdampak signifikan pada orang perorangan. AI untuk keputusan antarbadan usaha tidak terkena pasal itu, tetapi auditor tetap akan meminta dasar setiap penanda yang memengaruhi laporan keuangan.

3. Apakah SHAP atau LIME saja cukup sebagai bukti audit?

3. Apakah SHAP atau LIME saja cukup sebagai bukti audit?

Belum. Angka atribusi perlu disimpan bersama versi model, snapshot input, dan tindakan peninjau. Karena hasil LIME bisa berubah antarjalankan, SHAP atau model interpretable umumnya lebih kuat sebagai bukti.

4. Bagaimana explainable AI diterapkan pada AI generatif seperti asisten internal?

4. Bagaimana explainable AI diterapkan pada AI generatif seperti asisten internal?

Jawaban harus menyertakan sumber yang bisa diklik, misalnya dokumen atau transaksi asal, dan menyatakan bila informasinya tidak tersedia. Narasi yang tidak bisa ditelusuri ke sumbernya jangan dipakai untuk keputusan.

5. Siapa yang bertanggung jawab atas explainable AI di perusahaan?

5. Siapa yang bertanggung jawab atas explainable AI di perusahaan?

Pemilik proses bertanggung jawab atas keputusan dan kartu penjelasannya, tim data atas metode dan uji mutunya, sedangkan risiko, audit internal, dan petugas pelindungan data mengawasi 

WhatsApp Icon WhatsApp sales