Sebuah sistem memberi tanda bahwa permohonan perlu ditolak. Petugas kemudian menekan tombol persetujuan, tetapi hanya melihat skor dan tidak dapat membuka data yang mendasarinya. Ada manusia dalam alur tersebut, namun perannya mungkin terbatas pada meneruskan hasil sistem.
Bandingkan dengan petugas yang dapat melihat informasi relevan, menerima koreksi, dan mempertimbangkan hasil lain sebelum keputusan ditetapkan. Kedua alur sama-sama memiliki tahap manusia, tetapi memberikan ruang pemeriksaan yang berbeda.
Peninjauan manusia atas keputusan AI perlu dipahami melalui apa yang benar-benar dapat diperiksa dan dilakukan dalam suatu proses. Pembahasan ini menggunakan konteks Indonesia. Contoh-contohnya bersifat hipotetis dan pertanyaan tata kelola di bawah bukan daftar kewajiban yang seluruhnya secara eksplisit disebut dalam satu pasal undang-undang.
Di mana manusia masuk dalam alur keputusan?
AI dapat menghasilkan skor, kategori, atau rekomendasi yang kemudian digunakan seseorang. Dalam alur lain, sistem langsung menetapkan hasil, lalu manusia baru terlibat setelah ada keberatan. Waktu keterlibatan itu penting: peninjauan sebelum hasil ditetapkan berbeda dari penanganan setelah seseorang mengalami akibatnya.
Misalnya, sebuah layanan hipotetis memberi tanda pada permohonan karena suatu data dianggap tidak sesuai. Jika petugas hanya memeriksa apakah kolom skor terisi, pemeriksaan tersebut belum menjawab apakah data yang digunakan benar atau apakah tanda itu relevan bagi permohonan. Jika petugas dapat menunda hasil, meminta klarifikasi, dan mempertimbangkan informasi yang diperbarui, ruang peninjauannya lebih luas.
Pertanyaan pertama bukan hanya siapa yang menekan tombol terakhir, melainkan tahap mana yang menentukan hasil. Aturan internal, ambang skor, tampilan aplikasi, dan kewenangan petugas dapat memengaruhi apakah rekomendasi benar-benar masih dapat dipertimbangkan. Peninjauan setelah keputusan juga perlu dilihat terpisah: apakah akibat keputusan sudah berjalan dan apakah proses keberatan dapat menghasilkan perubahan atau pemulihan bila diperlukan?
Data yang dilihat peninjau dan sumbernya
Peninjau perlu dapat memahami informasi apa yang dipakai untuk menghasilkan keluaran dan apakah informasi tersebut relevan dengan keputusan. Nama bidang saja mungkin tidak cukup: tanggal data, sumber, serta hubungan data dengan orang yang dinilai dapat mengubah cara informasi dibaca.

Bayangkan sebuah sistem menandai permohonan karena mencatat dokumen sebagai tidak lengkap. Petugas perlu membedakan dokumen yang memang tidak diserahkan dari dokumen yang telah diterima tetapi belum terbaca atau belum terhubung dengan berkas yang tepat. Tanpa akses pada status dan sumber informasi yang relevan, petugas mungkin hanya mengulang kesimpulan sistem.
Pemeriksaan yang berguna dapat mencakup pertanyaan berikut:
- Informasi apa yang digunakan untuk kasus ini, dan kapan terakhir diperbarui?
- Apakah ada data yang hilang, keliru, atau berasal dari orang maupun berkas yang salah?
- Apakah orang yang terdampak dapat menyampaikan koreksi atau konteks yang belum masuk?
- Jika data diperbaiki, apakah keluaran perlu dihitung ulang dan apakah hasil lama masih memengaruhi keputusan?
Akses peninjau juga perlu dibatasi sesuai keperluan. Pemeriksaan yang lebih baik tidak selalu berarti setiap petugas harus melihat seluruh data pribadi. Informasi yang cukup untuk menilai persoalan perlu tersedia tanpa menjadikan pengungkapan tambahan sebagai tujuan tersendiri.
Alasan, skor, dan keterbatasan keluaran
Skor memberi suatu hasil dalam format angka, tetapi angka itu sendiri belum menjelaskan keputusan. Peninjau perlu mengetahui setidaknya apa yang diperkirakan skor, bagaimana skor digunakan dalam alur, dan apakah ada batas penggunaan yang relevan. Skor tentang kemungkinan suatu berkas memerlukan pemeriksaan tambahan, misalnya, berbeda dari penetapan bahwa pemohon tidak memenuhi syarat.
Penjelasan juga perlu dibaca menurut tingkatnya. Keterangan umum tentang jenis informasi yang dipakai sistem berbeda dari alasan mengapa suatu keluaran muncul dalam kasus tertentu. Jika sistem hanya menyediakan penjelasan umum, catatan itu tidak sebaiknya disajikan seolah-olah sudah menjelaskan seluruh faktor pada kasus tersebut.
Peninjau tidak selalu harus melihat kode sumber atau seluruh rincian model untuk melakukan tugasnya. Namun, bila informasi yang tersedia tidak cukup untuk memahami atau menantang hasil, keterbatasan itu perlu dicatat dan proses dapat memerlukan pemeriksaan lain. Tampilan yang meyakinkan bukan pengganti dasar yang dapat dipertimbangkan.
Kewenangan untuk berbeda dari rekomendasi
Akses informasi menjadi terbatas manfaatnya jika peninjau tidak memiliki cara nyata untuk bertindak atas temuannya. Kewenangan yang relevan dapat berupa menunda keputusan, meminta data tambahan, mengoreksi informasi melalui jalur yang tepat, meneruskan kasus kepada pihak lain, atau mengambil hasil berbeda sesuai peran dan aturan organisasi.
Perhatikan juga hambatan dalam praktik. Tombol untuk menyimpang dari rekomendasi mungkin tersedia, tetapi petugas dapat menghadapi waktu yang tidak memadai atau tidak mengetahui kapan dan bagaimana menggunakannya. Sebaliknya, kewenangan mengubah hasil tanpa alasan yang dapat ditelusuri juga menyulitkan pemeriksaan kemudian. Ruang bertindak dan alasan penggunaannya perlu sama-sama jelas.
Sebagai pembanding tata kelola, panduan otoritas pelindungan data Inggris, ICO membahas keterlibatan aktif, kemampuan menafsirkan masukan, serta kewenangan untuk tidak mengikuti rekomendasi. Panduan tersebut berada dalam konteks hukum Inggris; ia membantu mengajukan pertanyaan tentang desain proses, bukan menetapkan bahwa seluruh rinciannya merupakan kewajiban hukum Indonesia.
Apa yang dicatat ketika hasil berubah atau dipertahankan?
Catatan yang berguna memungkinkan pihak yang berwenang memahami rangkaian suatu kasus: keluaran apa yang diterima peninjau, informasi apa yang tersedia, apakah ada koreksi atau konteks tambahan, dan alasan hasil dipertahankan atau diubah. Catatan juga dapat membedakan keputusan awal dari penanganan keberatan sesudahnya.
Misalnya, jika data dokumen yang semula dianggap hilang ternyata tersedia, catatan dapat menunjukkan bahwa status data diperbaiki dan permohonan diperiksa kembali. Itu berbeda dari sekadar menulis “sistem salah”, yang tidak menjelaskan bagian mana yang keliru atau apa yang dilakukan setelahnya.
Catatan tidak perlu memuat ulang semua informasi sensitif dalam narasi bebas. Cakupan, akses, dan penyimpanannya perlu dipertimbangkan sesuai konteks. Jejak adanya peninjauan juga tidak otomatis membuktikan bahwa pertimbangannya tepat; isinya tetap perlu menunjukkan apa yang benar-benar diperiksa.
Hubungannya dengan hak keberatan dalam UU PDP
Di Indonesia, Pasal 10 Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi memberikan hak kepada subjek data pribadi untuk mengajukan keberatan atas tindakan pengambilan keputusan yang hanya didasarkan pada pemrosesan secara otomatis, termasuk pemrofilan, apabila keputusan tersebut menimbulkan akibat hukum atau berdampak signifikan pada subjek data. Unsur dasar otomatis dan dampaknya perlu dibaca bersama.
Keberadaan nama petugas belum dengan sendirinya menjawab apakah keputusan hanya didasarkan pada pemrosesan otomatis. Sebaliknya, fakta bahwa AI digunakan juga belum otomatis menjawabnya. Penilaiannya memerlukan pemahaman tentang alur dan peran manusia dalam kasus yang bersangkutan. Pembedaan antara pembentukan profil, rekomendasi, dan keputusan dibahas lebih lanjut dalam profiling dan keputusan otomatis dalam pelindungan data pribadi.
Hak mengajukan keberatan tidak identik dengan jaminan bahwa hasil akan berubah. Pasal 10 menyebut pengaturan lebih lanjut mengenai pengajuan keberatan dalam peraturan pemerintah; teks pasal tersebut sendiri tidak merinci semua langkah peninjauan yang dibahas di sini. Penerapan hak juga perlu dibaca bersama ketentuan dan pengecualian yang relevan, serta aturan sektoral bila berlaku.
Menelusuri satu keputusan yang dipersoalkan
Mulailah dengan memisahkan hasil yang diterima dari dugaan tentang cara sistem bekerja. Catat keputusan dan dampaknya, lalu perhatikan apa yang sudah dijelaskan: data yang digunakan, apakah hasil sistem merupakan rekomendasi atau penentu, serta apakah tersedia jalur untuk menyampaikan koreksi atau keberatan.
Pertanyaan dapat diarahkan secara spesifik. Data apa yang dianggap tidak sesuai? Apakah petugas dapat mempertimbangkan dokumen yang diperbarui? Apakah hasil akan ditinjau kembali, dan bagaimana jawaban disampaikan? Gunakan kanal resmi dan hindari mengirim data sensitif yang tidak diperlukan untuk menjelaskan persoalan.
Tidak semua jawaban akan membuka rincian teknis sistem. Meski demikian, pembedaan antara data, alasan, kewenangan, dan tindak lanjut membantu menunjukkan apa yang sudah diketahui serta apa yang masih memerlukan penjelasan. Bila konsekuensinya penting, penilaian atas hak dan langkah yang tersedia memerlukan fakta serta ketentuan yang berlaku pada keadaan tersebut.
Artikel ini merupakan informasi umum dalam konteks Indonesia, bukan nasihat hukum untuk keadaan pribadi.

