Prototype Sistem Deteksi Kesalahan SOP Pada Dokumen Surat Dinas Menggunakan Machine Learning

Pemeriksaan dokumen surat di Dinas Sosial Pengendalian Penduduk dan Keluarga Berencana (Dinsos PPKB) Kabupaten Purworejo masih dilakukan secara manual sehingga menyebabkan proses validasi lambat, subjektif, dan rentan terhadap kesalahan administratif. Penelitian ini bertujuan mengembangkan Prototype sistem web yang mampu menganalisis dokumen Word dan mendeteksi ketidaksesuaian terhadap Standar Operasional Prosedur (SOP) secara otomatis menggunakan Machine learning dan Natural Language Processing (NLP), serta menyajikan rekomendasi perbaikan melalui antarmuka obrolan AI (AI Chat Interface). Metode pengembangan menggunakan Prototype dengan tahapan analisis kebutuhan, perancangan, pembangunan proof of concept, dan pengujian iteratif. Sistem mengekstraksi teks dari dokumen .docx (Surat Undangan dan Surat Tugas), menerapkan rulebased NLP (Regular Expression dan jarak Levenshtein) untuk menghasilkan fitur biner delapan elemen SOP, lalu mengklasifikasikan kepatuhan menggunakan Support Vector Machine (SVM). Data latih terdiri dari 40 dokumen dan data uji 10 dokumen yang diambil dari arsip dinas. Hasil pengujian menunjukkan model SVM mencapai F1-Score 86% untuk Surat Undangan dan 67% untuk Surat Tugas, keduanya melampaui target minimal 65%. Validasi Stratified K Fold (K=2–6) memberikan rata rata akurasi 0,75–0,92 (Undangan) dan 0,60–0,82 (Tugas). Pengujian black box pada delapan skenario fungsional berhasil seluruhnya. Interaksi melalui AI Chat (Google Gemini API) memberikan rekomendasi perbaikan yang spesifik dan tetap berfungsi dengan fallback aturan saat kuota API habis.
Uji penerimaan pengguna oleh pegawai Dinsos PPKB menunjukkan bahwa sistem mudah digunakan dan dipersepsikan membantu oleh pegawai dalam validasi surat. Prototype ini membuktikan bahwa integrasi SVM, NLP berbasis aturan, dan AI Chat dapat menjadi alat bantu deteksi kesalahan SOP yang efektif di instansi pemerintahan daerah.