Pengembangan Deteksi Kantuk Multimodal Berbasis Landmark Wajah dan Suara Menguap dengan Klasifikasi Menggunakan Artificial Neural Network dan Pengambilan Keputusan Berbasis Logika Fuzzy

Fajria, Nurul (2026) Pengembangan Deteksi Kantuk Multimodal Berbasis Landmark Wajah dan Suara Menguap dengan Klasifikasi Menggunakan Artificial Neural Network dan Pengambilan Keputusan Berbasis Logika Fuzzy. S2 thesis, Universitas Andalas.

	Text (Cover dan Abstrak) cover+abstrak.pdf - Published Version Download (103kB)
	Text (BAB 1) BAB I.pdf - Published Version Download (104kB)
	Text (BAB 5) BAB V.pdf - Published Version Download (80kB)
	Text (Daftar Pustaka) Daftar Pustaka.pdf - Published Version Download (170kB)
	Text (Tesis Full Text) FULL TEXT_Laporan Tesis Nurul Fajria_2420952005.pdf - Published Version Restricted to Repository staff only Download (7MB) | Request a copy

Abstract

Kantuk pada pengemudi dapat menurunkan kewaspadaan, memperlambat respons, dan meningkatkan risiko kecelakaan lalu lintas. Sistem deteksi satu modalitas memiliki keterbatasan karena informasi visual dapat dipengaruhi pencahayaan, posisi wajah, dan aktivitas mulut, sedangkan informasi audio dapat dipengaruhi kebisingan lingkungan. Penelitian ini mengembangkan sistem deteksi kantuk berbasis multimodal dengan menggabungkan informasi visual dari landmark wajah dan informasi audio dari suara menguap untuk menentukan kondisi pengemudi menjadi Terjaga, Lelah, atau Mengantuk. Fitur visual diperoleh menggunakan Eye Aspect Ratio (EAR) dan Mouth Aspect Ratio (MAR), sedangkan fitur audio diekstraksi menggunakan Mel-Frequency Cepstral Coefficients (MFCC). Fitur visual dan audio diklasifikasikan terpisah menggunakan model Artificial Neural Network (ANN). Keluaran ANN visual dan ANN audio digabungkan menggunakan logika fuzzy dengan 27 aturan. ANN visual dengan pembagian 80% latih, 10% validasi, dan 10% uji menghasilkan akurasi 99,92% pada kondisi mata dan 99,97% pada kondisi mulut. Pengujian eksternal pada 10 responden menghasilkan akurasi 99,90% pada mata dan 99,95% pada mulut. Model ANN audio dengan threshold 0,33 memperoleh akurasi 88,24% pada data uji internal, sedangkan pengujian eksternal memperoleh akurasi 92%. Evaluasi fungsional logika fuzzy terhadap 27 kombinasi aturan menghasilkan tingkat kesesuaian 100%. Validasi sistem multimodal pada 20 skenario menghasilkan 18 keputusan yang sesuai dengan kondisi aktual, sehingga tingkat kesesuaian tegas mencapai 90% dan skor kesesuaian bertingkat mencapai 95%. Sistem membutuhkan waktu pemrosesan 51,77 ms untuk proses visual dan fuzzy, 86,86 ms untuk proses audio, serta 135,09 ms untuk keseluruhan proses multimodal. Hasil menunjukkan bahwa sistem mampu menggabungkan kondisi mata, mulut, dan suara menguap secara bertahap dalam menentukan tingkat kewaspadaan pengemudi. Pendekatan ini berpotensi dikembangkan sebagai sistem peringatan dini noninvasif berbasis kamera dan mikrofon standar.

Actions (login required)

View Item