تشخیص خودکار خستگی راننده با استفاده از سیگنال‌های EEG بر اساس شبکه‌های یادگیری عمیق

شیخی‌وند, سبحان; موسوی, زهره; یوسفی رضایی, توحید

doi:10.22041/ijbme.2020.123345.1577

نوع مقاله : مقاله کامل پژوهشی

نویسندگان

¹ دانشجوی دکتری مهندسی پزشکی، گروه مهندسی پزشکی، دانشکده‌ی مهندسی برق و کامپیوتر، دانشگاه تبریز، تبریز، ایران

² دانشجوی دکتری مهندسی مکانیک، گروه مهندسی مکانیک، دانشکده‌ی مهندسی مکانیک، دانشگاه تبریز، تبریز، ایران

³ دانشیار، گروه مهندسی پزشکی، دانشکده‌ی مهندسی برق و کامپیوتر، دانشگاه تبریز، تبریز، ایران

10.22041/ijbme.2020.123345.1577

چکیده

در سال‌های اخیر خستگی راننده به یکی از دلایل مهم تصادفات جادهای تبدیل شده و مطالعات زیادی برای تحلیل خستگی راننده انجام شده است. سیگنالهای EEG به دلیل غیرتهاجمی بودن، مطمئنترین روش برای اندازهگیری خستگی راننده محسوب میشوند. تفسیر دستی سیگنالهای EEG برای تشخیص خستگی راننده امری دشوار است، بنابراین باید سیستم خودکاری برای تشخیص خستگی راننده با استفاده از سیگنال‌های EEG فراهم شود. یکی از مشکلات مربوط به الگوریتمهای تشخیص خودکار خستگی راننده، استخراج و انتخاب ویژگیهای تبعیضآمیز است که به طور کلی منجر به پیچیدگی محاسباتی میشود. در این مقاله یک رویکرد جدید برای طبقهبندی خودکار دومرحلهای خستگی راننده از 6 منطقه‌ی فعال با استفاده از سیگنالهای EEG ارائه شده است. در این روش سیگنال EEG ثبت شده به طور مستقیم و بدون استفاده از استخراج/انتخاب ویژگی کلاسیک به عنوان ورودی شبکهی عمیق کانولوشنال و شبکهی حافظه‌ی طولانی کوتاه‌مدت (CNN-LSTM) در نظر گرفته شده است. موارد بیان شده به عنوان یک روند چالش برانگیز در مقالات پیشین مطرح شده است. معماری شبکه‌ی پیشنهادی به صورت 7 لایه‌ی کانولوشن با 3 لایه‌ی LSTM و به دنبال آن 2 لایه‌ی کاملا متصل طراحی شده است. از شبکه‌ی LSTM در ترکیب با شبکه‌ی CNN برای افزایش پایداری و کاهش نوسانات استفاده شده است. نتایج شبیهسازی روش پیشنهادی برای طبقهبندی 2 حالت از خستگی راننده برای 6 ناحیه‌ی فعال A، B، C، D، E (بر اساس یک کانال) و F به ترتیب صحت 23/99، 55/97، 98، 26/97، 78/98، 77/93 درصد و ضریب کاپاکوهن 98/0، 96/0، 97/0، 96/0، 98/0 و 92/0 را ارائه کرده است. علاوه بر این با مقایسه‌ی نتایج به دست آمده با نتایج روشهای پیشین، عمل‌کرد مطلوب روش پیشنهادی نشان داده شده است. هم‌چنین با توجه به صحت بالای روش پیشنهادی بر اساس یک کانال سیگنال EEG (منطقه‌ی E)، میتوان از آن برای طراحی سیستم‌های خودکار تشخیص خستگی راننده با پیششرط سرعت و صحت بالا استفاده کرد.

کلیدواژه‌ها

موضوعات

بیوالکتریک

عنوان مقاله [English]

Automatic Detection of Driver Fatigue from EEG Signals using Deep Neural Networks

نویسندگان [English]

Sobhan Sheykhivand ¹
Zohreh Mousavi ²
Tohid Yousefi Rezaii ³

¹ Ph.D. Student, Biomedical Engineering Department, Faculty of Electrical and Computer Engineering, University of Tabriz, Tabriz, Iran

² Ph.D. Student, Department of Mechanical Engineering, Faculty of Mechanical Engineering, University of Tabriz, Tabriz, Iran

³ Associate Professor, Biomedical Engineering Department, Faculty of Electrical and Computer Engineering, University of Tabriz, Tabriz, Iran

چکیده [English]

In recent years, driver fatigue has become one of the major causes of road accidents, and many studies have been conducted to analyze driver fatigue. EEG signals are considered the most reliable method for measuring driver fatigue because of the non-invasive nature. Manual interpretation of EEG signals for detection of driver fatigue is impossible, so an automatic detection of driver fatigue from EEG signals should be provided. One of the problems regarding the automatic detection of driver fatigue is extraction and selection of discriminative features witch generally leads to computational complexity. This paper prepares a new approach to automatic classifying 2 stages of driver fatigue from 6 active regions of EEG signals. In the proposed method, directly apply the raw EEG signal to convolutional neural network-long short time memory (CNN-LSTM) network, without involving feature extraction/selection. This is a challenging process in previous literature. The proposed network architecture includes 7 convolutional layers with 3 LSTM layers followed by 2 fully connected layers. The LSTM network in a fusion with the CNN network has been used to increase stability and reduce oscillation. The simulation results of the proposed method for classifying 2 stages of driver fatigue for 6 active regions A, B, C, D, E (based single-channel) and F show the accuracy of 99.23%, 97.55%, 98.00%, 97.26%, 98.78%, 93.77% and Cohen’s Kappa coefficient of 0.98, 0.96, 0.97, 0.96, 0.98 and 0.92 respectively. Furthermore, comparing the obtained results with the previous methods reveals the performance improvement of the proposed driver fatigue detection in terms of accuracy. According to the high accuracy of the proposed single-channel (region E) method, it can be used for the design of automatic detection of driver fatigue systems with high speed and accuracy.

کلیدواژه‌ها [English]

EEG
Driver fatigue
CNN
LSTM

مراجع

[1] W. H. Organization, Global status report on road safety 2015. World Health Organization, 2015.

[2] P. S. Rau, "Drowsy driver detection and warning system for commercial vehicle drivers: field operational test design, data analyses, and progress," in 19th International Conference on Enhanced Safety of Vehicles, 2005: Citeseer, pp. 6-9.

[3] M. I. Chacon-Murguia and C. Prieto-Resendiz, "Detecting Driver Drowsiness: A survey of system designs and technology," IEEE Consumer Electronics Magazine, vol. 4, no. 4, pp. 107-119, 2015.

[4] A. Sahayadhas, K. Sundaraj, and M. Murugappan, "Detecting driver drowsiness based on sensors: a review," Sensors, vol. 12, no. 12, pp. 16937-16953, 2012.

[5] J. D. Wheeler, "Highway safety system and method," ed. Google Patents, 2008.

[6] R. D. Ogilvie, "The process of falling asleep," Sleep medicine reviews, vol. 5, no. 3, pp. 247-270, 2001.

[7] M. J. Prerau, R. E. Brown, M. T. Bianchi, J. M. Ellenbogen, and P. L. Purdon, "Sleep neurophysiological dynamics through the lens of multitaper spectral analysis," Physiology, vol. 32, no. 1, pp. 60-92, 2016.

[8] M. J. Prerau et al., "Tracking the sleep onset process: an empirical model of behavioral and physiological dynamics," PLoS computational biology, vol. 10, no. 10, p. e1003866, 2014.

[9] T. Nguyen, S. Ahn, H. Jang, S. C. Jun, and J. G. Kim, "Utilization of a combined EEG/NIRS system to predict driver drowsiness," Scientific reports, vol. 7, p. 43933, 2017.

[10]A. G. Correa, L. Orosco, and E. Laciar, "Automatic detection of drowsiness of EEG records" Medical engineering & physics, vol. 36, no. 2, pp. 204-229, 2015.

[11]C. Zhang, H. Wang, and R. Fu, "Automated detection of driver fatigue based on entropy and complexity measures," IEEE Transactions on Intelligent Transportation Systems, vol. 15, no. 1, pp. 168-177, 2013.

[12]R. Chai et al., "Driver fatigue classification with independent component by entropy rate bound minimization analysis in an EEG-based system," IEEE journal of biomedical and health informatics, vol. 21, no. 3, pp. 715-724, 2016.

[13]C. Zhang, H. Wang, and R. Fu, "Automated detection of driver fatigue based on entropy and complexity measures," IEEE Transactions on Intelligent Transportation Systems, vol. 15, no. 1, pp. 168-177, 2013.

[14]J. Yin, J. Hu, and Z. Mu, "Developing and evaluating a mobile driver fatigue detection network based on electroencephalograph signals," Healthcare technology letters, vol. 4, no. 1, pp. 34-38, 2017.

[15]L.-W. Ko et al., "Single channel wireless EEG device for real-time fatigue level detection," in 2015 International Joint Conference on Neural Networks (IJCNN), 2015: IEEE, pp. 1-5.

[16]Y. Wang, X. Liu, Y. Zhang, Z. Zhu, D. Liu, and J. Sun, "Driving fatigue detection based on eeg signal," in 2015 Fifth International Conference on Instrumentation and Measurement, Computer, Communication and Control (IMCCC), 2015: IEEE, pp. 715-718.

[17]Z. Mu, J. Hu, and J. Yin, "Driving fatigue detecting based on EEG signals of forehead area," International Journal of Pattern Recognition and Artificial Intelligence, vol. 31, no. 05, p. 1750011, 2017.

[18]B. T. Nugraha, R. Sarno, D. A. Asfani, T. Igasaki, and M. N. Munawar, "CLASSIFICATION OF DRIVER FATIGUE STATE BASED ON EEG USING EMOTIV EPOC+," Journal of Theoretical & Applied Information Technology, vol. 86, no. 3, 2016.

[19]J. Hu, "Automated detection of driver fatigue based on AdaBoost classifier with EEG signals," Frontiers in computational neuroscience, vol. 11, p. 72, 2017.

[20]J. Min, P. Wang, and J. Hu, "Driver fatigue detection through multiple entropy fusion analysis in an EEG-based system," PLoS one, vol. 12, no. 12, p. e0188756, 2017.

[21]Q. Cai, Z.-K. Gao, Y.-X. Yang, W.-D. Dang, and C. Grebogi, "Multiplex Limited Penetrable Horizontal Visibility Graph from EEG Signals for Driver Fatigue Detection," International journal of neural systems, vol. 29, no. 5, pp. 1850057-1850057, 2019.

[22]H. Luo, T. Qiu, C. Liu, and P. Huang, "Research on fatigue driving detection using forehead EEG based on adaptive multi-scale entropy," Biomedical Signal Processing and Control, vol. 51, pp. 50-58, 2019.

[23]Z.-K. Gao, Y.-L. Li, Y.-X. Yang, and C. Ma, "A recurrence network-based convolutional neural network for fatigue driving detection from EEG," Chaos: An Interdisciplinary Journal of Nonlinear Science, vol. 29, no. 11, p. 113126, 2019.

[24]Goodfellow. I., Bengio. Y., Courville. A., 2016. Deep Learning. MIT Press, http://www.deeplearningbook.org.

[25]G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R. R. Salakhutdinov, "Improving neural networks by preventing co-adaptation of feature detectors," arXiv preprint arXiv: 1207.0580, 2012.

[26]S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," arXiv preprint arXiv: 1502.03167, 2015.

[27]N. Siddique and H. Adeli, Computational intelligence: synergies of fuzzy logic, neural networks and evolutionary computing. John Wiley & Sons, 2013.

[28]Z. Mousavi,., et al. "Deep convolutional neural network for classification of sleep stages from single-channel EEG signals." Journal of neuroscience methods 108-312. 2019.

[29]S. Hochreiter and J. Schmidhuber, "Long short-term memory," Neural computation, vol. 9, no. 8, pp. 1735-1780, 1997.

فصل نامه علمی پژوهشی مهندسی پزشکی زیستی

تشخیص خودکار خستگی راننده با استفاده از سیگنال‌های EEG بر اساس شبکه‌های یادگیری عمیق

مراجع

مراجع

دوره 14، شماره 3
پاییز 1399
صفحه 179-193

تشخیص خودکار خستگی راننده با استفاده از سیگنال‌های EEG بر اساس شبکه‌های یادگیری عمیق

مراجع

مراجع

دوره 14، شماره 3پاییز 1399صفحه 179-193

دوره 14، شماره 3
پاییز 1399
صفحه 179-193