HYPERPARAMETER OPTIMIZATION IN CONVOLUTIONAL NEURAL NETWORKS WITH SCATTER SEARCH ALGORITHM USING DIFFERENT CROSSOVER TECHNIQUES

Günümüzde yapay zekâ uygulamaları hayatın her alanında kullanılmaktadır ve gün geçtikçe daha uygulanabilir öneriler ve sonuçlar sunar hale gelmiştir. Evrişimli Sinir Ağları (ESA), birçok gerçek dünya probleminde başarılı sonuçlar veren, son yıllarda etkili ve yoğun bir şekilde uygulanan yapay zekâ algoritmalarından biridir. ESA’lar genellikle görsel bilginin analiz edilmesinde kullanılmaktadır. Görsel bilgi, ESA’larda bulunan evrişim, aktivasyon, havuzlama ve tam bağlantılı katmanlardan geçirilerek analiz edilmektedir. ESA eğitiminde kullanılan veri setine ve karşılaşılan probleme göre çeşitli parametreler kullanılmaktadır. Bu çalışmada en yüksek doğruluk değerini veren hiper parametrelerin seçilebilmesi için ESA eğitiminde kullanılan parametreler ve ağ yapısının oluşturulmasında kullanılan katmanlar optimize edilmiştir. Hiper parametrelerden kanal sayısı, evrişimsel katman, minimum parti boyutu ve aktivasyon fonksiyonu için ayrık değerler, öğrenme oranı için sürekli değerler belirlenmiştir. Bu çalışmada hiper parametre optimizasyonunu gerçekleştirmek için Dağınık Arama (DA) ve Genetik Algoritmalar (GA) yöntemleri tercih edilmiştir. DA yöntemi, GA ile kıyaslandığında ESA'lar için uygun hiper parametre değerlerinin kolaylıkla belirlenmesini sağlamıştır ve daha yüksek doğruluk değeri elde edilmiştir. Çalışmada elde edilen en yüksek doğruluk değerleri GA yöntemi ile %88.76 iken DA yöntemi ile % 93.24’tür. Bu değer 16 kanal sayısı, 5 x 5 evrişimsel katman, 64 minimum parti boyutu, 0.0052 öğrenme oranı ve reluLayer aktivasyon fonksiyonu parametreleri ile elde edilmiştir.

Nowadays, artificial intelligence applications are used in all areas of life and have become more and more applicable to provide recommendations and results. Convolutional Neural Networks (CNN) is one of the most effective and intensively applied artificial intelligence algorithms in recent years, providing successful results in many real-world problems. CNNs are generally used to analyze visual information. Visual information is analyzed by passing it through convolution, activation, pooling and fully connected layers in CNNs. In CNN training, various parameters are used according to the data set used and the problem encountered. However, finding the best hyperparameter values for a CNN is still a challenging task. In this study, the parameters used in CNN training and the layers used in the network structure are optimized in order to easily select the hyperparameters that give the highest accuracy. Discrete values for the number of channels, convolutional layer, minimum batch size and activation function and continuous values for the learning rate were chosen as hyper-parameters. In this study, Scatter Search (SS) algorithm is preferred to perform hyper parameter optimization. With the SS method, appropriate hyperparameter values for CNNs were easily determined and a higher accuracy was achieved. The highest accuracy value obtained in the study is 93.24%. This value was obtained with 16 number of channels, 5 x 5 convolutional layers, 64 minimum batch size, 0.0052 learning rate and reluLayer activation function parameters.