Derin Öğrenmede Kullanılan Optimizasyon Algoritmalarının Uygulanması Ve Kıyaslanması

Creative Commons License

Seyyarer E., Ayata F., Uçkan T., Karcı A.

Anatolian Science, cilt.5, sa.2, ss.90-98, 2020 (Hakemli Dergi)

  • Yayın Türü: Makale / Tam Makale
  • Cilt numarası: 5 Sayı: 2
  • Basım Tarihi: 2020
  • Dergi Adı: Anatolian Science
  • Sayfa Sayıları: ss.90-98
  • Van Yüzüncü Yıl Üniversitesi Adresli: Evet

Özet

Derin öğrenme (çok katmanlı yapay sinir ağı), katmanlı mimarisiyle büyük veri setlerinden öğrenme geçekleştiren makine öğreniminin bir alt dalıdır. İşlemci hızları ve depolamadaki artış, ucuz bilgisayar donanımı ve makine öğreniminin kazanımları, derin öğrenme gelişimini yükselten faktörlerdir. Derin öğrenmede hatayı minimuma düşürmek için kullanılan gradyan iniş tabanlı optimizasyon algoritmaları da (Stochastic gradient descent (sgd), momentum, adam, adagrad, rmsprop ve adadelta), bu başarının bir parçası olmaktadır. Bu çalışmada uluslararası bir veri seti olan caltech 101 veri setine derin öğrenme ve optimizasyon algoritmaları uygulanmıştır. Aktivasyon fonksiyonu olarak relu, hata fonksiyonu olarak da cross entropi işlemleri tercih edilmiştir. Veri setindeki imgeler 64x64’e göre yeniden boyutlandırılmıştır. Programın her çalıştırılmasında rasgele altı kategori imge alınmaktadır ve 100 iterasyon çalıştırılmaktadır. Optimizasyon algoritmaları ile farklı sonuçlar elde edilmiş ve bu sonuçlar analiz edilmiştir. Sınıflamadaki başarı oranları sgd:%64.5, momentum:%85.56, adam:%92.31, adagrad:%71.25, rmsprop:%40.26 ve adadelta:%86.88 olarak gözlemlenmiştir.

Deep learning (multi layer artificial neural network) is a sub-branch of machine learning that enables learning from large data sets with its layered architecture. Increased processor speeds and storage, inexpensive computer hardware and machine learning gains are factors that boost deep learning development. Gradient descent based optimization algorithms(Stochastic gradient descent (sgd), momentum, adam, adagrad, rmsprop and adadelta) used to minimize error in deep learning are also part of this success. In this study, deep learning and optimization algorithms were applied to the caltech 101 data set, which is an international data set. Relu was used as activation function and cross entropy was preferred as loss function. Images are resized to 64x64. Each time the program is run, a random six category image is taken and 100 iterations are executed. Different results were obtained with optimization algorithms and these results were analyzed. The success rates in classification were observed as sgd: 64.5%, momentum: 85.56%, man: 92.31%, adagrad: 71.25%, rmsprop: 40.26% and adadelta: 86.88%.