PISA 2015 Veri Setinde OVA ve OVO Stratejileri Çerçevesinde Bazı Temel Sınıflandırıcıların Performanslarının Karşılaştırılması

Demir H., Zırhlıoğlu G.

Van Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, cilt.19, sa.3, ss.733-759, 2022 (TRDizin)

Özet

Bu çalışmanın amacı hem çok sınıflı verilerin sınıflandırılması için kullanılan OVA ve OVO stratejilerinin hem de bu stratejiler altında uygulanan bazı ikili sınıflandırıcıların performanslarının karşılaştırılmasıdır. Çalışmanın yöntemi betimsel araştırmadır. 5895 örnek içeren veri setinden, boş veri içeren örnekler silindiğinde elde edilen 26 bağımsız 1 bağımlı değişkenden oluşan 3459 örnekli veri setine OVA ve OVO stratejileri altında belirlenen beş farklı algoritma (J-48, KNN, LR, NB, DVM) uygulanmıştır. Test seçeneklerinden 10 katlı çapraz geçerleme, birleştirme stratejilerinden de oy verme tekniği kullanılmıştır. Analiz sonucunda OVA ve OVO stratejilerinin her ikisi altında en başarılı algoritmalar LR ve NB algoritmaları iken en başarısız algoritma KNN algoritması olarak belirlenmiştir. En az örnek içeren sınıfı tahminleyebilme başarısı bakımından her iki strateji altında da en başarılı algoritma KNN algoritmasıdır. Algoritmalar doğruluk değeri ve hata ortalaması bakımından OVA stratejisi altında F metriği bakımından ise OVO stratejisi altında daha başarılıdır. Farklı algoritmaların performansları farklı koşullarda denenebilir. Eğitim ortamlarından gelen verilerin bulunduğu veritabanlarındaki çok kategorili verilere OVA ve OVO stratejileri ile çalışmada kullanılan algoritmalar uygulanarak alınacak kararların daha isabetli olması sağlanabilir.
This paper compares the OVA and OVO classification strategies used for multi-class data classification, as well as the effectiveness of specific binary classifiers using these procedures. The study utilizes descriptive research as its methodology. Science achievement test data and survey results of 5895 Turkish students who participated in PISA-2015 were used. Five different algorithms (J-48, KNN, LR, NB, DVM) determined under the OVA and OVO strategies were applied to the data set with 3459 samples, consisting of 26 independent and 1 dependent variable, obtained when the samples with null data were deleted from the data set containing 5895 samples. 10-fold cross-validation from the test options and voting techniques from the joining strategies were used. The LR and NB algorithms are the most effective under both OVA and OVO methods, whereas the KNN algorithm is the least effective. The KNN algorithm, which estimates the class with the fewest samples, performs best when both strategies are used. Algorithms that use the OVA strategy and the F metric for the OVO approach perform better in terms of accuracy and mean error metrics. The effectiveness of an algorithm can be evaluated using different scenarios. The study's OVA and OVO techniques and algorithms can be applied to multi-categorical data in databases that incorporate data from educational environments to help decision-makers make more accurate choices.