Research Information System
IX. Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Sempozyumu, Aksaray, Turkey, 17 - 18 October 2024, pp.1-10
This study examines the performance of the CMA-ES (Covariance Matrix Adaptation Evolution Strategy) method for hyperparameter optimization in next-generation boosting algorithms. Boosting algorithms are effective methods for classification and regression problems; however, their performance largely depends on the selection of hyperparameters. In this study, hyperparameter optimization was performed using the CMA-ES algorithm on the hyperspectral Salinas dataset, and the performance of various boosting methods was compared. The performance of these algorithms, optimized through the Optuna library, was evaluated using advanced metrics. Experiments conducted on the hyperspectral Salinas dataset showed that optimized hyperparameters led to significant performance improvements, particularly in the XGBoost and CatBoost algorithms, compared to standard parameters. XGBoost exhibited the highest improvement in metrics sensitive to class imbalance, while CatBoost demonstrated more balanced overall performance. Although performance improvements were also observed in the Stochastic Gradient Boostingand Gradient Boosting algorithms, these improvements were more limited in addressing class imbalance. The results indicate that CMA-ES is an effective tool for hyperparameter optimization and enhances the performance of boosting algorithms. This study highlights that optimized boosting algorithms provide higher accuracy and better generalization in classification problems.
Bu çalışmada, yeni nesil artırma algoritmalarında hiperparametre optimizasyonu için CMA-ES yönteminin performansı incelenmiştir. Artırma algoritmaları, sınıflandırma ve regresyon problemlerinde etkili yöntemlerdir, ancak performansları büyük ölçüde hiperparametre seçimlerine bağlıdır. Çalışmada, hiperspektral Salinas veri seti kullanılarak CMA-ES algoritması ile hiperparametre optimizasyonu gerçekleştirilmiş ve farklı artırma yöntemlerinin performansları karşılaştırılmıştır. Optuna kütüphanesi aracılığıyla optimize edilen bu algoritmaların performansları gelişmiş metriklerle değerlendirilmiştir. Hiperspektral Salinas veri seti üzerinde gerçekleştirilen deneyler sonucunda, optimize edilen hiperparametrelerin, özellikle XGBoost ve CatBoost algoritmalarında, standart parametrelere kıyasla belirgin performans iyileşmeleri sağladığı gözlemlenmiştir. XGBoost, sınıf dengesizliğine duyarlı metriklerde en yüksek iyileşmeyi göstermiştir. CatBoost ise daha dengeli bir genel performans sunmuştur. Stokastik Gradyan Artırma ve Gradyan Artırma algoritmalarında da iyileşmeler elde edilmesine rağmen, sınıf dengesizliği ile başa çıkma konusunda daha sınırlı iyileşmeler kaydedilmiştir. Sonuçlar, CMA-ES'in hiperparametre optimizasyonunda etkili bir araç olduğunu ve artırma algoritmalarının performansını iyileştirdiğini göstermektedir. Bu çalışma, optimize edilmiş artırma algoritmalarının sınıflandırma problemlerinde daha yüksek doğruluk ve genelleme yeteneği sağladığını ortaya koymaktadır.