LiDAR nokta bulutlarının makine öğrenmesi ve derin öğrenme yöntemleri ile sınıflandırılması: nuScenes Lidarseg-Mini üzerinde karşılaştırmalı bir inceleme

Abstract

LiDAR nokta bulutlarının düzensiz yapısı ve sınıflar arasındaki örnek sayısının farklı olabilmesi, nokta bazlı semantik sınıflandırmayı güçleştirmektedir. Bu çalışmada Random Forest, K-En Yakın Komşu (KNN), makine öğrenmesi tabanlı MLP (ML-MLP), derin öğrenme tabanlı MLP (DL-MLP), bir boyutlu evrişimli sinir ağı (1B CNN) ve PointNet Mini aynı deney düzeninde karşılaştırılmıştır. nuScenes Lidarseg-mini alt kümesi araba, yaya, otobüs, kamyon, motosiklet, bariyer ve bisiklet rafı olmak üzere yedi sınıfa göre filtrelenmiştir. Etiket eşleştirme, sınıf filtreleme, katmanlı veri ayırma, normalizasyon ve modele bağlı dengeleme işlemlerinin ardından yöntemler doğruluk ve F1 skoru üzerinden karşılaştırılmış olup sınıf bazlı hata davranışları kesinlik, duyarlılık ve karışıklık matrisleriyle incelenmiştir. Random Forest %97,21 doğruluk ve %98 F1 ile en yüksek genel başarıyı, KNN ise %96,36 doğruluk ve %94 F1 ile ikinci en yüksek başarıyı elde etmiştir. Derin öğrenme yöntemleri arasında PointNet Mini %84,95 doğruluk ve %84,7 F1 ile en dengeli sonucu vermiştir. Sınıf bazlı analiz, özellikle az örnekli sınıflarda yüksek duyarlılığın düşük kesinlik ile birlikte görüldüğünde tek başına güvenilir bir başarı göstergesi olmadığını göstermiştir. Mevcut veri büyüklüğü, sınıf dağılımı ve hesaplama koşullarında klasik yöntemler daha kararlı sonuç verirken, PointNet Mini'nin başarısı düzensiz nokta kümelerine özgü mimarilerin önemini ortaya koymuştur.

Keywords

• LiDAR
• Nokta Bulutu
• Sınıflandırma
• Random Forest
• PointNet

Classification of LiDAR point clouds using machine learning and deep learning methods: A comparative study on nuScenes Lidarseg-Mini

Abstract

Point-wise semantic classification of LiDAR data is challenging because point clouds are irregular and semantic classes are often highly imbalanced. This study compares Random Forest, K-Nearest Neighbors (KNN), a machine-learning multilayer perceptron (ML-MLP), a deep-learning multilayer perceptron (DL-MLP), a one-dimensional convolutional neural network (1D CNN), and PointNet Mini under a common experimental setting. The nuScenes Lidarseg-mini subset was filtered to seven classes: car, pedestrian, bus, truck, motorcycle, barrier, and bicycle rack. After label matching, class filtering, stratified splitting, normalization, and model-specific balancing, the methods were compared using accuracy and F1-score; precision, recall, and confusion matrices were used to interpret class-wise errors. Random Forest achieved the highest overall performance with 97.21% accuracy and 98% F1-score, followed by KNN with 96.36% accuracy and 94% F1-score. Among the deep-learning approaches, PointNet Mini achieved the most balanced result with 84.95% accuracy and 84.7% F1-score. The class-wise analysis showed that high recall in minority classes does not necessarily indicate reliable classification when precision remains low. Under the present data and computational constraints, classical methods provided more stable results, while PointNet Mini highlighted the benefit of point-cloud-specific architectures.

Keywords

• LiDAR
• Point Cloud
• Classification
• Random Forest
• PointNet

References

1. Alaba, S. Y., & Ball, J. E. (2022). A survey on deep-learning-based LiDAR 3D object detection for autonomous driving. Sensors, 22(24), 9577. https://doi.org/10.3390/s22249577
2. Atik, M. E., Güngör, Ö., Keskin, E., & Duran, Z. (2022). Fotogrametrik nokta bulutu verisinin makine öğrenmesi ile sınıflandırılması. Jeodezi ve Jeoinformasyon Dergisi, 9(2), 137–149. https://doi.org/10.9733/JGG.2022R0010.T
3. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32. https://doi.org/10.1023/A:1010933404324
4. Caesar, H., Bankiti, V., Lang, A. H., Vora, S., Liong, V. E., Xu, Q., Krishnan, A., Pan, Y., Baldan, G., & Beijbom, O. (2020). nuScenes: A multimodal dataset for autonomous driving.
5. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 11618–11628. https://doi.org/10.1109/CVPR42600.2020.01164
6. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.
7. Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L., & Bennamoun, M. (2021). Deep learning for 3D point clouds: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(12), 4338–4364. https://doi.org/10.1109/TPAMI.2020.3005434
8. He, H., & Garcia, E. A. (2009). Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, 21(9), 1263–1284. https://doi.org/10.1109/TKDE.2008.239

9. Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. Proceedings of the 32nd International Conference on Machine Learning, 37, 448–456.
10. Johnson, J. M., & Khoshgoftaar, T. M. (2019). Survey on deep learning with class imbalance. Journal of Big Data, 6, 27. https://doi.org/10.1186/s40537-019-0192-5
11. Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. Proceedings of the 3rd International Conference on Learning Representations (ICLR).
12. LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. https://doi.org/10.1109/5.726791
13. Li, N., Kähler, O., & Pfeifer, N. (2021). A comparison of deep learning methods for airborne LiDAR point clouds classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6467–6486. https://doi.org/10.1109/JSTARS.2021.3091389
14. Nong, X., Bai, W., & Liu, G. (2023). Airborne LiDAR point cloud classification using PointNet++ network with full neighborhood features. PLOS ONE, 18(2), e0280346. https://doi.org/10.1371/journal.pone.0280346
15. Peterson, L. E. (2009). K-nearest neighbor. Scholarpedia, 4(2), 1883. https://doi.org/10.4249/scholarpedia.1883
16. Pomerleau, F., Colas, F., Siegwart, R., & Magnenat, S. (2013). Comparing ICP variants on real- world data sets. Autonomous Robots, 34(3), 133–148. https://doi.org/10.1007/s10514-013-9327-2
17. Powers, D. M. W. (2011). Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. Journal of Machine Learning Technologies, 2(1), 37–63.
18. Qi, C. R., Su, H., Mo, K., & Guibas, L. J. (2017). PointNet: Deep learning on point sets for 3D classification and segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 652–660. https://doi.org/10.1109/CVPR.2017.16
19. Koban, N., Benli, E. (2026) Akıllı Ulaşım Sistemleri ve Uygulamaları Dergisi Cilt:9 – Sayı:2
20. Qi, C. R., Yi, L., Su, H., & Guibas, L. J. (2017). PointNet++: Deep hierarchical feature learning on point sets in a metric space. Advances in Neural Information Processing Systems, 30, 5099–5108.
21. Shan, J., & Toth, C. K. (Eds.). (2018). Topographic laser ranging and scanning: Principles and processing (2nd ed.). CRC Press.
22. Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for classification tasks. Information Processing & Management, 45(4), 427–437. https://doi.org/10.1016/j.ipm.2009.03.002
23. Zhang, Z. (2016). Introduction to machine learning: K-nearest neighbors. Annals of Translational Medicine, 4(11), 218. https://doi.org/10.21037/atm.2016.03.37