Preserving Rare Tasks in the KDD Cup 2010 Educational Dataset: A Task-Aware Coverage-Based Sampling Method

Abstract

Large-scale educational datasets inevitably require data reduction due to the sheer volume of student–task interactions they contain. However, most existing data reduction and sampling strategies focus on preserving global data distributions or label-level class balance, while largely overlooking the structural representation of rare yet pedagogically critical tasks. This limitation often leads to unreliable predictions and poor generalization performance, particularly for sparsely observed learning objectives. In this study, we propose a Task-Aware Coverage Sampling framework designed to explicitly preserve the structural coverage of rare tasks under aggressive data reduction. The proposed approach identifies rare tasks using task-specific statistics and constructs compact yet representative training subsets by enforcing structural coverage independently within each task. Unlike random and stratified sampling methods, the framework prioritizes task-level representativeness rather than global class balance. We further compare the proposed method against a geometry-based farthest-first sampling strategy, which promotes global diversity in the feature space but does not explicitly account for task structure. The method is evaluated on the Algebra I 2008–2009 dataset from the KDD Cup 2010 Educational Data Mining Challenge, which contains over 20 million student–task interactions. From this large-scale corpus, we identify 5,171 interactions associated with rare knowledge components. Notably, the proposed approach is able to model rare tasks effectively in representative rare-task configurations using as few as 22 samples, corresponding to less than 0.5% of the task-specific data, without compromising predictive stability. Experiments are conducted using logistic regression, random forests, and linear support vector machines, with the area under the precision–recall curve as the primary evaluation metric. The results show that, even when less than one percent of the original task-level training data is retained, the proposed method achieves competitive average performance and exhibits substantially greater stability in worst-case task scenarios compared to random, stratified, and geometry-based sampling baselines. These findings demonstrate that reliable learning on rare educational tasks can be achieved in large-scale educational datasets without requiring exhaustive access to the full training data.

Keywords

• Task-aware coverage sampling
• data reduction
• grid-based partitioning
• rare task preservation
• educational data mining.

KDD Cup 2010 Eğitim Veri Kümesinde Nadir Görevlerin Korunması: Görev Duyarlı Kapsama Tabanlı Örnekleme Yöntemi

Abstract

Büyük ölçekli eğitim veri kümeleri, milyonlarca öğrenci–görev etkileşimi içermeleri nedeniyle veri azaltımını kaçınılmaz hâle getirmektedir. Ancak mevcut veri azaltma ve örnekleme yaklaşımları çoğunlukla küresel veri dağılımını veya etiket düzeyindeki sınıf dengesini korumaya odaklanırken, nadir ancak pedagojik açıdan kritik görevlerin yapısal olarak temsil edilmesini büyük ölçüde göz ardı etmektedir. Bu durum, özellikle seyrek gözlemlenen görevlerde güvenilmez tahminlere ve zayıf genelleme performansına yol açmaktadır. Bu çalışmada, büyük ölçekli eğitim verilerinde agresif veri azaltımı gerçekleştirirken nadir görevlerin yapısal kapsamasını açık biçimde korumayı amaçlayan Görev Farkındalıklı Kapsama Örneklemesi adlı bir çerçeve önerilmektedir. Önerilen yöntem, görev-özel istatistikler kullanarak nadir görevleri tanımlamakta ve her bir görev içerisinde yapısal kapsama zorlaması uygulayarak kompakt fakat temsil gücü yüksek eğitim alt kümeleri oluşturmaktadır. Rastgele ve tabakalı örnekleme yaklaşımlarından farklı olarak, yöntem küresel sınıf dengesini değil, görev düzeyinde temsiliyeti veri azaltımının birincil hedefi olarak ele almaktadır. Ayrıca önerilen yaklaşım, özellik uzayında küresel çeşitliliği maksimize etmeyi amaçlayan ancak görev yapısını açık biçimde dikkate almayan, geometri tabanlı en uzak-önce örnekleme stratejisi ile karşılaştırmalı olarak değerlendirilmiştir. Yöntem, KDD Kupası 2010 Eğitim Veri Madenciliği Yarışması kapsamında sunulan Algebra I 2008–2009 veri kümesi üzerinde test edilmiştir. Söz konusu veri kümesi 20 milyondan fazla öğrenci–görev etkileşimi içermekte olup, bu büyük ölçek içerisinden nadir görevleri temsil eden 5.171 etkileşim belirlenmiştir. Önerilen yaklaşım, tahminsel kararlılıktan ödün vermeden, bu nadir görevleri yalnızca 22 temsilci örnek ile etkili biçimde modelleyebilmekte; bu sayı, nadir görev verisinin yüzde 0,5’inden daha azına karşılık gelmektedir. Deneyler lojistik regresyon, rastgele ormanlar ve doğrusal destek vektör makineleri kullanılarak gerçekleştirilmiş; temel değerlendirme ölçütü olarak hassasiyet–geri çağırım eğrisi altında kalan alan tercih edilmiştir. Elde edilen sonuçlar, özgün görev-düzeyli eğitim verisinin yüzde birinden daha azı kullanıldığında dahi, önerilen yaklaşımın rekabetçi ortalama performans sağladığını ve özellikle en kötü durumdaki görev senaryolarında rastgele, tabakalı ve geometri tabanlı örnekleme yöntemlerine kıyasla daha yüksek kararlılık sunduğunu göstermektedir. Bu bulgular, büyük ölçekli eğitim veri kümelerinde nadir görevler için güvenilir öğrenmenin, tam eğitim veri setinin tamamına ihtiyaç duyulmadan sağlanabileceğini ortaya koymaktadır.

Keywords

• Görev duyarlı örnekleme
• veri azaltımı
• yapısal kapsama
• nadir görevler
• eğitim veri madenciliği
• büyük ölçekli öğrenme.

References

1. Abdelrahman, G., Wang, Q., & Nunes, B. P. (2023). Knowledge tracing: A survey. ACM Computing Surveys, 55(11), No: 224, 1-37. https://doi.org/10.1145/356957
2. Baker, R. S., & Yacef, K., C. (2009). The state of educational data mining in 2009: A review and future visions. Journal of Educational Data Mining, 1(1), 3–17. https://doi.org/10.5281/zenodo.3554657
3. Birodkar, V., Tsipras, D., & Kolter, J. Z. (2019). Semantic Redundancies in Image-Classification Datasets: The 10% You Don't Need. ArXiv, abs/1901.11409. https:// doi.org/10.48550/arXiv.1901.11409
4. Corbett, A. T., & Anderson, J. R. (1995). Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction, 4(4), 253–278. https://doi.org/10.1007/BF01099821
5. Davis, J., & Goadrich, M. (2006). Knowledge tracing: The relationship between precision–recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning, 233–240. https://doi.org/10.1145/1143844.1143874
6. Drummond, C., & Holte, R. C. (2003). C4.5, Class Imbalance, and Cost Sensitivity: Why Under-Sampling beats OverSampling, Proceedings of the ICML'03 Workshop on Learning from Imbalanced Datasets.
7. Forman, G., & Cohen, I. (2004). Learning from little: Comparison of classifiers given little training. Proceedings of the 8th European Conference on Principles and Practice of Knowledge Discovery in Databases, 161–172. DOI: 10.5555/1053072.1053089
8. Gervet, T., Koedinger, K. R., Schneider, J., & Mitchell, T. (2020). When is deep learning the best approach to knowledge tracing?, Journal of Educational Data Mining, 12(3), 31–54. https://doi.org/10.5281/zenodo.4143614

9. Gong, Y., Beck, J. E., & Heffernan, N. T. (2011). How to construct more accurate student models: Comparing and optimizing knowledge tracing and performance factor analysis. International Journal of Artificial Intelligence in Education, 21(1), 27–46. https://doi.org/10.3233/JAI-2011-016
10. He, H., & Garcia, E. A. (2009). Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, 21(9), 1263–1284. https://doi.org/10.1109/TKDE.2008.239
11. Mirzasoleiman, B., Bilmes, J., & Leskovec, J. (2020). Coresets for data-efficient training of machine learning models. Proceedings of the 37th International Conference on Machine Learning, 6950–6960.
12. Pardos, Z. A., & Heffernan, N. T. (2010). Modeling individualization in a Bayesian networks implementation of knowledge tracing. Proceedings of the 18th International Conference on User Modeling, Adaptation, and Personalization, 255–266.
13. Paul, M., Ganguli, S., & Dziugaite, G. K. (2021). Deep learning on a data diet: Finding important examples early. NIPS'21: Proceedings of the 35th International Conference on Neural Information Processing System, No: 1575, 20596–20607.
14. Pelánek, R. (2017). Bayesian knowledge tracing, logistic models, and beyond: An overview of learner modeling techniques. User Modeling and User-Adapted Interaction, 27(3–5), 313–350. https://doi.org/10.1007/s11257-017-9193-2
15. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in Neural Information Processing Systems, 28, 505–513.
16. Saito, T., & Rehmsmeier, M. (2015). The precision–recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE, 10(3), e0118432. https://doi.org/10.1371/journal.pone.0118432
17. Sener, O., & Savarese, S. (2018). Active learning for convolutional neural networks: A core-set approach. International Conference on Learning Representations.
18. Shen, S., Liu, Q., Huang, Z., Zheng, Y., Yin, M., Wang, M., & Chen, E. (2021). A survey of knowledge tracing: Models, variants, and applications. arXiv preprint arXiv:2105.00692
19. Stamper, J., Niculescu-Mizil, A., Ritter, S., Gordon, G. J., & Koedinger, K. R. (2010). Algebra I 2008–2009: Challenge data set from KDD Cup 2010 Educational Data Mining Challenge.
20. Wei, K., Iyer, R., & Bilmes, J. (2015). Submodularity in data subset selection and active learning. Proceedings of the 32nd International Conference on Machine Learning, 1954–1963.
21. Xiong, X., Zhao, S., Van Inwegen, E. G., & Beck, J. E. (2016). Going deeper with deep knowledge tracing. Proceedings of the 9th International Conference on Educational Data Mining, 545–550.
22. Yeung, C. K., & Yeung, D. Y. (2018). Addressing cold-start problem in knowledge tracing. Proceedings of the 11th International Conference on Educational Data Mining, 394–399.
23. Gonzalez, T. F. (1985). Clustering to minimize the maximum intercluster distance, Theoretical Computer Science, 38, 293–306. https://doi.org/10.1016/0304-3975(85)90224-5