A Web Based Tool For Preparing Adhoc Retrieval Test Data

Abstract

The main purpose of this study is to develop a web tool, which helps out on making relevant/non-relevant judgement of documents used in the test datasets prepared for text retrieval. The test dataset for the adhoc retrieval contains a collection of documents, a certain number of queries, and relevant documents corresponding to these queries. Especially, the process of judging whether documents fit query targets or not is quite complex and time consuming. There is a need for an application that will perform the process of marking the documents relevant to the queries in a digital environment. Because a large number of documents need to be examined by users who are concerned with relevance. In this study, this process has become manageable by the tool developed on the basis of the method applied in the TREC (Text Retrieval Conference).

Keywords

• Test dataset
• adhoc retrieval
• TREC

Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı

Abstract

Bu çalışmanın amacı, bilgi erişimi alanında yazılı belge derlemleri kullanarak hazırlanan test veri kümeleri için sorgulara karşılık gelen belgelerin alakalı/alakasız yargısının yapılacağı bir web aracı geliştirmektir. Anlık sorgu geri-getirim için test veri kümesi bir belge topluluğu, belirli sayıda sorgular ve bu sorgulara karşılık gelen alakalı belgeleri içermektedir. Özellikle, belgelerin sorgu hedeflerine uygun olup olmadığının değerlendirilmesi işlemi oldukça karmaşık ve zaman alıcıdır. Sorguların alakalı olduğu belgeleri işaretleme işlemini dijital ortamda gerçekleştirecek bir uygulamaya ihtiyaç vardır. Çünkü çok sayıda belgeninin alaka yargısı yapan kullanıcılar tarafınan incelenmesi gerekmektedir. Bu çalışmada, TREC’te (Text Retrieval Conference) uygulanan yöntemi temel alarak geliştirilen araç ile bu süreç yönetilebilir hale gelmiştir.

Keywords

• Test veri kümesi
• anlık sorgu geri-getirimi
• TREC

References

1. Chapelle, O., Metlzer, D., Zhang, Y., Grinspan, P. 2009. Expected reciprocal rank for graded relevance. In Proceedings of the 18th ACM Conference on Information and Knowledge Management, 621-630.
2. Järvelin, K., Kekäläinen, J. 2002. Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems (TOIS), 20(4):422-446.
3. Clarke, C.L.A., Kolla, M., Cormack, G.V., Vechtomova, O., Ashkann, A., Buttcher, S., MacKinnon, I. 2008. Novelty and diversity in information retrieval evaluation. In Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 659–666.
4. Agrawal, R., Gollapudi, S., Halverson, A., Ieong, S. 2009. Diversifying search results. In Proceedings of the Second ACM International Conference on Web Search and Data Mining, 5–14.
5. Cleverdon, C. 1967. The Cranfield tests on index language devices. Aslib proceedings, 19(6), 173-194.
6. TREC web sayfası. http://trec.nist.gov/ (Erişim Tarihi: 14/12/2018).
7. Lew, M. S., Sebe, N., Djeraba, C., Jain, R. 2006. Content-based multimedia information retrieval: State of the art and challenges. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2(1), 1-19. https://dl.acm.org/doi/abs/ 10.1145/1126004.1126005
8. Sanderson, M., 2010. Test Collection Based Evaluation of Information Retrieval Systems. Foundations and Trends® in Information Retrieval, 4(4), 247-375. DOI: 10.1561/1500000009

9. Harman, D. 1992. Overview of the First Text REtrieval Conference (TREC-1). NIST Special Publication 500-207: The First Text Retrieval Conference Proceedings (TREC-1), 1-20.
10. Harman, D. 1993. Overview of the Second Text REtrieval Conference (TREC-2). NIST Special Publication 500-215: The Second Text Retrieval Conference Proceedings (TREC-2), 1-20.
11. Harman, D. 1994. Overview of the Third Text REtrieval Conference (TREC-3). NIST Special Publication 500-225: The Third Text Retrieval Conference Proceedings (TREC-3), 1-20.
12. Voorhees, E.M. 2007. Overview of TREC-2007. NIST Special Publication 500-274: The 16th Text Retrieval Conference Proceedings (TREC 2007), 1-17.
13. TREC-COVİD Challenge web sayfası. https://ir.nist.gov/covidSubmit/ (Erişim Tarihi: 02/07/2020).
14. TREC-2019 Deep Learning Track web sayfası. https://trec.nist.gov/data/ deep2019.html (Erişim Tarihi: 02/07/2020).
15. Hintçe için bilgi erişim görevleri içeren forum. web sayfası. http://fire.irsi.res.in/fire/2019/home (Erişim Tarihi: 02/07/2020).
16. Çince için bilgi erişim görevleri içeren web sayfası. http://www.thuir.cn/ntcirwww2/ (Erişim Tarihi: 02/07/2020).
17. Rusya bilgi erişim değerlendirme semineri web sayfası. http://romip.ru/en/ (Erişim Tarihi: 02/07/2020).
18. Voorhees, E.M. 2007. TREC: Continuing information retrieval's tradition of experimentation. Communications of the ACM. 50(11), 51-54. DOI:10.1145/1297797.1297822
19. Clarke, C.L.A., Craswell, N., Soboroff, I. 2012. Overview of the TREC 2012 Web track. 21th Text REtrieval Conference, Gaithersburg, Maryland.
20. Collins-Thompson, K., Macdonald, C., Bennett, P., Diaz, F., Voorhees, E.M. 2014. TREC 2014 web track overview. 23th Text REtrieval Conference, Maryland.
21. Can, F., Kocberber, S., Balcik, E., Kaynak, C., Ocalan, H.C., Vursavas, O.M. 2008. Information retrieval on Turkish texts. Journal of the American Society for Information Science and Technology 59(3), 407 – 421. DOI: 10.1002/asi.20750