Using Web Scraping Methods in Consumer Price Index Studies, Türkiye Example

Year 2024, Volume: 14 Issue: 2, 46 - 58, 31.12.2024

Yeliz Yalçın , Burak Baysal

Abstract

Consumer Price Indices are defined as a measure of the changes in the prices of goods and services that are subject to household consumption over time. With the developing technology, new data collection methods have emerged that can be used especially in the context of price statistics. In this way, it has become possible to provide a quick input to the Consumer Price Index studies. The web scraping method, which enables the information on the Internet to be converted into structured data by means of automatic scrapers and saved in databases, is one of these methods. In this way, it has become possible to calculate the Consumer Price Index indicators, which are produced monthly with traditional data collection methods, on a daily or weekly basis. In the study, it is aimed to obtain daily and monthly Consumer Price Index by using web scraping methods and prices compiled over the internet. Findings obtained by using internationally accepted index calculation methods revealed that the results obtained by web scraping methods provide results consistent with official statistics.

Keywords

Consumer Price Index, Web scraping, Text mining

Web Kazıma Yöntemlerinin Tüketici Fiyat Endeksi Çalışmalarında Kullanılması Türkiye Örneği

Abstract

Tüketici Fiyat Endeksleri, hanehalklarının tüketimine konu olan mal ve hizmetlerin fiyatlarının genel düzeyinde zaman içerisinde meydana gelen değişimlerin bir ölçüsü olarak tanımlanmaktadır. Gelişen teknoloji ile birlikte özellikle fiyat istatistikleri bağlamında kullanılabilecek yeni veri derleme yöntemleri ortaya çıkmış, bu sayede Tüketici Fiyat Endeksi çalışmaları için oldukça hızlı bir biçimde girdi sağlanabilmesi mümkün hale gelmiştir. Bu yöntemlerden biri internet üzerindeki bilgilerin otomatik kazıcılar vasıtası ile yapısal veriye dönüştürülmesini ve veri tabanlarına kaydedilmesini sağlayan web kazıma yöntemidir. Bu sayede geleneksel veri derleme yöntemlerinin kullanımı ile aylık olarak üretilen Tüketici Fiyat Endeksi göstergelerinin günlük veya haftalık olarak daha yüksek frekanslarla hesaplanabilmesi mümkün hale gelmiştir. Çalışmada, web kazıma yöntemleri ile internet üzerinden derlenecek fiyatlar kullanılarak günlük ve aylık Tüketici Fiyat Endeksleri elde edilmesi amaçlanmıştır. Uluslararası anlamda kabul görmüş endeks hesaplama yöntemleri kullanılarak ulaşılan bulgular dikkate alınan dönemde web kazıma yöntemleri ile elde edilen sonuçların resmi istatistiklerle tutarlı sonuçlar sağladığını ortaya koymuştur.

Keywords

Tüketici Fiyat Endeksi, Web kazıma, Metin madenciliği

References

• Armknecht, P. (1996). Improving the Efficiency of the U.S. CPI. IMF Working Papers, 96(103).
• Castrillo-Fernández, O. (2015). Web Scraping: Applications and Tools. European Public Sector Information Platform. https://data.europa.eu/sites/default/files/report/2015_web_scraping_applications_and_tools.pdf, Erişim Tarihi:10.12.2021).
• Cavallo, A., and Rigobon, R. (2016). The Billion Prices Project: Using Online Prices for Measurement and Research. Journal of Economic Perspectives, 30(2), 151-178.
• EUROSTAT. (2018). Harmonized Index of Consumer Prices Methodological Manual. Luxembourg: Publications office of the European Union.
• EUROSTAT. (2020). Practical Guidelines on Web Scraping for the HICP. (https://ec.europa.eu/eurostat/web/hicp/methodology, Erişim Tarihi: 10.12.2021)
• EUROSTAT. (2022). Guide on Multilateral Methods in the Harmonised Index on Consumer Prices. Luxembourg: Publications Office of the European Union.
• Fenwick, D. (2009). Practical Guide to Producing Consumer Price Indices. New York: UN. (http://digitallibrary.un.org/record/670125, Erişim Tarihi: 01.12.2021).
• Gençer, S., ve Ulusoy, V. (2021). Dinamik Ve Yüksek Frekanslı Fiyat Endeksi: Türkiye'nin Günlük Ve Saatlik Bazda Enflasyon Hesaplaması. Maliye ve Finans Yazıları, (Özel Sayı 2), s. 173-190.
• Graf, B. (2020). Consumer Price Index Manual. USA: International Monetary Fund. (https://www.elibrary.imf.org/view/book/9781484354841/9781484354841.xml, Erişim Tarihi: 12.12.2021).
• Griffioen, A. R., & Ten Bosch, O. (2016). On the use of Internet data for the Dutch CPI. CPI. In UNECE Meeting of the Group of Experts on Consumer Price Indices, Geneva.
• Mitchell, R. (2015). Web Scraping with Python: Collecting Data from Modern Web. Sebastopol: O’Reilly.
• Richardson, L. (2019). Beautiful Soup Documentation. (https://beautiful-soup-4.readthedocs.io/_/downloads/en/latest/pdf/, Erişim Tarihi: 04.15.2022).
• Santiago, E. A., and Sarah, M. L. (2020). Tracking inflation on a daily basis. Swiss Journal of Economics and Statistics, 156, 1-13.
• Selenium. (2022). Selenium Documentation. (https://www.selenium.dev/documentation, Erişim Tarihi: 03.01.2022).
• Scrapy developers. (2022). Scrapy Documentation. (https://docs.scrapy.org/en/latest/, Erişim Tarihi: 09.04.2022).
• TÜİK. (2022). Tüketici Fiyat Endeksi Haber Bülteni. (https://data.tuik.gov.tr/Bulten/Index?p=Tuketici-Fiyat- Endeksi-Ocak-2022-45790, Erişim Tarihi: 05.04.2022).
• TÜİK. (2024). TÜFE Metodoloji Dokümanı. (https://data.tuik.gov.tr/Bulten/Index?p=Tuketici-Fiyat-Endeksi-Ekim-2024-5361, Erişim Tarihi: 12.11.2024).
• U.S Bureau of Labor Statistics. (2020). Handbook of methods. (https://www.bls.gov/opub/hom/cpi/home.htm, Erişim Tarihi: 10.10.2022).