Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method

Year 2017, Volume: 7 Issue: 3, 265 - 277, 30.09.2017

Osman Demir Anıl Dolgun İlker Etikan Yunus Emre Kuyucu Osman Saraçbaşı

https://doi.org/10.16899/gopctd.349948

Cited By: 1

Abstract

Objective: In the situation that randomization is not avaliable, to minimize the biasness in treatment arm assignments, the use of propensity score weighting method and the assessment of performances related to results obtained from generalized boosted and multinomial logistic regression (MLR) of propensity score weighting are aimed. 

Method: Results obtained from MLR and GBM are to compare with the help of a simulation study. In simulation study, data with n=500, 1000, 2000 sample size will be derived using 1000 repetitions on seven scenarios with three categorized treatment group, continuous outcome variable and continuous/binary covariates. The propensity weights will be found with the help of Propensity scores obtained from MLR and GBM and using these weights, the balance will be assessed using balance metrics with average treatment effect estimation (ATE). In study, “twang” package in R program is used. 

Results: As the number of samples increases, the balance values decreases more, so it seems that the biasness has fallen. As the scenarios become more complex, GBM produces better balance results. There are better results for MLR at main effect model. Trimming or removing excess weights ensures improving of balance.

Keywords

Propensity score weighting, GBM, Multinomial Logistic Regression

Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması

Abstract

Amaç: Randomizasyonun sağlanamadığı durumlarda bireylerin tedavi kollarına atanmasında yanlılığı minimize etmek için propensity skor ağırlıklandırma yönteminin kullanılmasını ve bu yöntemin genelleştirilmiş boosted ve çok kategorili lojistik regresyondan elde edilen bulgulara ilişkin performanslarının değerlendirmesini amaçlamaktadır. 

Yöntem: Çok kategorili lojistik regresyon (MLR) ve genelleştirilmiş boosted modelden (GBM) elde edilen sonuçlar bir benzetim çalışması yardımıyla karşılaştırılacaktır. Benzetim çalışmasında üç kategorili tedavi grubu, sürekli yanıt değişkeni ve sürekli/dikotom ortak değişkenlerin olduğu, yedi farklı senaryo üzerinde 1000 tekrar kullanılarak, n=500, 1000, 2000 örneklem büyüklüğüne sahip veriler türetilecektir. MLR ve GBM’den elde edilen propensity skorları yardımıyla propensity ağırlıklarına ulaşılacak ve bu ağırlıkları kullanarak, tedavi etkilerini değerlendirmede kullanılan, ortalama tedavi etkisi (OTE) kestirimi ile denge metrikleri kullanılarak, dengenin değerlendirmesi yapılacaktır. Çalışmada R programındaki “twang” paketi kullanılacaktır. 

Bulgular: Örneklem sayısı arttıkça denge değerlerinin daha azaldığı dolayısı ile yanlılığın düştüğü görülmektedir. Senaryolar daha kompleks hale geldikçe GBM’nin daha iyi denge sonuçları ürettiği görülmektedir. Ana etkilerin olduğu bir modelde MLR için daha iyi sonuçlar görülmektedir. MLR regresyon modelden elde edilen OTE ağırlıkları kararsız ve zayıf bir denge göstermektedir. Aşırı ağırlıkların kırpılması ya da kaldırılması dengenin düzelmesini sağlamaktadır. 

Keywords

Propensity skor ağırlıklandırma, GBM, Çok Kategorili Lojistik Regresyon

References

• 1.Ellenberg, S.S., Fleming, T.R.,DeMets, D.L. (2003). Data monitoring committees in clinical trials: a practical perspective: John Wiley & Sons.
• 2.Doll, R. (1998) Controlled trials: the 1948 watershed. BMJ: British Medical Journal, 317 (7167), 1217. 3.Hannan, E.L. (2008) Randomized clinical trials and observational studies: guidelines for assessing respective strengths and limitations. JACC: Cardiovascular Interventions, 1 (3), 211-217.
• 4.Austin, P.C. (2011) An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46 (3), 399-424.
• 5.Lee, B.K., Lessler, J.,Stuart, E.A. (2010) Improving propensity score weighting using machine learning. Statistics in medicine, 29 (3), 337-346.
• 6.McCaffrey, D.F., Griffin, B.A., Almirall, D., Slaughter, M.E., Ramchand, R.,Burgette, L.F. (2013) A tutorial on propensity score estimation for multiple treatments using generalized boosted models. Statistics in medicine, 32 (19), 3388-3414.
• 7.Rosenberger, W.F.,Lachin, J.M. (2002). Randomization in clinical trials: theory and practice: John Wiley & Sons.
• 8.Alpar, R. (2010). Spor, Sağlık ve Eğitim Bilimlerinde Uygulamalı İstatistik ve Geçerlik-Güvenirlik: Birinci Baskı, Ankara: Detay Yayıncılık.
• 9.Sümbüloğlu, V., Alpar, R.,Özdemir, P. (1998) Değişkenler Arası İlişkilerin İncelenmesi. İç Hastalıkları Dergisi, 5 (6), 416.
• 10.Aalen, O.O.,Frigessi, A. (2007) What can statistics contribute to a causal understanding? Scandinavian Journal of Statistics, 34 (1), 155-168.