Year 2017, Volume 7, Issue 3, Pages 265 - 277 2017-09-30

Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method
Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması

Osman Demir [1] , Anıl Dolgun [2] , İlker Etikan [3] , Yunus Emre Kuyucu [4] , Osman Saraçbaşı [5]

211 485

Objective: In the situation that randomization is not avaliable, to minimize the biasness in treatment arm assignments, the use of propensity score weighting method and the assessment of performances related to results obtained from generalized boosted and multinomial logistic regression (MLR) of propensity score weighting are aimed. 

Method: Results obtained from MLR and GBM are to compare with the help of a simulation study. In simulation study, data with n=500, 1000, 2000 sample size will be derived using 1000 repetitions on seven scenarios with three categorized treatment group, continuous outcome variable and continuous/binary covariates. The propensity weights will be found with the help of Propensity scores obtained from MLR and GBM and using these weights, the balance will be assessed using balance metrics with average treatment effect estimation (ATE). In study, “twang” package in R program is used. 

Results: As the number of samples increases, the balance values decreases more, so it seems that the biasness has fallen. As the scenarios become more complex, GBM produces better balance results. There are better results for MLR at main effect model. Trimming or removing excess weights ensures improving of balance.


Amaç: Randomizasyonun sağlanamadığı durumlarda bireylerin tedavi kollarına atanmasında yanlılığı minimize etmek için propensity skor ağırlıklandırma yönteminin kullanılmasını ve bu yöntemin genelleştirilmiş boosted ve çok kategorili lojistik regresyondan elde edilen bulgulara ilişkin performanslarının değerlendirmesini amaçlamaktadır. 

Yöntem: Çok kategorili lojistik regresyon (MLR) ve genelleştirilmiş boosted modelden (GBM) elde edilen sonuçlar bir benzetim çalışması yardımıyla karşılaştırılacaktır. Benzetim çalışmasında üç kategorili tedavi grubu, sürekli yanıt değişkeni ve sürekli/dikotom ortak değişkenlerin olduğu, yedi farklı senaryo üzerinde 1000 tekrar kullanılarak, n=500, 1000, 2000 örneklem büyüklüğüne sahip veriler türetilecektir. MLR ve GBM’den elde edilen propensity skorları yardımıyla propensity ağırlıklarına ulaşılacak ve bu ağırlıkları kullanarak, tedavi etkilerini değerlendirmede kullanılan, ortalama tedavi etkisi (OTE) kestirimi ile denge metrikleri kullanılarak, dengenin değerlendirmesi yapılacaktır. Çalışmada R programındaki “twang” paketi kullanılacaktır. 

Bulgular: Örneklem sayısı arttıkça denge değerlerinin daha azaldığı dolayısı ile yanlılığın düştüğü görülmektedir. Senaryolar daha kompleks hale geldikçe GBM’nin daha iyi denge sonuçları ürettiği görülmektedir. Ana etkilerin olduğu bir modelde MLR için daha iyi sonuçlar görülmektedir. MLR regresyon modelden elde edilen OTE ağırlıkları kararsız ve zayıf bir denge göstermektedir. Aşırı ağırlıkların kırpılması ya da kaldırılması dengenin düzelmesini sağlamaktadır. 


  • 1.Ellenberg, S.S., Fleming, T.R.,DeMets, D.L. (2003). Data monitoring committees in clinical trials: a practical perspective: John Wiley & Sons.
  • 2.Doll, R. (1998) Controlled trials: the 1948 watershed. BMJ: British Medical Journal, 317 (7167), 1217. 3.Hannan, E.L. (2008) Randomized clinical trials and observational studies: guidelines for assessing respective strengths and limitations. JACC: Cardiovascular Interventions, 1 (3), 211-217.
  • 4.Austin, P.C. (2011) An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46 (3), 399-424.
  • 5.Lee, B.K., Lessler, J.,Stuart, E.A. (2010) Improving propensity score weighting using machine learning. Statistics in medicine, 29 (3), 337-346.
  • 6.McCaffrey, D.F., Griffin, B.A., Almirall, D., Slaughter, M.E., Ramchand, R.,Burgette, L.F. (2013) A tutorial on propensity score estimation for multiple treatments using generalized boosted models. Statistics in medicine, 32 (19), 3388-3414.
  • 7.Rosenberger, W.F.,Lachin, J.M. (2002). Randomization in clinical trials: theory and practice: John Wiley & Sons.
  • 8.Alpar, R. (2010). Spor, Sağlık ve Eğitim Bilimlerinde Uygulamalı İstatistik ve Geçerlik-Güvenirlik: Birinci Baskı, Ankara: Detay Yayıncılık.
  • 9.Sümbüloğlu, V., Alpar, R.,Özdemir, P. (1998) Değişkenler Arası İlişkilerin İncelenmesi. İç Hastalıkları Dergisi, 5 (6), 416.
  • 10.Aalen, O.O.,Frigessi, A. (2007) What can statistics contribute to a causal understanding? Scandinavian Journal of Statistics, 34 (1), 155-168.
Subjects Health Care Sciences and Services
Journal Section Original Research
Authors

Author: Osman Demir
Institution: GAZİOSMANPAŞA ÜNİVERSİTESİ, TIP FAKÜLTESİ, TEMEL TIP BİLİMLERİ BÖLÜMÜ, BİYOİSTATİSTİK ANABİLİM DALI
Country: Turkey


Author: Anıl Dolgun

Author: İlker Etikan
Institution: Yakın Doğu Üniversitesi, Tıp Fakültesi, Biyoistatistik Anabilim Dalı, Kıbrıs
Country: Cyprus


Author: Yunus Emre Kuyucu
Country: Turkey


Author: Osman Saraçbaşı
Institution: HACETTEPE ÜNİVERSİTESİ, TIP FAKÜLTESİ, TEMEL TIP BİLİMLERİ BÖLÜMÜ, BİYOİSTATİSTİK ANABİLİM DALI

Dates

Publication Date: September 30, 2017

Bibtex @research article { gopctd349948, journal = {Çağdaş Tıp Dergisi}, issn = {}, eissn = {2146-6009}, address = {Selcuk University}, year = {2017}, volume = {7}, pages = {265 - 277}, doi = {10.16899/gopctd.349948}, title = {Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması}, key = {cite}, author = {Demir, Osman and Dolgun, Anıl and Etikan, İlker and Kuyucu, Yunus Emre and Saraçbaşı, Osman} }
APA Demir, O , Dolgun, A , Etikan, İ , Kuyucu, Y , Saraçbaşı, O . (2017). Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması. Çağdaş Tıp Dergisi, 7 (3), 265-277. DOI: 10.16899/gopctd.349948
MLA Demir, O , Dolgun, A , Etikan, İ , Kuyucu, Y , Saraçbaşı, O . "Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması". Çağdaş Tıp Dergisi 7 (2017): 265-277 <http://dergipark.org.tr/gopctd/issue/31840/349948>
Chicago Demir, O , Dolgun, A , Etikan, İ , Kuyucu, Y , Saraçbaşı, O . "Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması". Çağdaş Tıp Dergisi 7 (2017): 265-277
RIS TY - JOUR T1 - Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması AU - Osman Demir , Anıl Dolgun , İlker Etikan , Yunus Emre Kuyucu , Osman Saraçbaşı Y1 - 2017 PY - 2017 N1 - doi: 10.16899/gopctd.349948 DO - 10.16899/gopctd.349948 T2 - Çağdaş Tıp Dergisi JF - Journal JO - JOR SP - 265 EP - 277 VL - 7 IS - 3 SN - -2146-6009 M3 - doi: 10.16899/gopctd.349948 UR - https://doi.org/10.16899/gopctd.349948 Y2 - 2017 ER -
EndNote %0 Çağdaş Tıp Dergisi Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması %A Osman Demir , Anıl Dolgun , İlker Etikan , Yunus Emre Kuyucu , Osman Saraçbaşı %T Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması %D 2017 %J Çağdaş Tıp Dergisi %P -2146-6009 %V 7 %N 3 %R doi: 10.16899/gopctd.349948 %U 10.16899/gopctd.349948
ISNAD Demir, Osman , Dolgun, Anıl , Etikan, İlker , Kuyucu, Yunus Emre , Saraçbaşı, Osman . "Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması". Çağdaş Tıp Dergisi 7 / 3 (September 2017): 265-277. https://doi.org/10.16899/gopctd.349948
AMA Demir O , Dolgun A , Etikan İ , Kuyucu Y , Saraçbaşı O . Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması. J Contemp Med. 2017; 7(3): 265-277.
Vancouver Demir O , Dolgun A , Etikan İ , Kuyucu Y , Saraçbaşı O . Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması. Çağdaş Tıp Dergisi. 2017; 7(3): 277-265.