Anketlerde Güvenilirlik ve Geçerlilik Nedir? (Cronbach Alfa)

Anketlerde güvenilirlik, bir ölçümün tutarlı sonuç vermesidir; geçerlilik ise ölçmek istediğiniz şeyi gerçekten ölçmesidir. Güvenilirliği ölçmenin en yaygın yolu, aynı kavramı ölçen önermelerin birbiriyle ne kadar uyumlu olduğunu gösteren Cronbach alfa katsayısıdır. Yaygın kabule göre alfa için 0,70 civarı yeterli, 0,80 civarı iyi kabul edilir. Ancak yüksek bir alfa, ölçeğin doğru şeyi ölçtüğünü kanıtlamaz; bunun için geçerliliğin ayrıca incelenmesi gerekir. Bu yazıda iki kavramı dart tahtası örneğiyle açıklıyor, Cronbach alfanın nasıl yorumlanacağını ve bunun bir bağlılık anketi için ne anlama geldiğini anlatıyoruz.

Dart tahtası örneği: Güvenilirlik ve geçerlilik farkı

İki kavramı anlatmanın en kolay yolu bir dart tahtasıdır. Merkez, ölçmek istediğiniz kavramdır (örneğin çalışan bağlılığı); her atış da bir ölçümdür.

Tablodan çıkan temel kural şudur: Güvenilirlik, geçerliliğin ön koşuludur ama tek başına yetmez. Okların bir arada olması, doğru yere atıldıkları anlamına gelmez. Anket dilinde: Önermelerin birbiriyle tutarlı cevap alması, bağlılığı ölçtükleri anlamına gelmez.

Güvenilirlik türleri

Güvenilirlik tek bir şey değildir. Anket araştırmalarında en sık karşılaşılan türler şunlardır:

• İç tutarlılık: Aynı kavramı ölçen önermelerin birbiriyle uyumlu cevap alıp almadığıdır. "Bu şirkette çalışmaktan gurur duyuyorum" önermesine katılan birinin "Bu şirketi çalışılacak bir yer olarak tavsiye ederim" önermesine de büyük ihtimalle katılmasını bekleriz. En yaygın göstergesi Cronbach alfadır.
• Test-tekrar test güvenilirliği: Aynı kişilere aynı ölçek, kavramın değişmesinin beklenmediği kısa bir aralıkla (örneğin iki hafta arayla) iki kez uygulanır ve iki ölçüm arasındaki ilişkiye bakılır. Ölçek akademik olarak geliştirilirken kullanılır; kurum anketlerinde pratikte nadiren uygulanır, çünkü çalışanların görüşleri zaten zamanla değişir.
• Yarıya bölme güvenilirliği: Önermeler iki gruba ayrılır ve iki yarının sonuçları karşılaştırılır. Cronbach alfa, bir anlamda mümkün olan tüm yarıya bölmelerin ortalamasını özetlediği için bugün daha çok alfa tercih edilir.
• Değerlendiriciler arası güvenilirlik: Açık uçlu yorumlar kodlanırken iki kişinin aynı yorumu aynı temaya atayıp atamadığıdır. Yorum analizinde önemlidir; kapalı uçlu önermelerde kullanılmaz.

Kurum içi anketlerde pratikte en çok iç tutarlılık kontrol edilir, çünkü her ölçümün kendi verisiyle hesaplanabilir.

Cronbach alfa nedir?

Cronbach alfa, birden fazla önermeden oluşan bir ölçeğin iç tutarlılığını gösteren katsayıdır. Adını, katsayıyı 1951'de yayımladığı makalesiyle yaygınlaştıran Lee J. Cronbach'tan alır. Genellikle 0 ile 1 arasında bir değer alır; 1'e yaklaştıkça önermelerin birbiriyle daha tutarlı olduğunu gösterir.

Formülün sözlü anlatımı

Alfa, şu mantıkla hesaplanır:

α = (k / (k − 1)) × (1 − önerme varyanslarının toplamı / toplam puanın varyansı)

• k: Ölçekteki önerme sayısı.
• Önerme varyanslarının toplamı: Her önermeye verilen cevapların ne kadar dağıldığının tek tek toplamı.
• Toplam puanın varyansı: Her çalışanın tüm önermelerden aldığı toplam puanın çalışanlar arasında ne kadar dağıldığı.

Sezgisel anlamı şudur: Önermeler aynı kavramı ölçüyorsa, bir önermeye yüksek puan veren çalışan diğerlerine de yüksek puan verir. Bu durumda toplam puanlar çalışanlar arasında belirgin şekilde ayrışır ve toplam puanın varyansı, önerme varyanslarının toplamından çok daha büyük olur. Oran küçülür, alfa yükselir. Önermeler birbirinden bağımsızsa toplam puanlar ortalamaya yığılır ve alfa düşer.

Alfayı elle hesaplamanıza gerek yoktur; SPSS, R, Python ve çoğu anket analizi aracı bu katsayıyı doğrudan verir. Önemli olan sonucu doğru yorumlamaktır.

Cronbach alfa nasıl yorumlanır?

Literatürde ve uygulamada sık kullanılan pratik eşikler aşağıdadır. 0,70 eşiği genellikle Nunnally'nin psikometri çalışmalarına atfedilir; diğer aralıklar ders kitaplarında farklı biçimlerde geçer.

Bu eşikler istatistiksel bir yasa değil, yerleşmiş geleneksel kabullerdir. Az sayıda önermeden oluşan bir alt boyutta 0,68 makul olabilirken, 20 önermelik bir ölçekte 0,85 sıradan bir değerdir.

Önerme sayısı alfayı nasıl etkiler?

Alfanın en çok gözden kaçan özelliği, önerme sayısına duyarlı olmasıdır. Önermeler arasındaki ortalama ilişki aynı kalsa bile önerme eklendikçe alfa yükselir. Aşağıdaki tablo, önermeler arası ortalama korelasyonun 0,30 ve 0,50 olduğu iki durum için standartlaştırılmış alfayı gösterir:

Standartlaştırılmış alfa formülüyle hesaplanmıştır: α = k × r / (1 + (k − 1) × r); k önerme sayısı, r önermeler arası ortalama korelasyondur.

Bu tablonun iki pratik sonucu vardır. Birincisi, 3–4 önermelik kısa bir alt boyutta alfanın 0,70'in biraz altında çıkması tek başına alarm sebebi değildir. İkincisi, 20 önermelik bir ölçekte 0,90 görmek ölçeğin iyi olduğunu kanıtlamaz; aynı alfa, birbiriyle zayıf ilişkili çok sayıda önermeden de elde edilebilir. Bu yüzden alfayla birlikte önermeler arası ortalama korelasyona ve her önermenin toplam puanla ilişkisine (düzeltilmiş madde-toplam korelasyonu) de bakılmalıdır.

Alfanın bir başka sınırlılığı, tüm önermelerin kavramı eşit güçte ölçtüğünü varsaymasıdır. Bu varsayım sağlanmadığında alfa güvenilirliği olduğundan düşük gösterebilir. Akademik çalışmalarda bu nedenle McDonald'ın omega katsayısı da giderek daha sık raporlanır.

Geçerlilik türleri

Güvenilirlik "tutarlı mı?" sorusuna, geçerlilik "doğru şeyi mi ölçüyor?" sorusuna cevap verir. Geçerlilik tek bir katsayıyla ölçülmez; farklı kanıtlar bir araya getirilerek değerlendirilir.

İçerik geçerliliği

Önermelerin, ölçülmek istenen kavramın tüm önemli yönlerini kapsayıp kapsamadığıdır. Bağlılığı yalnızca "kalmaya niyet" önermeleriyle ölçen bir endeks, gurur ve ekstra çaba gibi boyutları dışarıda bırakır. İçerik geçerliliği genellikle alan uzmanlarının önermeleri incelemesiyle ve literatürdeki tanımlarla karşılaştırılarak sağlanır. Görünüş geçerliliği (önermelerin cevaplayanlara konuyla ilgili görünmesi) bunun daha yüzeysel bir versiyonudur.

Yapı geçerliliği ve faktör analizi

Ölçeğin, kuramdaki kavramı ve onun boyutlarını gerçekten yansıtıp yansıtmadığıdır. En yaygın aracı faktör analizidir:

• Açımlayıcı faktör analizi: Önermelerin kendiliğinden hangi gruplara ayrıldığını gösterir. Örneğin "yönetici" önermelerinin bir faktörde, "kariyer" önermelerinin başka bir faktörde toplanması beklenir.
• Doğrulayıcı faktör analizi: Önceden belirlenmiş bir yapının (örneğin üç boyutlu bir bağlılık modelinin) veriye uyup uymadığını test eder.

Yapı geçerliliğinin iki tamamlayıcı yönü daha vardır. Birleşme geçerliliği, ölçeğin benzer kavramları ölçen başka ölçeklerle güçlü ilişkili olmasını; ayırt edici geçerlilik ise farklı kavramlarla gereğinden fazla ilişkili olmamasını ifade eder. Bağlılık ölçeğiniz iş doyumu ölçeğiyle neredeyse aynı sonucu veriyorsa, iki farklı şeyi ölçtüğünüzü iddia etmek zorlaşır.

Ölçüt ve yordama geçerliliği

Ölçeğin, ilişkili olması beklenen dış bir ölçütle gerçekten ilişkili olmasıdır. Aynı anda ölçülen bir ölçütle ilişkiye eş zamanlı geçerlilik, gelecekteki bir sonuçla ilişkiye yordama geçerliliği denir. Örneğin bağlılık puanı düşük birimlerde sonraki 12 ayda gönüllü işten ayrılmanın daha yüksek çıkması, endeksin yordama geçerliliğine dair güçlü bir kanıttır. Kurumlar bu analizi kendi İK verileriyle yapabilir; tek koşul, anonimliği koruyacak şekilde birim düzeyinde çalışmaktır.

Kurum içi bağlılık anketi için bu ne anlama geliyor?

Akademik ölçek geliştirme ile kurum içi anket aynı şey değildir; ama aynı ilkeler geçerlidir.

Endeks önermelerini ayrı değerlendirin

Bir bağlılık anketinde iki tür önerme vardır: Bağlılık endeksini oluşturan az sayıdaki önerme ve bağlılığı etkileyen alanları (yönetici, kariyer, takdir vb.) ölçen önermeler. Güvenilirlik en çok endeks için önemlidir, çünkü yıllar arası karşılaştırmalar, birim sıralamaları ve kilit etken analizi bu tek sayıya dayanır. Her ölçümde endeks önermelerinin alfasını hesaplayın; alfa belirgin şekilde düşerse bunun nedenini (çeviri sorunu, yeni eklenen bir çalışan grubu, değişen bir önerme) araştırın.

Geçerliliği kanıtlanmış önermeleri değiştirmeyin

UWES gibi bilimsel ölçekler, önermeleri tek tek test edilerek geliştirilmiştir. Bir önermenin kelimesini "daha anlaşılır olsun" diye değiştirmek, ölçeğin güvenilirlik ve geçerlilik kanıtlarını sizin uygulamanız için geçersiz kılabilir. Ayrıca sonuçlarınızı aynı ölçeği kullanan diğer çalışmalarla karşılaştırma imkanı ortadan kalkar. Bilimsel bir ölçek kullanacaksanız Türkçe uyarlaması yapılmış ve güvenilirliği test edilmiş versiyonunu, kullanım koşullarına uyarak olduğu gibi kullanın. Ölçeğin boyutlarını Utrecht İşe Bağlılık Ölçeği (UWES) yazımızda, farklı modelleri ise Gallup Q12 ve çalışan bağlılığı modelleri yazımızda anlattık.

Ölçeği tüm ankette sabit tutun

Aynı endeks içinde farklı cevap ölçekleri kullanmak ya da bazı önermeleri olumsuz, bazılarını olumlu ifade etmek iç tutarlılığı yapay olarak düşürebilir. Endeks önermelerinde aynı 5'li katılım ölçeğini kullanmanın nedenlerini Likert ölçeği nedir yazımızda açıkladık.

Pilot uygulama yapın

Yeni yazılan ya da yeni bir dile çevrilen önermeler, tüm kuruma gönderilmeden önce küçük bir grupla denenmelidir. Pratik bir pilot şu adımları içerir:

1. Önermeleri farklı birimlerden, farklı eğitim düzeylerinden 30–50 kişilik bir gruba uygulayın.
2. Birkaç kişiyle bire bir görüşerek her önermeyi nasıl anladıklarını sorun.
3. Endeks önermelerinin alfasını ve madde-toplam korelasyonlarını hesaplayın.
4. Toplamla ilişkisi çok zayıf olan, çok fazla "Kararsızım" alan ya da farklı anlaşılan önermeleri yeniden yazın veya çıkarın.

Önermelerin nasıl yazılacağını ve anketin nasıl kurgulanacağını çalışan bağlılığı anketi nasıl hazırlanır rehberimizde adım adım anlattık.

Güvenilirlik, cevap yanılgılarını göstermez

Tüm önermelere düşünmeden "Katılıyorum" diyen bir çalışan grubu alfayı yükseltir, ama ölçümün doğruluğunu bozar. Sosyal beğenirlik ya da onaylama eğilimi gibi yanılgılar tutarlı hatalar ürettiği için güvenilirlik katsayısında görünmez. Bu yanılgıları anket yanılgıları nedir yazımızda ele aldık.

Sık yapılan hatalar

• Yüksek alfayı geçerlilik kanıtı sanmak: Alfa yalnızca tutarlılığı gösterir. Birbirine çok benzeyen önermeler yüksek alfa üretir ama kavramın yalnızca dar bir kısmını ölçebilir.
• Tüm anket için tek bir alfa hesaplamak: Ücret, yönetici ve iş yükü gibi farklı konulardaki 50 önermenin birlikte alfası yüksek çıkar ama anlamsızdır. Alfa, aynı kavramı ölçen her ölçek veya alt boyut için ayrı hesaplanmalıdır.
• Ters ifadeli önermeleri çevirmeden hesaplamak: "Sık sık işten ayrılmayı düşünüyorum" gibi olumsuz önermeler hesaplamadan önce ters kodlanmazsa alfa düşük, hatta negatif çıkar.
• 0,95'in üzerindeki alfayı başarı saymak: Bu düzey çoğu zaman aynı şeyi farklı kelimelerle soran önermelere işaret eder. Anketi gereksiz uzatır ve çalışanı yorar.
• Alfayı yükseltmek için önerme eklemek: Alfa önerme sayısıyla kendiliğinden artar. Daha uzun bir anket daha iyi bir ölçüm demek değildir.
• Bilimsel ölçeklerin önermelerini serbestçe değiştirmek: Kelime değişiklikleri, kısaltmalar ve önerme çıkarma, ölçeğin kanıtlanmış özelliklerini geçersiz kılabilir.
• Küçük gruplarda alfa yorumlamak: 15 kişilik bir ekipte hesaplanan alfa çok oynaktır. Güvenilirlik analizini kurum geneli ya da büyük birimler düzeyinde yapın.
• Güvenilirliği bir kez test edip unutmak: Kurum büyüdükçe, yeni çalışan grupları (örneğin saha çalışanları) eklendikçe ya da anket yeni bir dile çevrildikçe güvenilirlik değişebilir. Her ölçümde kontrol edin.

Güvenilir ve geçerli bir ölçek, anket sonuçlarına duyulan güvenin temelidir. Ölçeğiniz sağlam olduğunda, yöneticilerin "Bu sonuçlar gerçeği yansıtıyor mu?" sorusuna kanıtla cevap verebilirsiniz. Sonuçların istatistiksel kesinliğini etkileyen diğer önemli unsur ise cevap sayısıdır; bunu örneklem büyüklüğü ve hata payı yazımızda anlattık.

Sık sorulan sorular