Bağlılık Anketi Sonuçlarını Yıllar Arasında Karşılaştırmak: Hangi Fark Gerçekten Anlamlı?

Bağlılık anketi sonuçlarını yıllar arasında karşılaştırmak, atılan adımların işe yarayıp yaramadığını görmenin en doğrudan yoludur. Ancak her fark gerçek bir değişim değildir. Bir farkın anlamlı olması için iki koşul gerekir: İki ölçümün gerçekten karşılaştırılabilir olması (aynı önermeler, aynı ölçek, aynı hesaplama yöntemi, benzer bir çalışan kitlesi) ve farkın, grup büyüklüğü dikkate alındığında tesadüfle açıklanamayacak kadar büyük olması. Bu yazıda bu iki koşulu nasıl kontrol edeceğinizi, trendi bozan etkenleri ve sonuçları nasıl raporlayacağınızı anlatıyoruz.

Karşılaştırmanın ön koşulları

İki yılın sonucunu yan yana koymadan önce, ölçümlerin aynı şeyi aynı şekilde ölçtüğünden emin olun:

Bu koşullardan biri değiştiyse karşılaştırma yapmak yine mümkün olabilir; ancak değişim rapora not olarak düşülmeli ve farklar daha temkinli yorumlanmalıdır.

Çekirdek önerme seti tutun

Anketler zamanla gelişir: Yeni gündemler eklenir, işe yaramayan önermeler çıkarılır. Bu doğaldır; ancak her yıl önermeleri değiştirmek, karşılaştırma yapmayı imkânsız hale getirir. Çözüm, değişmeden kalan bir çekirdek önerme seti tutmaktır:

• Bağlılık endeksini oluşturan önermeler hiçbir koşulda değiştirilmemelidir.
• Her kategoride en az iki üç önerme, birkaç yıl boyunca aynı kalmalıdır.
• Yeni gündemler (örneğin hibrit çalışma ya da yapay zekâ kullanımı) çekirdek sete dokunmadan ek modüller olarak eklenebilir.
• Bir önermenin ifadesini değiştirmek zorunluysa, o önermenin trend çizgisini kırın ve yeni ifadeyle yeni bir başlangıç noktası oluşturun. "Benzer bir önermeydi" diyerek eski sonuçla karşılaştırmayın.

Önermeleri ilk baştan doğru kurgulamak, ileride değiştirme ihtiyacını azaltır. Bunun için anket sorularında yapılan hatalar yazımıza göz atabilirsiniz. Anket sağlayıcısını değiştirmeyi düşünüyorsanız, yeni sağlayıcının çekirdek önermelerinizi koruyup koruyamayacağını mutlaka sorun.

Hangi fark anlamlıdır?

Grup büyüklüğü belirleyicidir

Her ölçümde sonuçlar bir miktar tesadüfen oynar. Grup ne kadar küçükse bu oynama o kadar büyüktür. Aşağıdaki tablo, olumlu cevap oranı %50 civarında olan bir önermede, iki yıl arasındaki farkın %95 güvenle tesadüften ayrılabilmesi için kabaca ne kadar büyük olması gerektiğini gösterir:

Değerler, olumlu cevap oranı %50 civarında olan tek bir önerme için klasik yöntemle hesaplanmış kaba bir rehberdir. Oran %50'den uzaklaştıkça eşikler biraz küçülür. Birden fazla önermenin ortalamasından oluşan bağlılık endeksi de tek bir önermeye göre daha az oynar.

Tablonun pratik anlamı şudur: 100 kişilik bir birimde geçen yıla göre 8 puanlık bir düşüş, dikkat çekici görünse de tesadüf olabilir. Buna karşılık 5.000 kişilik bir kurumda bağlılık endeksindeki 3 puanlık düşüş, büyük ihtimalle gerçek bir değişime işaret eder.

Farkı test etmek

Bir farkın anlamlı olup olmadığını daha kesin değerlendirmek için iki oran arasındaki farkın anlamlılık testi kullanılır:

z = (p₂ − p₁) / √[ p₁(1 − p₁) / n₁ + p₂(1 − p₂) / n₂ ]

Burada p₁ ve p₂ iki yılın olumlu cevap oranı, n₁ ve n₂ ise cevap veren kişi sayısıdır. z değeri 1,96'dan büyükse fark %95 güvenle anlamlı kabul edilir.

Örnek: Bir kurumda bağlılık endeksi geçen yıl %64 (820 cevap), bu yıl %68 (850 cevap) çıkmış olsun.

• Paydadaki karekök: √(0,64 × 0,36 / 820 + 0,68 × 0,32 / 850) ≈ 0,023
• z ≈ 0,04 / 0,023 ≈ 1,73

z değeri 1,96'nın altında kaldığı için 4 puanlık artış %95 güvenle anlamlı değildir. Bu, artışın olmadığı anlamına gelmez; yalnızca bu büyüklükteki bir kurumda 4 puanlık farkın tesadüfle de açıklanabileceğini gösterir. Bir sonraki ölçümde artış sürerse, eğilim netleşir.

Katılımın çok yüksek olduğu anketlerde bazı analistler, çalışanların neredeyse tamamı cevap verdiği için hesaplamaya bir düzeltme (sonlu evren düzeltmesi) uygular ve eşikleri düşürür. Ancak çalışanların görüşleri tüm çalışanlar cevap verse bile zaman içinde dalgalandığından, yıllar arası karşılaştırmada düzeltmesiz, temkinli yaklaşımı öneriyoruz.

İstatistiksel anlamlılık ve pratik önem

İstatistiksel olarak anlamlı her fark önemli değildir. 20.000 kişilik bir kurumda 1,5 puanlık bir fark istatistiksel olarak anlamlı çıkabilir ama pratikte bir şey ifade etmeyebilir. Kabaca:

• Kurum genelinde 1–2 puan: Genellikle "değişim yok" olarak okunmalı.
• 3–5 puan: İstatistiksel olarak da destekleniyorsa dikkate değer bir değişim.
• 5 puan ve üzeri: Belirgin bir değişim; nedenleri mutlaka araştırılmalı.

Kurum ortalamasını yanıltan üç etki

1. Kompozisyon etkisi

Kurum ortalaması, hiçbir grubun sonucu kötüleşmese bile değişebilir. Örneğin:

Tablodaki değerler örnek amaçlıdır.

Her iki grubun bağlılığı 2 puan artmasına rağmen kurum ortalaması 2,5 puan düşmüştür. Bunun nedeni, bağlılığı daha düşük olan saha çalışanlarının kurum içindeki payının artmasıdır. Bu durumu fark etmeyen bir yönetim, aslında iyileşen bir tabloyu kötüleşme olarak yorumlayabilir. Kurum genelindeki bir değişimi yorumlamadan önce, mutlaka ana gruplardaki değişime de bakın. Grupları nasıl oluşturacağınızı çalışan anketlerinde segmentasyon yazımızda anlattık.

2. Katılım etkisi

Katılım oranı belirgin şekilde değiştiğinde, cevap veren kitle de değişir. Örneğin katılım %60'tan %85'e çıktıysa, önceki yıl cevap vermeyen çalışanlar bu yıl ankete katılmış demektir. Ankete katılmayan çalışanlar genellikle daha az bağlı olduğundan, katılımdaki artış sonuçları gerçek bir kötüleşme olmadan aşağı çekebilir. Tersine, katılım düştüyse sonuçlar yalnızca daha bağlı çalışanların cevaplarını yansıttığı için olduğundan iyi görünebilir.

Bu etkiyi ayırmak için katılımın gruplar bazında nasıl değiştiğine bakın: Sonuçtaki düşüş, katılımı en çok artan gruplarda mı yoğunlaşıyor? Katılımla ilgili ayrıntılar için çalışan anketlerinde katılım oranı yazımıza bakabilirsiniz.

3. Dış olaylar ve zamanlama

Anketin yapıldığı dönemde yaşanan olaylar sonuçları doğrudan etkiler: işten çıkarmalar, birleşmeler, üst yönetim değişikliği, ücret artışlarının açıklanması ya da ekonomik belirsizlik. Anket dönemini her yıl benzer tutmak ve sonuç raporuna o dönemde yaşanan önemli olayları not etmek, farkları doğru yorumlamayı sağlar.

Organizasyon değiştiğinde birimleri karşılaştırmak

Yeniden yapılanmalar, birim düzeyinde karşılaştırmanın en büyük engelidir. Önerilen yaklaşım:

1. Eşleştirme tablosu oluşturun: Eski yapıdaki her birimin yeni yapıda hangi birime karşılık geldiğini belirleyin.
2. Yalnızca karşılaştırılabilir birimleri karşılaştırın: Çalışanlarının büyük çoğunluğu aynı kalan birimler için trend gösterin.
3. Yeni başlangıç noktası kabul edin: Birleşen, bölünen ya da çalışanlarının çoğu değişen birimler için önceki yılla karşılaştırma yapmayın; bu yılın sonucu yeni yapının ilk ölçümüdür.
4. Yönetici değişikliğini not edin: Birim aynı kalsa bile yöneticisi değiştiyse, değişim büyük ölçüde yeni yöneticinin etkisini yansıtabilir.

Anonim anketlerde çalışanlar tek tek izlenmez; karşılaştırma bireyler değil gruplar arasında yapılır. Bu yüzden bir birimdeki değişim, kısmen o birime katılan ve oradan ayrılan çalışanlardan da kaynaklanabilir. Anonimlik modellerinin farkını çalışan anketlerinde anonimlik ve KVKK yazımızda anlattık.

Neye bakmalı? Karşılaştırmanın doğru sırası

1. Karşılaştırılabilirliği kontrol edin: Önermeler, ölçek, kapsam ve zamanlama aynı mı?
2. Katılımı karşılaştırın: Toplam ve gruplar bazında katılım nasıl değişti?
3. Bağlılık endeksindeki değişime bakın: Fark, grup büyüklüğüne göre anlamlı mı?
4. Ana gruplara inin: Kurum genelindeki değişim gruplardaki değişimden mi, grupların ağırlığındaki değişimden mi kaynaklanıyor?
5. Aksiyon alınan alanlara bakın: Geçen yıl öncelik verilen alanlarda değişim var mı? Bu, atılan adımların işe yarayıp yaramadığının en doğrudan göstergesidir.
6. En çok değişen önermeleri belirleyin: Yalnızca anlamlı farkları listeleyin.
7. Dağılıma bakın: Olumlu oran aynı kalsa bile olumsuz cevapların artması, kutuplaşmanın başladığına işaret edebilir.
8. Açık uçlu yorumlarla doğrulayın: Bir konu yorumlarda geçen yıla göre daha sık geçiyorsa değişim netleşir.

Öncelikli alanların nasıl belirleneceğini bağlılık anketinde kilit etken (driver) analizi yazımızda anlattık.

Tek bir yıl değil, eğilim

İki ölçüm arasındaki fark tek bir veri noktasıdır. Üç ve daha fazla ölçüm, gerçek bir eğilimi tesadüften ayırmayı çok daha kolay hale getirir: Üç yıl üst üste 2'şer puan yükselen bir sonuç, tek yılda 6 puan yükselip ertesi yıl geri düşen bir sonuçtan daha güvenilir bir iyileşmedir.

Yıllık anketlerin arasında yapılan kısa nabız anketleri, eğilimi daha sık izlemeyi sağlar. Ancak nabız anketlerinde de aynı önermeleri kullanmak ve küçük farkları abartmamak gerekir. Ölçüm takvimini çalışan anketi ne sıklıkla yapılmalı yazımızda anlattık.

Sonuçları raporlamak

• Her sonucun yanında cevap sayısını gösterin: Okuyucu farkın ne kadar güvenilir olduğunu kendisi de değerlendirebilir.
• Yalnızca anlamlı farkları işaretleyin: Yukarı ya da aşağı okları yalnızca eşiği geçen farklara koyun; diğerlerini "değişim yok" olarak gösterin.
• Trend kırılımlarını belirtin: Önermesi, kapsamı ya da birimi değişen sonuçlarda trend çizgisini kesin ve nedenini not edin.
• Bağlamı ekleyin: Kurumda yaşanan önemli olayları, katılım ve kompozisyondaki değişimleri rapora ekleyin.
• Yöneticileri değişime göre sıralamayın: Küçük ekiplerde değişim büyük ölçüde tesadüf olabilir; sıralama haksız sonuçlara ve bir sonraki ankette baskıya yol açar.

Yıllar arası karşılaştırma, dış kıyaslamayla birlikte okunduğunda daha güçlü hale gelir: Kurum sonuçları düşerken sektördeki genel eğilim de düşüyorsa, tablo farklı yorumlanmalıdır. Bunun için çalışan bağlılığı benchmark yazımıza bakabilirsiniz. Sonuçlarınız belirgin şekilde kötüleştiyse çalışan anketi sonuçları kötü çıktığında ne yapılmalı yazımızdaki yol haritasından yararlanabilirsiniz.

Sık yapılan hatalar

• Değişen önermeleri karşılaştırmak: İfadesi ya da ölçeği değişen bir önermenin sonucu önceki yılla karşılaştırılamaz.
• Küçük gruplardaki farkları abartmak: 30 kişilik bir ekipte 10 puanlık değişim çoğu zaman tesadüftür.
• Kompozisyon ve katılım etkisini gözden kaçırmak: Kurum ortalamasındaki değişim her zaman çalışanların deneyimindeki değişim değildir.
• Yalnızca kurum ortalamasına bakmak: Ortalama sabit kalırken bir grup belirgin şekilde iyileşmiş, başka bir grup kötüleşmiş olabilir.
• Her yıl yeni öncelik belirlemek: Aksiyon alınan alandaki değişimi en az iki üç ölçüm boyunca izlemeden yeni önceliklere geçmek, neyin işe yaradığını öğrenmeyi engeller.

Sık sorulan sorular