Ketika peer review, misalnya, menilai daya saing produk, perlu, seperti dalam karya ilmiah apa pun, untuk melakukan pemrosesan data statistik. Yang terakhir dimulai dengan menentukan konsistensi pendapat ahli, ekspresi numerik yang merupakan koefisien konkordansi.
Mengapa kita membutuhkan penilaian konsensus ahli?
Penilaian ini diperlukan, pertama-tama, karena pendapat para ahli dapat sangat berbeda pada parameter yang diestimasi. Awalnya, penilaian dilakukan dengan memberi peringkat pada indikator-indikator dan memberinya koefisien signifikansi (bobot) tertentu. Hasil peringkat yang tidak konsisten dalam koefisien ini secara statistik tidak dapat diandalkan. Pendapat para ahli dengan jumlah yang dibutuhkan (lebih dari 7-10) harus didistribusikan menurut hukum normal.
Konsep koefisien konkordansi
Jadi. Konsistensi adalah konkordansi. Koefisien adalah kuantitas tak berdimensi yang menunjukkan rasio dispersi terhadap dispersi maksimum dalam kasus umum. Mari kita generalisasikan konsep-konsep ini.
Koefisien konkordansi adalah angka dari 0 hingga 1, menunjukkan konsistensi pendapat ahli ketikaperingkat beberapa properti. Semakin dekat nilai ini ke 0, semakin rendah konsistensi yang dipertimbangkan. Jika nilai koefisien ini kurang dari 0,3, pendapat para ahli dianggap tidak konsisten. Ketika nilai koefisien berada dalam kisaran 0,3 hingga 0,7, konsistensi dianggap rata-rata. Nilai yang lebih besar dari 0,7 dianggap konsistensi tinggi.
Kasus penggunaan
Saat melakukan penelitian statistik, situasi mungkin muncul di mana suatu objek dapat dicirikan bukan oleh dua urutan, yang diproses secara statistik menggunakan koefisien konkordansi, tetapi oleh beberapa urutan, yang diberi peringkat oleh para ahli dengan tingkat yang sama. profesionalisme di bidang tertentu.
Konsistensi pemeringkatan yang dilakukan oleh para ahli harus ditentukan untuk mengkonfirmasi kebenaran hipotesis bahwa para ahli melakukan pengukuran yang relatif akurat, yang memungkinkan terbentuknya berbagai pengelompokan dalam kelompok ahli, yang sebagian besar ditentukan oleh faktor manusia, terutama seperti perbedaan pandangan, konsep, aliran ilmiah yang berbeda, sifat aktivitas profesional, dll.
Deskripsi singkat tentang metode peringkat. Kelebihan dan kekurangannya
Saat memberi peringkat, metode peringkat digunakan. Esensinya terletak pada kenyataan bahwa setiap properti objek diberi peringkat spesifiknya sendiri. Selain itu, setiap ahli yang termasuk dalam kelompok ahli, peringkat ini ditetapkanindependen, sehingga perlu mengolah data tersebut untuk mengidentifikasi konsistensi pendapat ahli. Proses ini dilakukan dengan menghitung koefisien konkordansi.
Keuntungan utama dari metode peringkat adalah kemudahan implementasinya.
Kelemahan utama dari metode ini adalah:
- sejumlah kecil objek peringkat, karena ketika jumlahnya melebihi 15-20, menjadi sulit untuk menetapkan skor peringkat objektif;
- Berdasarkan penggunaan metode ini, pertanyaan tentang seberapa jauh objek yang dipelajari dari satu sama lain secara signifikan tetap terbuka.
Saat menggunakan metode ini, harus diperhitungkan bahwa peringkat didasarkan pada semacam model probabilistik, sehingga harus diterapkan dengan hati-hati, mengingat cakupannya.
Koefisien Peringkat Kesesuaian Kendall
Digunakan untuk menentukan hubungan antara fitur kuantitatif dan kualitatif yang mencirikan objek homogen dan diberi peringkat menurut prinsip yang sama.
Koefisien ini ditentukan dengan rumus:
t=2S/(n(n-1)), di mana
S - jumlah selisih antara jumlah urutan dan jumlah inversi pada fitur kedua;
n - jumlah pengamatan.
Algoritme perhitungan:
- Nilai x diberi peringkat dalam urutan menaik atau menurun.
- Nilai-y diatur dalam urutan yang sesuai dengan nilai-x.
- Untuk setiap peringkat y yang berurutan, tentukan berapa banyak nilai peringkat yang lebih tinggi yang mengikutinya. Mereka dijumlahkan dan ukuran korespondensi barisan pangkat dalam x dan y dihitung.
- Demikian pula, jumlah peringkat y dengan nilai lebih rendah dihitung, yang juga dijumlahkan.
- Menambahkan jumlah pangkat dengan nilai lebih tinggi dan jumlah pangkat dengan nilai lebih rendah, sehingga menghasilkan nilai S.
Koefisien ini menunjukkan hubungan antara dua variabel, dan dalam banyak kasus disebut koefisien korelasi peringkat Kendall. Ketergantungan tersebut dapat direpresentasikan secara grafis.
Penentuan koefisien
Bagaimana caranya? Jika jumlah fitur peringkat atau faktor melebihi 2, koefisien konkordansi digunakan, yang pada dasarnya adalah varian ganda dari korelasi peringkat.
Hati-hati. Perhitungan koefisien konkordansi didasarkan pada rasio simpangan jumlah kuadrat pangkat dari rata-rata jumlah kuadrat pangkat, dikalikan 12, dengan kuadrat ahli dikalikan selisih pangkat tiga objek dan jumlah objek.
Algoritme perhitungan
Untuk memahami dari mana angka 12 berasal dalam pembilang rumus perhitungan, mari kita lihat algoritma penentuannya.
Untuk setiap baris dengan peringkat seorang ahli tertentu, jumlah peringkat dihitung, yang merupakan nilai acak.
Koefisien konkordansi umumnya didefinisikan sebagai rasio estimasi varians (D) dengan nilai maksimum estimasi varians(Dmaks). Mari kita berturut-turut merumuskan definisi besaran-besaran ini.
di mana ravg - perkiraan harapan;
m - jumlah objek.
Mengganti rumus yang dihasilkan dalam kaitannya dengan D ke Dmax kita mendapatkan rumus akhir untuk koefisien konkordansi:
Di sini m adalah jumlah ahli, n adalah jumlah objek.
Rumus pertama digunakan untuk menentukan faktor konkordansi jika tidak ada rangking yang berhubungan. Rumus kedua digunakan jika ada rangking yang berhubungan.
Jadi, perhitungan koefisien konkordansi selesai. Apa berikutnya? Nilai yang diperoleh dievaluasi signifikansinya menggunakan koefisien Pearson dengan mengalikan koefisien ini dengan jumlah ahli dan jumlah derajat kebebasan (m-1). Kriteria yang dihasilkan dibandingkan dengan nilai tabel, dan jika nilai yang pertama melebihi yang terakhir, mereka berbicara tentang pentingnya koefisien yang diteliti.
Dalam kasus peringkat terkait, perhitungan kriteria Pearson menjadi agak lebih rumit dan dilakukan dengan rasio berikut: (12S)/(d(m2+ m)-(1/(m-1))x(Ts1 +Ts2 +Tsn)
Contoh
Asumsikan bahwa metode ahli mengevaluasi daya saing mentega yang dijual di jaringan ritel. Mari kita berikan contoh menghitung koefisien konkordansi. Sebelum menilai daya saing, perlu dilakukan pemeringkatan konsumensifat produk ini yang terlibat dalam evaluasi. Mari kita asumsikan bahwa sifat-sifat ini adalah sebagai berikut: rasa dan bau, konsistensi dan penampilan, warna, kemasan dan pelabelan, kandungan lemak, nama dagang, produsen, harga.
Asumsikan bahwa kelompok ahli terdiri dari 7 orang ahli. Gambar menunjukkan hasil peringkat properti ini.
Nilai rata-rata r dihitung sebagai rata-rata aritmatika dan akan menjadi 31,5. Untuk mencari S, jumlahkan selisih kuadrat antara ris dan r rata-rata, sesuai dengan rumus di atas, dan tentukan bahwa nilai S adalah 1718.
Hitung koefisien konkordansi menggunakan rumus tanpa menggunakan peringkat terkait (peringkat akan terkait jika Expert Advisor yang sama memiliki peringkat yang sama untuk properti yang berbeda).
Nilai koefisien ini akan menjadi 0,83. Ini menunjukkan konsensus yang kuat di antara para ahli.
Periksa signifikansinya menggunakan uji Pearson:
7 x 0,83 x (8-1)=40,7.
Uji tabular Pearson pada tingkat signifikansi 1% adalah 18,5, dan pada 5% - 14,1..
Contoh ini menunjukkan kesederhanaan dan aksesibilitas perhitungan bagi siapa saja yang mengetahui dasar-dasar perhitungan matematis. Untuk meringankan mereka,gunakan formulir spreadsheet.
Kesimpulan
Dengan demikian, koefisien konkordansi menunjukkan konsistensi pendapat beberapa ahli. Semakin jauh dari 0 dan semakin dekat ke 1, semakin konsisten pendapat. Koefisien ini harus dikonfirmasi dengan menghitung kriteria Pearson.
