TUGAS AKHIR SEMESTER PSIKOLOGI DALAM TERAPAN I

TUGAS AKHIR SEMESTER PSIKOLOGI DALAM TERAPAN I: Aplikasi Certainty Based Marking dalam Achievement Test Menggunakan Bentuk Pertanyaan Benar-Salah

Imam Salehudin, SE. NPM 0806436680 Program Pascasarjana Terapan Psikometri Fakultas Psikologi Universitas Indonesia imams@ui.edu

Makalah ini mengeksplorasi aplikasi Certainty Based Marking (CBM) untuk mengatasi perilaku menebak (guessing behavior) dalam mengerjakan Achievement Test. Untuk menekankan pengaruh CBM dalam mengurangi perilaku menebak, maka bentuk pertanyaan yang dipilih untuk aplikasi CBM ini adalah bentuk pertanyaan Benar-Salah yang dipandang sebagai bentuk pertanyaan paling rentan terhadap perilaku menebak.

Kata Kunci: Certainty Based Marking, Achievement Test, True-False

Perilaku menebak merupakan salah satu faktor measurement error dalam berbagai tes maximum performance, khususnya bagi test pencapaian atau achievement test. Kecenderungan melakukan perilaku menebak sangat dipengaruhi oleh bentuk pertanyaan, instruksi pengisian dan metode penilaian. Certainty Based Marking atau CBM merupakan konsep yang disusun untuk mengakomodasi perilaku menebak melalui ketiga faktor diatas. Makalah ini berusaha mengekplorasi aplikasi CBM dalam Achievement Test menggunakan bentuk pertanyaan benar-salah atau true-false. Bentuk pertanyaan ini dipilih karena diyakini sebagai bentuk pertanyaan yang paling rentan terhadap perilaku guessing. Makalah ini juga berusaha mengembangkan alat ukur achievement berupa soal UAS bagi mata kuliah “Perilaku Organisasi” menggunakan CBM dan membandingkan soal tersebut dengan soal UAS menggunakan essay. Perbandingan dilakukan dengan soal berbentuk essay karena bentuk soal ini merupakan bentuk soal yang diyakini paling kebal terhadap perilaku guessing.

Achievement Test Sebelum membandingkan antara kedua bentuk pertanyaan, terlebih dahulu perlu dibahas mengenai definisi dan sifat Achievement Test. Achievement Test dapat didefinisikan sebagai instrumen tes yang bertujuan untuk mengukur derajat pencapaian seseorang dalam memperoleh informasi tertentu atau menguasai keahlian tertentu, umumnya sebagai hasil dari suatu instruksi atau pelatihan yang terencana.. Achievement Test umumnya dirancang untuk mengukur hasil dari sebuah program belajar dan pelatihan. Achievement test digunakan mengukur hasil pengalaman yang relatif terstandarisasi antar individu. Umumnya digunakan untuk menggambarkan bagaimana keberhasilan seseorang setelah mengikuti pelatihan tertentu. Contoh Achievement Test antara lain: UN, Kuis, UTS, UAS, dsb. Berdasarkan jenis tingkah laku yang diukur, achievement test dapat kategorikan sebagai maximum performance test (ability test/optimal performance test), dimana terdapat standar kinerja atau hasil penilaian tertentu yang harus dicapai subjek pengukuran tersebut. Selain itu, hasil tes dapat digunakan untuk mengurutkan seluruh subjek pengukuran, dari subjek dengan kinerja tertinggi hingga subjek dengan kinerja terendah.

Bentuk Pertanyaan Terbuka dan Tertutup Secara umum bentuk pertanyaan dapat dibagi menjadi dua kelompok besar, yakni pertanyaan terbuka dan tertutup. Pertanyaan terbuka merupakan bentuk pertanyaan dimana subjek dapat menuliskan jawaban apapun yang ia inginkan tanpa diberikan pilihan jawaban tertentu. Bentuk pertanyaan seperti ini bisa berupa essay maupun pertanyaan “isi yang kosong” (fill in the blanks). Contoh pertanyaan terbuka misalnya pertanyaaan “Ibukota Indonesia adalah _______________” dan “Jelaskan apa yang anda ketahui mengenai faktor-faktor yang mempengaruhi sebaran penduduk di Indonesia!” Pertanyaan tertutup merupakan bentuk pertanyaan dimana subjek diberikan beberapa pilihan pertanyaan dan diminta untuk memilih salah satu. Variasi bentuk pertanyaan ini umumnya berasal dari jumlah pilihan jawaban yang diberikan. Diantara bentuk pertanyaan tertutup, bentuk pertanyaan benar-salah (true-false) dipandang sebelah mata dibanding bentuk pertanyaan pilihan ganda yang lain, sedikitnya jumlah pilihan dan kesederhanaan proses berpikir yang dibutuhkan sehingga dianggap terlalu mudah dan rentan terhadap perilaku menebak. Bisa jadi pandangan tersebut dapat dijustifikasi. Friesbie (1973) menemukan bahwa bentuk pertanyaan benar-salah secara signifikan memiliki reliabilitas yang lebih rendah dibandingkan bentuk pertanyaan pilihan ganda. Tetapi ia menambahkan bahwa secara umum masih dapat mengukur hal yang sama dengan pilihan ganda (valid). Rendahnya reliabilitas ini dapat diatribusikan terhadap tingginya perilaku menebak.

Perilaku Menebak Nunnally (1970) menjelaskan bahwa salah satu faktor yang harus dipertimbangkan dalam pengukuran maximum performance adalah pengaruh perilaku menebak jawaban terhadap distribusi skor secara statistik dan psikometrik. Perilaku menebak jawaban ini muncul pada bentuk tes yang memiliki jawaban yang benar dan jawaban yang salah. Perilaku ini dominan muncul pada bentuk pertanyaan tertutup pilihan ganda, walaupun tidak membatasi kemungkinan terjadinya perilaku ini pada bentuk pertanyaan terbuka. Walaupun bentuk pertanyaan pilihan ganda memiliki kelemahan terhadap perilaku menebak dibandingkan pertanyaan terbuka, namun pilihan ganda memiliki bias respons yang lebih kecil dibanding pertanyaan tertutup. Selain itu, bentuk pilihan ganda dapat mempermudah penilaian dan meminimalisir bias subjektivitas penilai dalam memberikan penilaian. Nunnally menambahkan, responden seringkali menebak dengan melakukan eliminasi terhadap pilihan jawaban yang mereka anggap tidak mungkin benar. Oleh karena itu, alternatif pilihan sesungguhnya cenderung lebih kecil dari alternatif pilihan yang diberikan sehingga estimasi efek menebak cenderung lebih kecil dari efek sesungguhnya (underestimasi). Untuk mengatasi efek eliminasi, pembuat alat ukur dapat memasukkan satu atau lebih pilihan “jebakan” yang sangat masuk akal dan dapat menipu responden yang tidak benar-benar mengetahui jawaban yang benar. Pilihan jebakan ini bahkan dapat membingungkan dan menipu responden yang sebenarnya mengetahui apa jawaban yang benar. Oleh karena itu, praktik jebakan ini dinilai sebagai praktik yang kurang baik dan praktik yang ideal adalah menyusun pertanyaan dengan satu jawaban yang benar dan semua sisa alternatifnya adalah pertanyaan “jebakan”. Salah satu faktor yang dapat mempengaruhi perilaku menebak adalah penggunaan instruksi tertentu untuk mendorong responden untuk tidak menebak jawaban yang benar. Instruksi ini termasuk memberikan penalti untuk jawaban yang salah dan tidak ada keharusan untuk mengisi semua pertanyaan. Meskipun begitu, penggunaan instruksi tertentu ini dapat memasukkan unsur error dari perbedaan bagaimana responden merespon instruksi tersebut. Secara umum, instruksi untuk mengisi semua jawaban -walaupun harus menebak- merupakan instruksi yang lebih akurat dengan penggunaan model estimasi perilaku menebak yang sudah dijelaskan pada poin sebelumnya. Setelah reliabilitas instrumen antara bentuk pertanyaan pilihan ganda dengan pertanyaan terbuka diperbandingkan, ternyata reliabilitas pertanyaan pilihan ganda tidak serendah yang diestimasi Nunnally. Hal ini diakibatkan oleh asumsi yang lemah bahwa pertanyaan terbuka adalah pertanyaan dengan jumlah alternatif tidak terbatas. Pada kenyataannya, bentuk pertanyaan terbuka juga memiliki suatu set alternatif yang terbatas dan terbuka pada perilaku menebak yang sama dengan bentuk pertanyaan tertutup. Selain itu, setelah reliabilitas instrumen dengan jumlah alternatif jawaban yang berbeda-beda dihitung dan diperbandingkan, ditemukan bahwa reliabilitas cenderung meningkat seiring dengan jumlah alternatif jawaban yang diberikan. Walaupun begitu, peningkatan reliabilitas terhadap jumlah alternatif jawaban tersebut berlaku pada reliabilitas instrumen secara keseluruhan dan bukan merupakan peningkatan yang dramatis. Khusus untuk tes kecepatan (speed test), Nunnally juga menambahkan bahwa instruksi menjadi sangat penting untuk meminimalisir efek menebak. Meskipun demikian, untuk tes kecepatan sangat dianjurkan untuk menggunakan bentuk pertanyaan terbuka. Dalam tes kecepatan, responden tidak diharapkan dapat mengerjakan semua pertanyaan.. Jika tidak ada halangan yang signifikan untuk menebak, maka efek menebak pada tes kecepatan menjadi lebih besar dibanding efek menebak pada tes kekuatan (power test). Certainty Based Marking Certainty Based Marking (CBM) mengakomodasi perilaku menebak dan eliminasi alternatif jawaban dengan menanyakan tingkat keyakinan jawaban yang dianggap benar oleh subjek. Oleh karena itu, CBM mampu membedakan antara jawaban yang reliabel dan jawaban yang asal menebak. Selain itu, skema penilaian CBM memberikan penghargaan bagi jawaban benar dan memberikan penalti bagi jawaban salah berdasarkan tingkat keyakinan subjek terhadap jawaban tersebut. Hal ini dapat digunakan untuk mengidentifikasi titik-titik kelemahan atas proses pembelajaran yang dilakukan sebelumnya. CBM juga dapat dengan mudah diaplikasikan pada bahan-bahan tes yang sudah ada (Gardner-Medwin dan Curtin, 2007). Bentuk pertanyaan CBM serupa dengan pertanyaan biasa, namun selain diharapkan untuk mengisi jawaban yang tepat, subjek juga mengisi tingkat keyakinan yang ia miliki terhadap jawabannya sendiri, yakni: (1) Sangat Yakin (2) Yakin (3) Agak Yakin (4) Tidak Tahu Pilihan keempat (Tidak Tahu) diberikan agar jika seorang subjek memiliki tingkat keyakinan yang sangat rendah dan tidak ingin mendapatkan penalti jika jawabannya salah, maka ia dapat memilih tidak tahu. Wood (1976) menjelaskan bahwa instruksi pengerjaan memiliki pengaruh signifikan terhadap reliabilitas dengan mempengaruhi perilaku menebak. Dalam CBM, diinstruksikan bahwa semua pertanyaan harus dijawab, dan penilaian terhadap jawaban dipengaruhi oleh tingkat keyakinan. Untuk mempermudah instruksi, dibawah ini terdapat tabel skema penilaian yang mudah dipahami. Tabel 1: Skema Penilaian CBM No. Jawaban Tingkat Keyakinan Tidak Tahu Agak Yakin Yakin Sangat Yakin A Sesuai Dengan Kunci 0 1 2 3 B Berbeda dengan Kunci 0 -1 -4 -9

Seperti yang sudah dijabarkan diatas, skema penilaian CBM memberikan penghargaan atas jawaban benar yang memiliki tingkat keyakinan yang tinggi. Sebaliknya, CBM juga memberikan penalti yang besar bagi jawaban salah yang memiliki tingkat keyakinan yang tinggi. Grafik rerata ekspektasi nilai berdasarkan tingkat keyakinan, untuk masing-masing item pertanyaan dapat dilihat dibawah.

Gambar 1: Grafik Rerata Ekspektasi Nilai Berdasar Tingkat Keyakinan (Nilai Absolut)

Gambar 2: Grafik Rerata Ekspektasi Nilai Berdasar Tingkat Keyakinan (Nilai Terstandarisir)

Berdasarkan grafik diatas, titik tengah penilaian untuk masing-masing item adalah 67%. Dengan demikian, dapat disimpulkan bahwa jika rerata nilai salah satu item dibawah 67% maka terdapat kesalahan pemahaman yang sistematis yang dapat diatribusikan pada kesalahan kunci jawaban atau kesalahan pengajaran.

Aplikasi CBM Dalam Bentuk Pertanyaan Benar-Salah Aplikasi CBM dalam bentuk pertanyaan Benar-Salah dapat dilihat pada Lampiran 3. Pertanyaan disusun menggunakan format Likert yang sudah cukup dikenal oleh mahasiswa sebagai subjek pengukuran. Pertanyaan Benar-Salah diambil dari buku “Organizational Behavior” oleh Robbins dan Judge (2007). Dalam makalah ini, penulis hanya memberikan 10 item pertanyaan Benar-Salah mengenai “Komunikasi” sebagai contoh aplikasi CBM dalam achievement test. Dalam praktik yang sesungguhnya, untuk ujian selama 2.5 jam dapat diberikan sekitar 100 buah pertanyaan yang secara komprehensif mencakup materi yang akan diujikan.

Perbandingan Soal Ujian Akhir Semester “Perilaku Organisasi” antara Soal Benar-Salah CBM dengan Essay Sebagai perbandingan terhadap aplikasi CBM dalam bentuk pertanyaan benar salah, maka penulis menyertakan Soal Ujian Akhir Semester Mata Kuliah “Perilaku Organisasi” Semester Genap 2007/2008 pada Fakultas Ekonomi Universitas Indonesia yang dapat dilihat pada Lampiran 2. Selain itu, penulis juga menyertakan materi perkuliahan selama satu semester yang terdapat dalam Silabus Mata Kuliah “Perilaku Organisasi” Semester Genap 2007/2008 dalam Lampiran 1. Sepuluh buah contoh pertanyaan Benar-Salah yang diberikan pada Lampiran 3 dapat dibandingkan dengan soal essay nomor 1 pada Lampiran 1.

Kesimpulan CBM merupakan alternatif yang sangat menjanjikan dalam mengidentifikasi dan mempertimbangkan efek menebak dalam pengukuran Achievement. Aplikasi CBM tidak terbatas pada bentuk pertanyaan benar-salah. CBM dapat diaplikasikan pada bentuk pertanyaan pilihan ganda yang lain, dan bahkan pertanyaan terbuka seperti essay. Keunggulan soal benar-salah menggunakan CBM dibanding soal essay adalah memungkinkan penguji untuk memberikan jumlah item yang lebih banyak sehingga meningkatkan content validity alat ukur. Selain itu, soal benar-salah CBM memudahkan proses penilaian dan menghilangkan subjektivitas penilai.

Referensi 1. Anon. University of Wisconsin-Stout. (2007, June 11). Glossary. Diakses 17 Desember, 2008, from http://faculty.uwstout.edu/lawlerm/at101/glossary.shtml 2. Frisbie, D.A. (1973) Multiple Choice Versus True-False: A Comparison of Reliabilities and Concurrent Validities. Journal of Educational Measurement. 10(4). Diunduh dari JSTOR. 3. Gardner-Medwin, A.R. & Curtin, N.A. (2007). Certainty-Based Marking (CBM) For Reflective Learning and Proper Knowledge Assessment. REAP International Online Conference on Assessment Design for Learner Responsibility, 29th-31st May, 2007. Diunduh dari http://ewds.strath.ac.uk/REAP07 4. Nunnally, J.C. Jr (1970). Introduction to Psychological Measurement. New York: McGraw-Hill Book Company. 5. Wood, R. (1976). Inhibiting Blind Guessing: The Effect of Instructions. Journal of Educational Measurement, 13:4 (Winter, 1976), pp. 297-307. Diterbitkan oleh National Council on Measurement in Education. Diunduh dari JSTOR (http://www.jstor.org/stable/1434106). Tanggal 13 Oktober 2008. Lampiran 1: Silabus Perkuliahan “Perilaku Organisasi” Semester Genap 2007/2008

Kuliah Ke- Tanggal Topik Bahasan Bacaan 1 04-02-08 Pengantar pada Mata Kuliah R:Bab 1, G:Bab 1 2 11-02-08 “Foundations of Individual Behavior” dan “Attitudes and Job Satisfaction” R: Bab 2 & 3 3 18-02-08 “Personality and Values” R: Bab 4 4 25-02-08 “Perception and Individual Decision Making”dan “Motivation Concepts” R: Bab 5 & 6 5 03-03-08 “Motivation : From Concepts to Applications” dan “Emotions and Moods” R: Bab 7 & Bab 8 6 10-03-08 “Foundations of Group Behavior” R: Bab 9 7 17-03-08 “Understanding Work Teams” R: Bab 10 24-03-08 — 04-04-08 : Ujian Tengah Semester 8 09-04-08 “Communication” R: Bab 11; G: Bab 15 9 16-04-08 “Basic Approaches to Leadership” “Contemporary Issues in Leadership” R: Bab 12 & 13 10 23-04-08 “Power and Politics” “Conflict and Negotiations” R: Bab 14 & 15 11 30-04-08 “Foundations of Organizational Structure” R: Bab 16 12 07-05-08 “Organizational Culture” R: Bab 17 13 14-05-08 “Human Resources Policies and Practices” G: Bab 18 14 21-05-08 “Organizational Change and Stress Management “ G: Bab 19 28-05-06 — 08-06-06 : Ujian Akhir Semester R: Robbins, Stephen P., and Timothy A Judge, Organizational Behavior, 12th edition, New Jersey, Pearson Prentice Hall, 2007. G: Gibson, James L., John M. Ivancevich, Jr., James H. Donnelly, Robert Konopaske, Organizations: Behavior, Structure, Processes, McGrawHill/Irwin, 11th edition, 2005.

Lampiran 2

UJIAN AKHIR SEMESTER SEMESTER GENAP 2007/2008

Mata Kuliah : Perilaku Keorganisasian Dosen : Tim Dosen Hari/Tanggal : Senin, 26 Mei 2008 Waktu : 150 menit (13.00-15.30) Sifat Ujian : Closed Book (Buku Tertutup)

Pilih dan kerjakan 6 dari 9 soal di bawah. Semua soal memiliki bobot sama. Baca semua soal dengan teliti dan kerjakan yang paling mudah terlebih dahulu..

Soal 1: Komunikasi. Sebutkan dan jelaskan hambatan-hambatan terhadap efektivitas komunikasi menurut Robbins dan saran-saran Robbins untuk mengatasinya. (Jawaban : Robbins, hal 339-342).

Soal 2: Kepemimpinan: Pendekatan-pendekatan Dasar. Sebagai seorang manager, anda dihadapkan pada sekelompok anak buah anda yang akhir-akhir ini performansi kerja mereka terus menurun. Terlihat kurang ada usaha pada mereka untuk memberikan yang terbaik pada perusahaan. Padahal anda tahu bahwa mereka sebenarnya sangat mampu untuk bisa melaksanakan tugas mereka dengan baik. Berpegang pada Teori Kepemimpinan Situasional dari Hersey and Blanchard, gaya kepemimpinan apa yang harus anda pilih untuk bisa mengatasi permasalahan ini. Gunakan prinsip pemilihan gaya kepemimpinan menurut Teori Kepemimpinan dari Hersey and Blanchard didalam menunjang pilihan anda. (Jawaban : Robbins, hal 367-368)

Soal 3: Kepemimpinan: Masalah-masalah Masakini. Kepemimpinan tidak bebas nilai. Pemimpin yang efektif adalah pemimpin yang dalam menjalankan perannya mempertimbangkan cara-cara pencapaian tujuan yang tepat maupun aspek moral dari tujuan tersebut. Setujukah anda dengan pendapat di atas? Bila setuju/tidak setuju berikan alasan yang mendasari jawaban anda disertai contoh konkrit. (Jawaban: Robbins, hal 387-388).

Soal 4: Kekuasaan dan Berpolitik. Sumber-sumber dari kekuasaan dapat berasal dari sumber formal ataupun sumber pribadi. Jelaskan apa saja yang menjadi sumber kekuasaan formal atapun pribadi disertai dengan contohnya! (Jawaban: Robbins, hal. 417-418)

Soal 5: Konflik dan Negosiasi. Konflik dalam organisasi memiliki tingkatan yang berbeda dan perlu penanganan yang tepat agar tidak mempengaruhi kinerja unit serta kepuasan kerja karyawan. Dengan demikian seorang atasan dituntut untuk mampu memilih metoda/cara mengatasi konflik yang dihadapi sesuai tingkatan dan karakteristika masing-masing. Jelaskan jenis metoda/cara penyelesaian konflik yang sudara ketahui sesuai tingkatan konflik, disertai dengan contoh. (Jawaban : Robbins, Exhibit 15-10, hal 469-470).

Soal 6: Dasar-dasar Struktur Organisasi. Deskripsikan beberapa rancangan struktur organisasi umum dan terbaru yang anda ketahui beserta kelebihan dan kelemahannya. Sertakan penjelasan anda dengan keterkaitannya pada elemen utama dari struktur organisasi! (Jawaban: Robbins hal 485-494)

Soal 7: Budaya Organisasi. Menurut Robbins, dimensi-dimensi apakah yang membedakan spiritual organizations dan non spiritual organizations? (Jawaban: Robbins, hal. 531-532)

Soal 8: Kebijakan dan Praktik-praktik SDM. Jelaskan berbagai tujuan evaluasi kinerja dalam sebuah organisasi dan berikan beberapa saran yang dapat digunakan untuk meningkatkan efektivitas evaluasi kinerja? (Jawaban: Robbins, hal 553-554, 558)

Soal 9: Perubahan Organisasi dan Manajemen Ketegangan (Stress). Uraikan resistensi/penolakan terhadap perubahan yang bersumber pada faktor-faktor organisasional. (Jawaban: Robbins, Exhibit 19-2, hal. 577-578)

—Selamat Mengerjakan—

Lampiran 3: Contoh Pertanyaan Benar Salah Untuk Ujian Akhir Semester “Perilaku Organisasi” Chapter 11: Komunikasi No. Pernyataan (1) Sangat Yakin Salah (2) Yakin Salah (3) Agak Yakin Salah (4) Tidak Tahu (5) Agak Yakin Benar (6) Yakin Benar (7) Sangat Yakin Benar 1 Proses Komunikasi merupakan langkah-langkah antara sumber atau pengirim yang menghasilkan penyampaian dan pemaham-an pengertian secara verbal. (Kunci: Salah) 2 Elemen kunci dalam proses komunikasi adalah (1) Pengirim, (2) Encoding, (3) Pesan, (4) Saluran, (5) Penerima, dan (6) Decoding. (Kunci: Salah) 3 Efektivitas komunikasi dapat diukur dari tingkat kesamaan pesan yang dipahami penerima dengan pesan yang dimaksud pengirim. (Kunci: Salah) 4 Informasi Berlebih Beban (“Overload”) yang terjadi apabila volume informasi melebihi kemampuan mengirim dan mengolah informasi merupakan hambatan berasal dari pihak Pengirim dan Penerima. (Kunci: Benar) 5 Budaya suku Tiong Hoa dapat dikategorikan sebagai Budaya Konteks Rendah karena mengandalkan isyarat non-verbal dan situasional. (Kunci: Salah) 6 Ciri-ciri budaya Polikronik adalah menepati janji waktu; ketat mengikuti rencana; menghormati hak-hak pribadi; menghormati milik pribadi; dan tepat waktu dengan siapa saja. (Kunci: Salah) 7 Saluran yang “Kaya Informasi” adalah saluran yang mampu menangani berbagai jenis komunikasi dan isyarat sekaligus; memungkinkan umpan-balik secepatnya; dan dapat menciptakan rasa keakraban dan kedekatan. (Kunci: Benar) 8 Jaringan non-formal (grapevine) merupakan saluran utama komunikasi antara karyawan yang tidak dapat dikendalikan oleh pimpinan dan diyakini lebih akurat dibanding dengan saluran komunikasi resmi.(Kunci: Benar) 9 Jaringan Komunikasi Rantai memiliki kecepatan informasi sedang, ketepatan informasi tinggi. kecenderungan munculnya pemimpin yang sedang, dan kepuasan anggota yang sedang.(Kunci: Benar) 10 Berikut adalah contoh selective perception: Pembicara dengan suara yang merdu, wajah yang bagus, dan ekspresi muka yang menyenangkan, dipersepsikan lebih menguasai per-soalan dan tenang dan karena itu lebih meyakinkan, dibanding dengan yang tidak. (Kunci: Salah)

December 22 2008 08:31 am | Papers

Comments are closed.