Prosedur evaluasi program menurut Farida Yusuf Tayibnapis

1.    Pemfokusan Evaluasi

a. Apa Program yang Akan Dievaluasi?

Keakraban dengan orang-orang proyek dan pengenalan yang tuntas tentang program yang akan dievaluasi merupakan syarat yang mutlak. Evaluator harus menyediakan waktu untuk mendengar segala sesuatu tentang program dari orang-orang proyek. Yang penting untuk diketahui adalah:

1.    Siapa yang akan mendapat manfaat program?

2.    Siapa yang akan mengerjakan program tersebut?

3.    Apa yang akan mereka lakukan?

Jika terjadi perbedaan pandangan antara orang-orang program dan evaluator, maka evaluator dapat melakukan wawancara sebagai berikut:

1.    Klien

a.    Siapa yang dilayani oleh program?

b.    Bagaimana mereka dapat terlibat dalam proyek?

c.    Apa bedanya dengan mereka yang tidak terlibat?

2.    Tujuan

a.    Apa yang dilakukan program bagi orang yang dilayani?

b.    Apakah tujuan utama sudah dirumuskan dan apakah tujuan itu?

c.    Mana dari tujuan tersebut yang penting?

d.    Bagaimana karyawan menilai betapa baiknya mereka mencapai tujuan tersebut?

e.    Bila program berhasil, apa yang diharapkan terjadi?

3.    Proses

a.    Apa pendekatan umum yang dipakai?

b.    Apa kegiatan yang dilakukan?

c.    Apa jadwal dan kegiatan yang dilakukan?

4.    Organisasi

a.    Dimana pelayanan diberikan? Apakah ada perbedaan diantara mereka?

b.    Siapa yang memberi pelayanan? Berapa jumlah karyawan?

c.    Siapa yang membiayai program?

d.    Bagaimana program dilakukan? Bagaimana hierarki organisasi?[1]

b. Mengapa Evaluasi Dilakukan?

Hal ini memerlukan pandangan dari klien dan evaluator, biasanya evaluator yang memegang peran karena keahliannya dalam bidang ini. Tujuan evaluasi antara lain sebagai pekerjaan rutin atau tanggung jawab rutin, untuk membantu pekerjaan manajer dan karyawan dengan tujuan yang lebih banyak, dan informasi yang lebih lengkap dari yang sudah ada, atau memberikan informasi untuk tim pembina atau penasihat, klien, dewan redaktur atau sponsor.

Alasan utama mengapa evaluasi dilakukan biasanya karena diminta oleh pemberi dana. Dalam hal ini manajer program mungkin tak menyadari bahwa evaluasi dapat memberi informasi yang berguna dan dapat memberi informasi kepada audiens yang lebih banyak.

      Dalam pertemuan dengan klien, evaluator dapat menentukan tujuan evaluasi yang potensial, minat klien, harapan klien, dan kemungkinan untuk ditujukannya hasil evaluasi kepada klien yang lebih luas, dengan menanyakan pertanyaan secara langsung atau tidak langsung dan sambil memberikan saran-saran.

c. Apa Keterbatasan-Keterbatasan Evaluasi yang Akan Dilakukan?

        Ruang lingkup evaluasi dibatasi oleh pertimbangan-pertimbangan yang praktis, biasanya karena uang. Jumlah biaya untuk evaluasi sering berkisar antara 5% dan 10% dari dana operasi untuk program-program tertentu.

Dipakainya suatu informasi mungkin menyebabkan keterbatasan yang lain, misalnya: survey kepada peserta yang terdahulu, mungkin dapat memberikan informasi yang berguna, namun mungkin juga tidak praktis karena tergantung dari mobilitas dan keberadaan peserta yang terdahulu. Data yang disimpan dalam komputer lebih mudah diperoleh daripada data dalam kertas biasa. Memakai suatu informasi mungkin juga dibatasi oleh kerahasiaan atau karena unsur tertentu. Oleh karena itu, sebaiknya keterbatasan seperti itu diperhatikan sedini mungkin sebelum pengumpulan informasi untuk pemfokusan evaluasi.

2.    Desain Evaluasi Program

Desain evaluasi program menurut Carol Tyler Fitz-Gibbon dan Lyn Lyons Morris, 1987, ialah rencana yang menunjukkan bila evalusi akan dilakukan dan dari siapa evaluasi atau informasi akan dkumpulkan selama proses evaluasi. Alasan utama memakai desain yaitu untuk meyakinkan bahwa evaluasi akan dilakukan menurut aturan evaluasi yang baik. Semua orang yang terlibat dalam evalusi adalah orang yang tepat, dilakukan dengan waktu yang tepat dan di tempat yang tepat seperti yang telah direncanakan. Pada dasarnya suatu desain adalah bagaimana mengumpulkan informasi yang komparatif sehingga hasil program yang dievaluasi dapat dipakai untuk menilai manfaat dan besarnya program apakah diperlukan atau tidak. Pekerjaan evaluator berkisar antara mengambil salah satu atau keduanya, tergantung tugas yang diberikan.

1.    Desain dalam evaluasi sumatif

Biasanya desain dihubungkan dnegan evaluasi sumatif, evaluator sumatif diharapkan membuat kesimpulan umum, menyingkat dan membuat laporan tentang keberhasilan program.

Evaluasi sumatif sebaiknya menggunakan desain eksperimen apabila meneliti program yang akan dievalusi dengan hasil evaluasi. Evaluasi sumatif mempunyai persyaratan yang paling lengkap, penggunaan instrumen dengan validitas dan reliabilitas yang tinggi.

2.    Desain dalam evaluasi formatif

Menggunakan desain evaluasi formatif dalam program berarti karyawan program bekesempatan melihat dengan seksama keefektifan program dan komponen yang ada di dalamnya. Hal ini memungkinkan evaluator menjalankan fungsinya yang utama, menganjurkan orang-orang program mengamati terus-menerus dengan cermat kegiatan-kegiatan dalam program.

Elemen-elemen dalam desain

a.    Kelompok Eksperiment

Yang dimaksud kelompok dalam desain yaitu kelompok yang menerima perlakuan, kelompok eksperimen, yaitu orang atau kelompok yang menjadi objek eksperimen program.

b.    Kelompok Kontrol

Kelompok kontrol yaitu kelompok yang terdiri atas orang-orang yang sedapat mungkin sama dengan kelompok eksperimen, yang diukur dalam waktu yang sama dengan kelompok eksperimen, tetapi tidak mendapat perlakuan eksperimen.

c.    Kelompok kontrol ekuivalen

Kelompok ini dibentuk dengan cara random atau acak. Desain evaluasi yang terbaik yaitu apabila menggunakan kelompok ekuivalen.

d.    Kelompok kontrol non-ekuivalen

Kelompok ini dipilih karena sama dengan kelompok eksperimen, tidak dibentuk secara acak. Disebut juga kelompok pembanding.

e.    Post-tes

Post-tes, yaitu pengukuran atau tes yang dilakukan pada akhir suatu eksperimen. Hasilnya yaitu nilai postes. Postes merupakan variabel terikat karena hasil postes tergantung dari apa atau hal yang terjadi dalam program.

f.     Pre-test

Setiap nilai tes atau pengukuran yang dilakukan sebelum peserta menerima program atau mulai suatu eksperimen dapat disebut pretest.

g.    Mid-Tes

Mid tes diadakan ketika program sedang berjalan. Tujuan mid tes yaitu untuk menentukan dampak program sesudah waktu tertentu.

h.    Retensi tes

“Mereka sudah lupa semua yang diajarkan semester lalu,” keluhan semacam ini dinamakan masalah retensi. Bila program X tampak jauh lebih baik daripada Program C pada akhir semester, cek lagi nilai 3 bulan berkutnya, kalau masih baik juga ini berarti programnya memang baik, tapi jika sebaliknya tes sebaiknya diulang.

i.      Time Series tes

Sejumlah tes yang diberikan berturut-turut sebelum dan sesudah program pada interval yang sama.

j.      Memilih desain

3.    Melakukan Evaluasi

1.    Teknik Pengumpulan Data

Informasi yang dikumpulkan hendaknya informasi yang dapat dianalisis atau dapat dikerjakan oleh tenaga kerja yang ada. Objektivitas, informasi yang objektif yaitu informasi yang langsung dan yang belum dinodai oleh klien atau orang lain yang mempunyai minat. Informasi yang bias karena campur tangan orang lain, bahan informasi yang tidak bias tapi tergantung dari hal tertentu juga tidak akan terpakai. Oleh sebab itu, informasi harus direview, meta evaluasi diamati sebelum dilaporkan, hal ini amat membantu pencapaian kriteria.

Kejelasan, informasi yang jelas yaitu informasi yang mudah dan dapat dimengerti dan tidak ambigu atau yang dapat memberi penafsiran ganda. Pembatasan uang lingkup, informasi yang diberikan hendaknya cukup untuk menjawab pertanyaan evaluasi, tetapi jangan terlalu luas sehingga sulit dikelola.

Keberadaan, data yang mudah atau murah diperoleh dan sudah ada ini yang diprioritaskan. Misalnya rekaman, laporan, fail, nilai tes, hasil survey, data demografi, dll. Manfaat, informasi yang berguna atau bermanfaat, yaitu informasi yang tepat waktu dan relevan terhadap pertanyaan klien. Informasi yang tidak tepat waktu  dan tidak siap untuk dipakai, tak perlu diambil.

2.    Pengembangan Instrumen

Dalam pembuatan instrumen hendaknya memperhatikan petunjuk umum tentang pembuatan instrumen, yaitu:

1.    Apa konten yang diperlukan?

2.    Apa dan bagaimana bahasa yang akan dipakai?

3.    Prosedur analisis apa yang akan dipakai?

4.    Apakah ada pertimbangan khusus lainnya?

5.    Tentukan seberapa ketepatan yang diperlukan, kelengkapan, ketepatan waktu dalam desimal atau presentasi, dan sebagainya

6.    Kapasiatas responden, kemampuannya, pendidikan, dan penataran yang telah dilakukan sehubungan dengan hal yang akan diukur.

7.    Kesesuaian dengan rencana analisis.

Sebelum membuat instrumen, sediakan waktu untuk mengecek apakah telah ada instrumen serupa, walaupun nantinya akan dimodifikasi sesuai kebutuhan. Setelah instrumen ditemukan periksalah instrume tersebut. Lihat apakah isi dari petunjuk umum sudah lengkap. Buatlah tabel kisi-kisi. Konten sesuai dengan variabel yang telah ditentukan ketepatannya. Keputusan apa yang akan bergantung pada hasil pengukuran? Siapa respondennya akan menentukan bahasa yang akan dipakai. Analisisnya bagaimana? Bagaimana daya rekam instrumen? dan lain-lain.

Uji coba instrumen untuk memerikas validitas dan reliabilitasnya, apakah sudah memenuhi syarat atau belum? Lakukan cek dan ricek sehingga validitas dan reliabilitas yang diinginkan tercapai.

1.    Periksalah instrumen yang telah dibuat

a.    Validitasnya, instrumen menghasilkan informasi yang benar, berguna, dan autentik tentang apa yang diukur dan direkam.

b.    Reliabilitasnya, instrumen mengukur dan merekam dengan akurat, kesalahan diuasahakan seminimium mungkin pada skor dan informasi yang diperoleh dari instrumen.

c.    Instrumen tidak berubah atau mempengaruhi objek yang diukur dan yang direkam. Hal ini harus dihindari dengan membuat instrumen secermat mungkin.

d.    Kesesuaian dnegan responden, bahasa yang sesuai dengan tingkatpendidikan dan pengetahuan responden.

e.    Sesuai dengan analisis yang dikehendaki dalam jumlah dan kategori yang telah direncanakan.

f.     Ekonomis, instrumen tidak mahal, dalam memeilih, mengembangkan, menguji coba, merevisi, mengumpulkan, menganalisis, dan mengintepretasi harus mempertimbangkan kemampuan dalam segi biaya dan waktu. Dalam hal  ini juga memerlukan kesabaran pada saat menghadapi responden.

3. Pengumpulan Informasi

Tahap pengumpulan data sering merupakan kegiatan yang mahal. Seluruh kegiatan pengumpulan informasi harus direncanakan dengan cermat sehingga dapat memeperoleh informasi yang terbaik dengan biaya yang relatif murah. Usahakan manfaatkan sumber-sumber data yang ada pada saat yang tepat semaksimal mungkin, sehingga tidak perlu berulang meminta informasi pada responden yang sama. Dari sudut pandangan ekonomi, informasi yang ideal diperoleh dari satu sumber, sumber hipotesis yang kaya dan akurat dapat memberi informasi yang menjawab semua pertanyaan dalam evaluasi. Tetapi sumber seperti itu tidak ada, sehingga evaluator harus mendatangi beberapa sumber, dan dengan beberapa prosedur. Caranya yaitu dengan mengambil informasi sebanyak-banyaknya dari tiap sumber.

  Untuk memperoleh data yang direncanakan, perlu selalu memperhatikan apa yang dikerjakan, harus tetap memperhatikan etik dan moral. Pertahankan selalu mutu informasi (quality control). Prosedur pengumpulan informasi sering menuntut waktu dan perhatian orang lain. Gagal menjaga kesopanan, kebiasaan, dan budaya orang lain akan menyebabkan reputasi jelek yang akibatnya data yang diperoleh tidak lengkap. Semua aspek prosedur evalusi, seperti distribusi, administrasi, pengembalian instrumen harus dilakukan pada saat yang tepat dan teratur.

4.    Menganalisis dan Mengintepretasi Informasi

Analisis adalah proses mengetahui informasi yang telah dikumpulkan. Analisis termasuk mengolah data yang telah dikumpulkan untuk menentukan kesimpulan yang didukung data tersebut, seberapa banyak ia mendukung dan tidak mendukung kesimpulan. Kebanyakan analisis dilakukan bertahap, yaitu informasi diberi kode atau diatur sehingga mudah dimengerti.

1.    Analisis data

                                        i.    Metode-metode yang dipakai untuk menganalisis data kualitatif.

Wilcoc (1982) mengatakan, bahwa analisis data kualitatif tergantung pada hakikat data dan kerangka konsep yang dipakai dalam analisis. Metode analisis data kualitatif berkisar dari deskripsi naratif ke analisis kuantitatif komponen naratif. Metode analisis untuk data kualitaitf biasanya meliabtkan beberapa  bentuk analitik induksi.

Bogdan dan Bikken (1982) mengatakan bahwa evaluator hendaknya menghabiskan waktu setiap hari, diperkirakan satu jam analisis data untuk setiap satu jam observasi merupakan hal yang wajar. Memeriksa kembali field notes, merefleksikan dengan apa yang telah dipelajari, memperhitungkan apa manfaatnya apabila diteruskan.

Ada tiga macam analisis kualitatif, yaitu statistik deskriptif, analisis korelasi, dan tes hipotesis (Brinkerhoff, 1983).

a.    Statistik deskriptif

Statistik deskriptif distribusi frekuensi, ialah sejumlah skor (biasanya skor mentah) yang telah diurut sedemikian rupa dari yang terendah ke yang tertinggi, dan banyaknya individu atau satuan lain yang memiliki nilai itu. Distribusi frekuensi biasanya disajikan dalam bentuk tabel dengan mendaftar banyaknya individu dengan skor dalam setiap kategori sebagai grafik batang atau grafik garis.

b.    Analisis korelasi

Memberikan estimasi tentang ukuran dan petunjuk hubungan linier antara dua variabel, dapat berupa angka antara -1 dan +1. Analisis ini tidak memberikan estimasi bagaimana suatu variabel menyebabkan perubahan pada variabel yang lain.

c.    Pengetesan hipotesis

Kalau ada informasi untuk kedua kelompok orang atau lebih, informasi ini dapat dipakai untuk memperkirakan apakah kelompok tersebut memang berbeda. Pengetesan hipotesis adalah cara untuk menentukan apakah perbedaan yang ditemukan antara kelompok memang betul atau hanya kebetulan.

                                    ii.    Mean, Median dan Mode

Mean, median dan mode atau modus merupakan 3 cara untuk menerangkan tendensi sentral dari sekelompok skor. Mean diperoleh dengan menjumlahkan semua skor dan membagi jumlah itu dengan banyaknya skor total. Median adalah nilai tengah dari sekumpulan skor. Sebagian dari nilai-nilai skor tersebut ada di atas median dan sebagian lagi ada dibawahnya. Modus ialah nilai yang sering muncul pada sekelompok skor.

                                   iii.    Range dan Standar Deviasi

Range dan deviasi merupakan dua cara untuk menerangkan penyebaran sekelompok skor. Range ialah selisih antara skor tertinggi dan terendah. Standar deviasi ialah akar kuadrat dari rata-rata kuadrat simpangan terhadap mean skor kelompok itu. Juga merupakan satuan pengukuran untuk menyatakan skor standar. Skor standar dipakai untuk menunjukkan banyaknya standar deviasi di atas atau di bawah mean untuk skor mentah yang sesuai. Skor yang penyebarannya luas, akan mempunyai standar deviasi yang tinggi, dan range yang lebar. Skor yang berkelompok (kebanyakan sama) akan mempunyai standar deviasi yang rendah dan range yang sempit.

                                   iv.    Tingkat Presentil dan Skor Standar

Tingkat presentil dan skor standar adalah dua cara untuk menjelaskan bagaimana skor individu dibandingkan dengan skor lainnya dalam kelompok. Rank ialah persentasi kasus yang jatuh di bawah skor inidvidu. Skor standar dinyatakan dengan satuan standar deviasi di atas atau di bawah mean kelompok. Skala skor tergantung pada nilai angka yang dipakai untuk memperoleh mean dan standar deviasi. Misalnya, bila skala ditentukan dengan kelompok mean = 50 dan standar deviasi = 10, maka skor individu yang jatuh pada setengah standar deviasi di atas mean akan menajdi = 55.

2.    Interpretasi Data

Analisis diartikan juga sebagai mengatur dan menilai fakta, menafsirkan pandangan, dan merumuskan kesimpulan yang mendukung. Penafsiran harus dirumuskan dengan hati-hati, fair, dan terbuka.

a.    Komponen untuk Menafsirkan Analisis Data

Pandangan evaluator juga mempengaruhi penafsiran data. Maka, bukan hanya tafsiran tetapi juga penyebabnya harus dibuat dengan jelas (eksplisit). Apabila evaluasi akan digunakan untuk membantu fungsi pendidikan maka hasil evaluasi harus ditafsirkan sehingga audiens mengetahui kebaikannya dan dapat menjadi bahan pertimbangan (Cronbach & Cs, 1980).

b.     Petunjuk untuk Menafsirkan Analisis Data

-          Menentukan apakah tujuan sudah dicapai.

-          Menentukan apakah hukum, norma-norma, demokrasi, aturan, dan prinsip-prinsip etik tidak dilupakan.

-          Menentukan apakah analisis kebutuhan telah dikurangi.

-          Menentukan nilai pencapaian

-          Bertanya kepada kelompok penilai, melihat kembali data, menilai keberhasilan dan kegagalan, menilai kelebihan dan kelemahan tafsiran.

-          Membandingkan variabel-variabel penting dengan hasil yang diharapkan

-          Membandingkan analisis yang dilaporkan oleh program lain yang usahanya sama

-          Menafsirkan hasil analisis dengan prosedur yang menghasilkannya

Menafsirkan analisis data bukan hanya pekerjaan evaluator. Kebanyakan evaluator telah mengetahui bahwa menafsirkan dan meringkas hasil secara terpisah merupakan hal yang tidak praktis. Satu metode atau cara untuk membawa pandangan yang multiple terhadap penafsiran ialah memakai rapat dengan orang-orang yang terlibat dalam evaluasi. Di samping memberi tafsirannya sendiri, evaluator juga mencatat semua tafsiran yang ada dalam rapat sehingga tafsiran-tafsiran dan alasan-alasan dapat direkam dan dimasukkan dalam laporan evaluasi. Hal ini tidak saja merekam pandangan yang bermacam-macam dan pemikiran-pemikiran yang asli, tetapi juga sering membuka tabir yang sebelumnya tak diketahui adanya. Kesemua ini akan menambah kegunaan evaluasi dan dapat mengetahui siapa-siapa yang perlu dilibatkan.

Metode penafsiran lain yang dikemukakan oleh Joint Commette on Standar for Educational Evaluation (1981), adalah sebagai berikut.

1.    Ada tim sendiri yang mencatat laporan-laporan mendukung yang datang dari berbagai pandangan.

2.    Melakukan dengar pendapat yang konvergen tentang tafsiran hasil analisis antara lain:

a.    Mencari pendukung dari sumber-sumber lain

b.    Melihat bukti-bukti yang belawanan dan kontradiksi, tidak memaksakan konsensus apabila tidak ada.

c.    Membedakan signifikansi statistik dan signifikansi praktis.

d.    Menimbang dan merumuskan keterbatasan analisis.

5.    Melaporkan Hasil Evaluasi

Tujuan laporan evaluasi berhubungan langsung dengan tujuan pemakaiannya. Pada evaluasi formatif tujuan utamanya yaitu untuk memperbaiki dan mengembangkan program, dan laporannya harus diserahkan secepatnya kepada orang program, diinformasikan pula tentang  bagaimana program berfungsi dan perubahan-perubahan apa yang harus dilakukan untuk tujuan tersebut.

Bila evaluasi yang dilakukan akan evaluasi sumatif, laporan harus berisi informasi dan penilaian tentang kegunaan program, dilaporkan kepada:

1)    Orang-orang yang ingin memakainya

2)    Orang yang akan menentukan  alokasi sumber-sumber untuk melanjutkan program.

3)    Orang-orang yang berhak mengetahui tentang program untuk tujuan-tujuan yang lain.

Laporan evaluasi dapat memberikan banyak manfaat namun yang paling penting yaitu menyampaikan pesan, memberi informasi yang tepat kepada audiens tentang penemuannya dan kesimpulan hasil pengumpulan informasi, analisis, dan tafsiran informasi evaluasi.

Membuat atau mengembangkan rencana laporan yang jelas merupakan tugas yang rumit. Banyak faktor harus diingat selama membuat dan mengembangkannya. Buatlah tabel data atau peta yang up to date yang menggambarkan pemakai yang dimaksud, minat mereka, dan mekanisme laporan.

1.    Buatlah daftar pemakai primer, dan bila ada juga pemakai sekunder yang akan dipengaruhi. Buatlah jadwal pertemuan yang diinginkan bagi setiap orang.

2.    Tambahkan dalam daftar keterangan singkat tentang apa yang diketahui tentang pemakai, hubungan mereka dengan program, ciri-ciri yang khusus, minat  khusus mereka terhadap evaluasi, dan seleranya dalam berkomunikasi.

3.    Buatlah garis besar tentang semua kegiatan evaluasi, dan tandai semua jatuh tempo untuk laporan-laporan yang formal.

4.    Catatlah hal-hal lain dalam proses evaluasi dan dalam rencana pemakaian bila dapat memberi informasi yang relevan.

5.    Gunakan informasi dari chart tersebut, atur waktu atau jadwalkan sehingga tanggal-tanggal laporan tertentu dapat dialacak.

Bentuk-bentuk laporan evaluasi antara lain adalah laporan implementasi, laporan evaluasi formatif yang berkala, dan laporan kemajuan.

---

[1] Farida Tayibnapis. Evaluasi Program. (Jakarta : Rineka Cipta, 2000), h. 58