EVALUASI META

BAB VII

EVALUASI META

Akhir dari evaluasi perlu dievaluasi disebut juga meta evaluasi. Dalam hal ini, perlu dijawab apakah proses evaluasi telah berjalan sesuai dengan rencana, apakah semua tujuan evaluasi sudah tercapai, dan sebagainya. Dengan meta-analysis, para pimpinan dapat memperluas generalisasi temuan tentang kecenderungan kualitas proses. Evaluasi dilakukan oleh seorang evaluator yang super, yang memiliki kompetensi yang cukup baik untuk mengevaluasi setiap evaluasi yang akan dilakukan.

Tetapi siapa yang mampu menilai super-evaluator? Brinkerhoff & Cs (1983) mengatakan bahwa evaluator meta eksternal biasanya lebih banyak dipilih daripada yang internal, karena         orang luar mungkin dianggap lebih objektif dan lebih terpercaya. Membentuk Tim evaluasi juga akan lebih baik

Standard Evaluasi Meta

Jika evaluasi akan dipakai untuk memperbaiki atau untuk memutuskan kelanjutan suatu program, maka evaluasi harus baik dan dapat diandalkan. Agar dapat mengetahui apakah evaluasi baik atau buruk, kita memerlukan sejumlah kriteria atau standar sebagai dasar pertimbangan. Ada tiga puluh standard yang dibagi menjadi empat domain evaluasi, yakni :

Utility Standards

Standard Kegunaan dimaksudkan untuk memastikan bahwa suatu evaluasi akan melayani kebutuhan informasi dari para pemakai yang diharapkan.

1.Stakeholder Identification :

audien yang dilibatkan atau yang dipengaruhi oleh evaluasi harus dikenali, sehingga kebutuhan mereka dapat dipenuhi.

2. Evaluator Credibility :

Orang-orang yang melaksanakan evaluasi harus orang-orang yang berkompeten dan terpercaya untuk melaksanakan evaluasi, sehingga penemuan evaluasi mencapai penerimaan dan kredibilitasnya maksimum.

3. Information Scope and Selection :

Information yang yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk menjawab pertanyaan-pertanyaan tentang program dan mau mendengarkan kebutuhan dan minat audien dan ditetapkan stakeholders.

4. Valuational Interpretation :

Perspektif, Prosedur, dan dasar pemikiran yang digunakanuntuk menginterpretasikan penemuan yang dijelaskan harus hati-hati, dan cermat,sehingga dasar pertimbangan yang dipakai jelas.

5. Report Clarity :

Laporan evaluasi harus menjelaskan objek yang sedang dievaluasi,konteks, tujuan, prosedur, dan penemuan evaluasi sehingga audien akan mengetahui apayang sedang dikerjakan, mengapa dikerjakan, informasi apa yang ada, apakesimpulannya, dan apa saran-saran yang diberikan.

6. Report Timeliness and Dissemination :

Memberikan laporan harus tepat waktu supayaaudien dapat memakai informasi sebaik-baiknya pada saat yang tepat. Penemuansementara dan Evaluasi Laporan harus disebarkankepada klien sedemikian, sehinggamereka dapat menilai dan memakai penemuan.

7. Evaluation Impact :

Evaluasi harus direncanakan, diselenggarakan, dan dilaporkan dalam cara-cara yang mendorong stakeholders, sehingga penggunaan evaluasi ditingkatkan.

Feasibility Standards

Feasibility atau standard kelayakan dimaksudkan untuk memastikan bahwa suatu evaluasi akan menjadi realistis, bijaksana, diplomatik, dan cermat. Standar kelayakannya sebagai berikut :

1.Practical Procedures :

Prosedur evaluasi harus praktis, untuk menghindari gangguan dan informasi yang diperlukan dapat diperoleh dengan lancar.

2. Political Viability :

Evaluasi harus direncanakan dan diselenggarakan dengan antisipasi posisi dan kondisi yang berbeda diantara berbagai kelompok yang berminat, sehingga kerja sama mereka dapat dilakukan, dan segala kemungkinan kelompok untuk mengurangi manfaat, bias, salah pakai atau salah tafsir dapat dihindari.

3. Cost Effectiveness :

Evaluasi harus menghasilkan informasi yang mutunya cukup, untuk mewakili sumber-sumber yang ada.

Propriety Standards

Propriety Standards atau Standard Kebenaran dimaksudkan untuk memastikan bahwa suatu evaluasi akan diselenggarakan menurut hukum, secara etis, dan untuk kesejahteraan dilibatkan evaluasi itu semua, seperti halnya yang diterpengaruhi oleh hasil. Standar tersebut ialah :

1.Service Orientation :

Orientasi layanan atau jasa, evaluasi harus dirancang untuk membantu organisasi agar menunjukkan dan secara efektif melayani kebutuhanmencakup target kebutuhan audien.

2.Formal Agreements :

Obligasi atau kewajiban yang formal peserta suatu evaluasi yangharus dilaksanakan, bagaimana, oleh siapa, dan kapan, yang harus disetujui secaratertulis, sehingga peserta diwajibkan untuk bertahan pada semua kondisi-kondisipersetujuan atau secara formal merundingkan kembali kesepakatan itu.

3. Rights of Human Subjects :

Evaluation harus dirancang dan diselenggarakan untuk menghormati dan melindungi kesejahteraan dan hak asasi manusia secara pribaditerlindungi.

4. Human Interactions :

Evaluator harus menghormati harkat martabat manusia dan salingmenghargai dalam beinteraksi hubungan manusia dengan suatu evaluasi, sehingga audientidak merasa terancam atau dirugikan.

5.Complete and Fair Assessment :

Evaluator harus Adil, evaluasi harus melengkapi, danmenyudahi. Dalam pengujiannya perekaman kekuatan dan kelemahan programdievaluasi, sehingga kekuatan dapat dibangun ketika menunjukan masalah.

6.Disclosure of Findings :

secara formal audien evaluasi perlu memastikan bahwa yangpenemuan evaluasi yang penuh bersama dengan pembatasan yang bersangkutan dibuatdapat diakses semua orang yang membutuhkan atau terlibat dalam evaluasi, dengan sah,dilindungi undang-undang dan pernyataan hak-hak untuk menerima hasil.

7.Conflict of Interest :

Ketertarikan pada suatu konflik harus dihadapkan secara terbuka danterus terang, sehingga tidak berkompromi antara proses evaluasi dengan hasil.

8.Fiscal Responsibility :

Pembelanjaan dan alokasi sumber daya yang digunakan harusmencerminkan prosedur tanggung-jawab secara etik dan hukum.

Accuracy Standards

Accuracy standar atau standar ketelitian dimaksudkan untuk memastikan bahwa suatu evaluasiakan mengungkapkan dan menyampaikan informasi secara teknis cukup tentang obejek yagdievaluasi dan tentang kegunaan atau manfaat program dievaluasi.

Standards tersebut sebagaiberikut :

1.Program Documentation :

Program atau objek evaluasi harus dipelajari dandidokumentasikan dengan jelas dan teliti, sehingga komponen-komponen di dalamproyek dapat diidentifikasi dengan jelas.

2.Context Analysis :

Konteks tempat di mana program ada harus diuji cukup detil, sehinggamungkin mempengaruhi program dapat diidentifikasi.

3. Described Purposes and Procedures :

Tujuan dan prosedur evaluasi harus dimonitordan diuraikan secara detil, sehingga mereka dapat mengidentifikasi dan menilai.

4. Defensible Information Sources :

Sumber informasi menggunakan suatu programevaluasi yang harus diuraikan secara detil, sehingga ketercukupan informasi dapatdiidentifikasi.

5.Valid Information :

Pengumpulan Informasi yang sah dengan prosedur harus dipilih ataudikembangkan, kemudian diterapkan sehingga mereka akan yakin bahwa penafsiranadalah valid dan tepat sesuai dengan harapan pengguna.

6. Reliable Information :

Pengumpulan Informasi harus dapat dipercaya, prosedurpengumpulan dan pengembangannya, dan kemudian diterapkan sedemikian rupasehingga mereka yakin bahwa informasi yang diperoleh dapat dipercaya.

7.Systematic Information :

Sistematis Informasi mengumpulkan, memproses, danmelaporkan suatu evaluasi harus secara sistematis ditinjau dari manapun dan kesalahanyang ditemukan harus dikoreksi.

8. Analysis of Quantitative :

Information Kuantitatif di dalam suatu evaluasi harussewajarnya dan secara sistematis dianalisa sehingga pertanyaan evaluasi secara efektif terjawab.

9. Analysis of Qualitative Information :

Informasi Kwalitatif di dalam suatu evaluasi harussewajarnya dan secara sistematis menganalisa sedemikian sehingga pertanyaan evaluasisecara efektif dijawab.

10. Justified Conclusions :

Kesimpulan yang dibuat dalam suatu evaluasi harus dengan tegas dibenarkan, sehingga stakeholder dapat menilainya.

11. Impartial Reporting :

Prosedur pelaporan harus menjaga penyimpangan disebabkan oleh penyimpangan dan perasaan pribadi sehingga tidak terjadi pelaporan yang berat sebelah.

12. Metae valuation :

Evaluasi diri sendiri harus menurut bentuk dan secara sumatif mengevaluasi melawan terhadap standard bersangkutan, sehingga sewajarnyadipandukan dan, penyelesaiannya, stakeholders dapat menguji kelemahan dan kekuatannya.

Petunjuk Umum untuk melakukan Meta evaluation :

Evaluator disarankan untuk meminta evaluator internal dan evaluator eksternal dan eksternaluntuk mereviu evaluasi pada saat-saat tertentu yaitu pada saat rencana evaluasi, pada interval-interval dala periode-periode tertentu saat evaluasi masih dalam proses untuk mengidentifikasimasalah-masalah, dan pada akhir evaluasi. Juga minta untuk meriviu penemuan dan laporan sertamemeriksa prosedur dan kesimpulan. Banyak evaluator meminta evaluatr internal dan eksternaluntuk mereviu sevaluasinya.Reviu internal dapat dilakukan oleh dewan penasehat evaluasi, dan reviu eksternal palingbaik dilakukan pihak luar yang berminat akan hasil evaluasi yang telah mempunyai pengalamandalam evaluasi yang serupa. Bila evaluator dipanggil sedini mungkin, mereka dapat dimintabantuan untuk melihat desain program dan meminta rekomendasinya untuk memperkuat dessain.Pengamat eksternal dapat membantu urusan teknik selama proses evaluasi dan pada akhir evaluasi,

melihat prosedur penemuan, dan laporan evaluasi.

Langkah-langkah untuk Melakukan Evaluasi Meta

Langkah-langkah untuk melakukan evaluasi meta, sebuah desain evaluasi yang dikemukanan Worthen, Balin R, dan James R.Sanders (1983) sebagai berikut :

1.   Siapkan suatu salinan desain yang siap untuk direviu. Evaluasi meta formatif disarankansesegera mungkin setelah desain selesai dirumuskan supaya reviu produktif.

2.   Tentukan siapa yang akan melakukan evaluasi meta (lihat butir B diatas).

3.   Pastikan bahwa ada hak untuk melakukan evaluasi meta. Jika kita seorang sponsor

    atau kliendan kita menerima desain untuk dievaluasi dari seoang evaluator yang

    membuat kontrak dengann anda untuk melakukan evaluasi, dalam hal ini kita bebas

    mengevaluasi dan tidak adalarangan bagi kita untuk meminta bantuan seorang

    metaevaluator.

4. Gunakan standar atau kriteria meta evaluasi untuk melakukan evaluasi meta. Apabila

    sponsoratau klien yang melakukan evaluasi meta itu urusannya menentukankriteria

    evaluasi, tetapiapabila ia seorang evaluator spesialis, maka hendaknya menggunakan

    kriteria atau standar yangtelah disepakati antara evaluator atau sponsor tersebut.

5. Gunakan kriteria atau standar pada desain kita. Beberapa kriteria evaluasi meta

    melampirkanalat bantu untuk mengaplikasikan kriteria yang diberikannya.

Misalnya, dengan ceklis yangdilampirkan pada saetiap publikasinya. Apabila tidak, disarankan untuk membuat ceklis sendiri.

6. Pemeriksa kecermatan desain evaluasi (adequancy). Tidak ada satu desainpun yang sempurna.Oelh sebab itu, perlu dilihat kembali apakah desain perlu disesuaikan dengan situasi dankondisi program.

Bagaimana Memakai Kriteria Evaluasi Meta ?

Apabila kita memilih sejumlah kriteria utnuk evaluasi meta, maka sudah jelas kita harusmenyesuaikannya dengan situasi dan kondisi proyek evaluasi yang sedang kita lakukan. Hal ini daatdilakukan dengan melihat betapa pentingnya hubungan antara kriteria satu dengan lainnya dandengan menspesifikasikan indikator untuk mencapai kriteria itu. Kita dapat mengatakan bahwa setiap kriteria masing-masing sama pentingnya. Kita juga dapatmengatakan bahwa setiap kriteria kepentingannya berbeda bagi kita, dan menggunakan skalatertentu untuk menimbangnya. Karena satu dan lain hal mungkin sulit untuk menyatukansekelompok kriteria yang berada diantara kedua kelompok tersebut. Apabila kita tahu kriteri apa atau yang mana yang akan dipakai, dapat diteruskan dengan menentukan bagaimana membedakannya dan bagaimana mengukur pemenuhannya.

Kegiatan ini termasuk :

1.   Bagaimana kita merumuskan pemenuhan itu, misalnya kita menentukan tingkat

      pemenuhandengan kata-kata “sampai – tidak sampai”. Atau dengan merangking

      “jelek – sedang – baik  – sangat baik” atau dapat berupa skala 1 – 10, dan lain-lain.

2.   Memberikan penjelasan kapan suatu evaluasi terpenuhi pada tingkat tertentu.

3.   Mengidentifikasi sumber-sumber informasi yang akan dipakai sebagai bukti untuk

      pemenuhanatau penyelesaian.

Sebagaimana biasa kalau kita terlibat dalam kegiatan evaluasi, kita perlu menentukan siapayang akan mendapat manfaat dan siapa yang akan kehilangan dari kegiatan dan menentukanbagaimana mencerminkan pandangan mereka itu. Juga harus diingat dalam kondisi bagaimana kitaakan memakai kriteria. Misalnya, apakah akan dipakai untuk setiap evaluasi atau hanya padaevaluasi tertentu untuk proyek atau pengembangan proyek tertentu. Apakah dapat dipakai padasetiap langkah evaluasi atau hanya pada langkah-langkah tertentu, atau hanya pada desain evaluasi.Akhirnya untuk menentukan indikator pemenuhan, kita harus, memikirkan jumlah informasiyang ada, tingkat ketepatannya, dan tingkat kesepakatan yang mungkin diperoleh.Apabila setiap orang setuju betapa pentingnya standar atau kriteria, dan setuju berapa jelasnya kita dapat membedakannya, maka pada saat untuk menyetujui hasil evaluasi tak akan adamasalah lagi. Di lain pihak, apabila orang tidak setuju, mereka dapat mekatakan kita mungkin akanberpegang pada ukuran umum, kriteria yang sudah menurun mutunya

 (watered down).

Sumber :

Buku “

Evaluasi Program

” Karangan DR. Farida Yusuf Tayibnapis, Mpd (2000) : PT Rineka Cipta – Jakarta

Judul Buku : Evaluasi Program
Pengarang : DR. Farida Yusuf Tayibnapis, M. Pd.
Penerbit : PT Rineka Cipta
Tahun Terbitan : Cetakan pertama, September 2000

Untuk mengetahui sejauh mana tingkat keberhasilan dan kesuksesan sebuah pendidikan, baik proses, input dan output yang dilakukan dapat diketahui dengan adanya evaluasi. Evaluasi program pendidikan dapat diartikan sebagai pengukuran atau penilaian program pendidikan yang meliputi proses belajar mengajar, kegiatan intra dan ekstra sekolah. Mengukur dan menilai sebuah keberhasilan sebuah program pendidikan memiliki perbedaan istilah penggunaan dan wilayah kajiannya. antara keduanya punya arti yang berbeda meskipun saling berhubungan. mengukur adalah membandingkan sesuatu dan satu ukuran (kuantitatif), sedangkan menilai berarti mengambil satu keputusan terhadap sesuatu dengan ukuran baik buruk (kualitatif). Adapun pengertian evaluasi meliputi keduanya.
Buku ini secara mendasar membahas tentang evaluasi. Evaluasi memegang peranan penting karena hasil evaluasi menentukan sejauh mana tujuan dapat dicapai. Dan sebuah hasil evaluasi diharapkan dapat membantu pengembangan, implementasi, kebutuhan suatu program, perbaikan program, pertanggung jawaban, seleksi, motivasi, menambah pengetahuan, serta membantu mendapat dukungan dari mereka yang terlibat dalam program tersebut.
Evaluasi, khususnya dalam bidang pendidikan diharapkan dapat memperbaiki sistem pendidikan kita yang sering berubah dan tidak seimbang, kurikulum yang kurang tepat, serta mata pelajaran yang terlalu banyak dan tidak terfokus. Hal ini menjadi penting karena karena di negara-negara yang sudah maju, pendidikan dipandang sebagai sarana untuk memecahkan masalah-masalah sosial.
Buku evaluasi program pendidikan ini, disajikan dalam tujuh bab yang menjelaskan tentang beberapa poin penting seputar Evaluasi Program pendidikan.
Pada bagian pertama berisi pendahuluan yang menguraikan definisi evaluasi menurut berbagai tokoh, peranan dan tujuan evaluasi, beberapa istilah yang digunakan dalam buku tersebut, dan dilengkapi juga dengan daftar bacaan rujukan tambahan. Dalam sub-Bab yang menguraikan tentang definisi evaluasi dengan rinci dan jelas.
Bagian kedua, diberi judul "Beberapa Model, Pendekatan, dan konsep-Konsep Evaluasi".

Dalam Bab ini membahas beberapa model yang populer dan banyak dipakai sebagai strategi atau pedoman kerja pelaksanaan evaluasi program, diantaranya:
1.       Model evaluasi CIPP (Contect evaluation, Input evaluation, Process evaluation,

    Product evaluation) oleh Stufflebeam
2.       Evaluasi model UCLA oleh Alkin
3.       Model Brinkerhoff
4.       Model stake atau model countenance

Kemudian, diberikan juga beberapa pendekatan dalam evaluasi yang lazim digunakan,yaitu:
1. Pendekatan eksperimental (experimental approach)
2. Pendekatan yang berorientasi pada tujuan (goal oriented approach)
3. Pendekatan yang berfokus kepada keputusan (the decision focused approach)
4. Pendekatan yang berorientasi pada pemakai (the user oriented approach)
5. Pendekatan yang responsif (the responsive approach)
6. Evaluasi bebas tujuan (goal free evaluation)

Sedangkan untuk konsep dalam evaluasi, yang ditawarkan hanya ada dua, yaitu: evaluasi formatif dan sumatif, atau evaluasi eksternal dan internal. Dalam Bab ini juga dilengkapi dengan daftar bacaan tambahan.
Bagian ketiga, diberi judul "Memfokuskan Evaluasi". Memfokuskan evaluasi yaitu mengkhususkan apa dan bagaimana evaluasi akan dilaksanakan. Bab ini akan membicarakan bagaimana evaluator dan sponsor bekerja sama dalam membuat kerangka kerja evaluasi, karena pengembangan kerangka kerja ini yang disebut dengan pemfokusan evaluasi. Tidak lupa seperti dua Bab sebelumnya, dalam Bab ini juga disajikan buku-buku rujukan yang dilampirkan oleh penulis agar kita dapat menggali lebih dalam tentang materi tersebut.
Bagian keempat, membicarakan tentang "Bagaimana Melakukan Evaluasi". Untuk dapat melakukan evaluasi, seorang evaluator harus terlebih dahulu mengumpulkan informasi yang berkaitan dengan objek evaluasi. Maka dalam Bab ini penulis akan meyajikan bagaimana seseorang akan melakukan evaluasi, yaitu mulai dari pengumpulan informasi hingga pembuatan instrumen. Dan tentu saja sebagai penutup dari Bab ini, penulis melampirkan beberapa daftar bacaan tambahan bagi pembaca.
Bagian kelima, diberi judul "Menganalisis dan Menginterpretasi Informasi". Karena pada umumnya analisis dilakukan secara bertahap, yaitu dimulai dari mengolah data hingga memberi kode dan mengatur data, maka dalam bagian kelima ini penulis juga memberi uraian satu per satu tentang bagaimana mengolah data, petunjuk tentang memberi kode dan mengatur data, dan tak lupa pula penulis memberi penjelasan apakah data cukup bermutu untuk dianalisis, kemudian bagaimana informasi akan dianalisis, menganalisis data serta metode yang dipakai untuk menafsirkan informasi evaluasi. Tidak berbeda dengan Bab-Bab sebelumnya, dalam Bab ini juga dilengkapi daftar bacaan tambahan.
Bagian keenam, menjelaskan tentang "Melaporkan Hasil Evaluasi". Seperti yang kita ketahui, bahwa tujuan pelaksanaan evaluasi itu sendiri adalah untuk memperbaiki dan mengembangkan program, oleh sebab itu melaporkan hasil evaluasi adalah hal yang sangat urgent yang harus dilakukan oleh evaluator. Dan Bab ini akan "mengupas habis" bagaimana cara melaporkan hasil evaluasi dan hal-hal apa saja yang harus diperhatikan dalam melaporkan hasil evaluasi kepada objek evaluasi. Satu hal yang cukup menarik dalam sub-Bab VI ini adalah kita diberi tuntunan sistematis (outline) laporan hasil evaluasi. Tidak lupa, seperti pada Bab-Bab sebelumnya, pada Bab ini juga dilengkapi daftar buku rujukan untuk sumber bacaan tambahan.

Dan diakhir Bab buku ini, yaitu bagian ketujuh, mengulas tentang "Evaluasi Meta". Dalam Bab ini penulis menjelaskan apa itu evaluasi meta, siapa yang melakukan evaluasi meta, kemudian, standar apa yang dipakai untuk evaluasi meta, petunjuk dan dan langkah-langkah melakukan evaluasi meta, serta pemakaian criteria evaluasi meta. Dan terakhir, di luar materi pembahasan, penulis menutup Bab materi VII dengan menampilkan daftar rujukan bacaan tambahan.
Buku ini ditutup dengan daftar pustaka, yang kemudian di cover belakang buku ini terdapat sekilas profile penulis dan sinopsis buku. Buku ini adalah buku yang sangat menarik dan dapat menjadi salah satu sumber bacaan bagi mahasiswa dari berbagai jurusan dan fakultas, dan dapat pula menjadi konsumsi bagi kalangan yang ada dalam lingkup organisasi ataupun perusahaan. Karena evaluasi program bukan hanya untuk evaluasi program pendidikan saja, tetapi juga dapat diterapkan pada objek yang dapat dievaluasi di luar program pendidikan baik itu organisasi formal maupun informal.

Keunggulan yang menarik dari buku ini antara lain :
• Mengenai organisasi Buku. Dalam Buku ini terdapat keterkaitan antara satu bab

    dengan bab lain secara sistematis.
• Buku ini dilengkapi pada setiap akhir bab, penulis memberikan beberapa buah

    pertanyaan untuk evaluasi,tentunya hal ini akan menjadi masukan bagi pembaca. Hal

    ini jarang ditemukan pada buku-buku evaluasi pendidikan lain.
• Bahasa yang digunakan dalam buku ini mudah dimengerti, karena menggunakan

    bahasa yang cukup jelas dan teratur, tidak berbelit-belit sehingga memudahkan

    pembaca dalam memahami isi buku.
• Mengenai teknik penulisan dan percetakan buku ini cukup bagus, covernya menarik,

    kebersihan halamannya bagus, namun ada konsep-konsep yang perlu dipertegas dan

    dikembangkan lagi, sebagai contoh adalah konsep validitas dan reabilitas, seharusnya

    ditambah hal-hal lain untuk menyesuaikan dengan perkembangan dan praktek

    pendidikan yang berlaku akhir-akhir ini.
• Dalam buku ini juga dicantumkan kritikan-kritikan ,kekurangan-kekuranagan serta

    masukan dari berbagai pihak, dari cetakan-cetakan sebelumnya dari cetakan pertama

    sampai cetakan ke 11, sehingga penulis terus melakukan perbaikan dari cetakan ke

    cetakan selanjutnya. Hal ini jarang ditemukan dalam buku-buku lain.

Kemudian, salah satu nilai plus dari buku ini yang dapat ditonjolkan adalah pada setiap Bab buku dilengkapi dengan daftar rujukan bacaan yang dapat kita baca bila kita hendak mengetahui lebih lanjut tentang materi yang dibahas dalam per Bab tersebut (materi yang lebih terfokus). Buku ini adalah buku yang sangat bermanfaat dan dapat dipakai sebagai acuan oleh seluruh lingkup organisasi, karena bahasa yang digunakan oleh penulis dalam menuangkan pemikirannya cukup sederhana dan mudah dimengerti.
Buku ini memang patut dibaca oleh calon guru dan guru mengingat didalamnya terdapat hal-hal yang penting bagi calon guru dan guru dalam mengevaluasi hasil belajar-mengajar,sehingga buku ini dijadikan pedoman untuk mengevaluasi.

Evaluasi Meta

BAB I

PENDAHULUAN

A. Latar Belakang

Evaluasi program adalah proses untuk mengetahui apakah tujuan suatu program atau pendidikan sudah terealisasikan. Evaluasi program juga dapat didefinisikan sebagai upaya menyediakan informasi untuk disampaikan kepada pengambilan keputusan.

Setiap evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan dibicarakan, dan siapa yang mendengar, semua mempengaruhi hasil evaluasi. Bahkan latar belakang pribadi evaluator, pendidikan, dan pengalaman juga mempengaruhi cara evaluasi dilaksanakan.

Seorang evaluator dalam melaksanakan suatu evaluasi agar dapat memperoleh hasil evaluasi yang sebaik-baiknya harus memenuhi beberapa persyaratan diantaranya; (1) memahami materi yaitu memahami tentang seluk beluk program yang dievaluasi, (2) menguasai tehnik, yaitu menguasai cara-cara atau tehnik yang digunakan dalam melaksanakan evaluasi program, (3) obyektif dan cermat, dan (4) jujur dan dapat dipercaya. Apabila seorang evaluator yang melakukan evaluasi suatu program tetapi tidak memenuhi persyaratan tersebut tentunya hasil evaluasi yang diperoleh hasilnya tidak efisien dan akurat serta tidak dapat dipercaya .

Baik evaluator maupun klien harus sadar akan bias pada evaluasi. Evaluator, karena standar pribadi dan reputasi dirinya juga akan diuji klien karena ia tidak mau mempertaruhkan uang maupun kebijaksanaannya untuk evaluasi yang di bawah target. Keduanya akan menderita kerugian banyak apabila ternyata evaluasi tidak efisien. Untuk mengatasi permasalahan-permasalahan evaluasi di atas maka suatu evaluasi harus dievaluasi kembali, evaluasi semacam ini yang kemudian kita kenal dengan nama evaluasi meta. Oleh sebab itu evaluasi meta atau mengevaluasi penting adanya.

B. Tujuan Penulisan

Bagian ini dirancang untuk memperkenalkan apa yang dimaksud dengan evaluasi meta serta langkah-langkah pelaksanaannya. Pembahasannya ditekankan pada pengertian evaluasi meta dan siapa yang melakukan evaluasi meta. Sama juga seperti mengevaluasi proyek atau porgram, evaluasi juga dapat dievaluasi yang disebut evaluasi meta. Tuntutan untuk seorang evaluator tinggi, tetapi tuntutan terhadap seorang evaluator meta lebih tinggi.

Pembahasan berikutnya diarahkan pada pengenalan standar yang dipakai dalam mengevaluasi meta dan petunjuk umum melaksanakan evaluasi meta. Ada empat standar yang dipakai dalam evaluasi meta; utility standard, feasibility standard, propriety standards dan accuracy stadard.

BAB II

PEMBAHASAN

A. Pengertian dan Evaluator Evaluasi Meta

Evaluasi meta adalah mengevaluasi suatu evaluasi, yang dapat dilakukan bersama kegiatan evaluasi biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Evaluasi meta dapat dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, dilakukan untuk mengetahui apa yang telah dilakukan.

Evaluasi meta dilakukan berdasarkan pengetahuan bahwa evaluasi merupakan pelajaran pengalaman bagi mereka yang terlibat, sehingga evaluasi dapat dikembangkan selagi dalam proses, dan evaluasi berikutnya dapat lebih berhasil. Evaluasi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta eksternal yaitu evaluasi yang dilakukan konsultan dari luar program, dapat dipakai untuk melihat kebenaran dan menilai desain evaluasi, melihat keprogresan program, serta untuk lebih meyakinkan dan lebih dapat dipercaya. Laporan evaluasi meta internal, misalnya apabila disertai dengan laporan evaluasi meta eksternal akan manjadi lebih dipercaya. Memakai evaluator eksternal juga dapat memberikan dasar yang kuat untuk merevisi desain evaluasi dan merevisi pekerjaan yang sedang dilakukan atau melaporkan evaluasi. Apabila evaluasi sudah selesai, evaluasi ini dapat menolong Anda menentukan sejauhmana kebenaran hasil evaluasi tersebut.

Prosedur meta evaluasi internal tidak terlalu formal, dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong Anda untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat Anda terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas evaluasi. Evaluasi meta dilakukan apabila Anda ingin mengamati dan meneliti desain dan fungsi evaluasi Anda. Evaluasi meta dapat dilakukan kapan saja, mulai dari ketika evaluasi dalam tahap perencanaan, ketika evaluasi dalam proses, dan bahkan pada saat evaluasi sudah selesai dilakukan.

Seorang evaluator evaluasi meta harus memiliki kompetensi yang tinggi dalam melakukan evaluasi, ia tidak hanya harus kompeten dalam melakukan evaluasi yang pokok, ia juga harus dapat mengetahui bahwa evaluasi itu jelek atau baik dan meyakinkan kepada orang lain akan hasil evaluasinya.

Brinkerhoff & Cs (1983) mengatakan bahwa evaluator meta eksternal biasanya lebih banyak dipilih daripada yang internal, karena orang luar mungkin dianggap lebih obyektif dan lebih terpercaya. Hal ini penting apabila Anda memikirkan reaksi orang-orang luar atas evaluasi Anda. Apabila evaluasi meta hanya untuk orang-orang dalam, maka evaluasi eksternal (dari kantor lain, orang dari bagian lain yang tidak ada hubungan langsung dengan proyek yang digarap, tetapi tetap dari departemen atau organisasi yang sama) dapat juga merupakan kesempatan yang baik untuk memperoleh pandangan yang segar.

Menurut Worthen, Blain R & James R. Sanders (1987), orang-orang yang patut melakukan evaluasi meta yaitu :

a. Evaluasi meta dilakukan oleh evaluator sendiri (original evaluator).

b. Evaluasi meta dilakukan oleh pemakai evaluasi.

c. Evaluasi meta dilakukan oleh evaluator ahli

B. Standar yang Dipakai untuk Evaluasi Meta

Evaluasi program dapat diketahui apakah baik atau buruk, maka Anda memerlukan sejumlah kriteria atau standar sebagai dasar pertimbangan. Ada beberapa kriteria dan standar yang telah ada untuk menilai evaluasi, yaitu Standar for Evaluations of Educational Programs, and Materials yang dibuat oleh The Joint Commette on Standard for Educational Evaluation. Standar ini digolongkan menjadi tiga puluh standar atas empat domain evaluasi yaitu utility (evaluasi harus berguna dan praktis), feasibility (evaluasi harus realistik dan bijaksana), propriety (evaluasi harus dilakukan dengan legal dan etik), dan accuracy (evaluasi harus secara tehnik adekuat). Daftar standar tersebut adalah sebagai berikut :

1. Utility Standar

Utility Standar dimaksudkan untuk meyakinkan bahwa evaluasi akan memberikan informasi yang praktis yang diperlukan oleh audiensi. Kriterium standar tersebut adalah :

1.1. Audience Identification

Audiensi yang terlibat dan akan dipengaruhi oleh evaluasi diidentifikasi, sehingga kebutuhan mereka terpenuhi.

1.2. Evaluator Credibility

Orang-orang yang melakukan evaluasi harus orang yang jujur dapat dipercaya dan mampu melakukan evaluasi, sehingga penemuannya dapat dipercaya dan dapat diterima.

1.3. Information Scope and Selection

Informasi yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk menjawab pertanyaan-pertanyaan yang telah direncanakan dan menjawab kebutuhan serta minat audiensi.

1.4. Valuational Interpretation

Perspektif, prosedur, dan rasional yang dipakai untuk menafsirkan penemuan yang dijelaskan dengan hati-hati dan cermat sehingga dasar pertimbangan yang dipakai jelas.

1.5. Report Clarity

Laporan evaluasi harus menjelaskan objek yang sedang dievaluasi, konteks, tujuan, prosedur, dan penemuan evaluasi, sehingga audiensi akan mengetahui apa yang sedang dikerjakan, mengapa dikerjakan, informasi apa yang ada, apa kesimpulannya, dan apa saran-saran yang diberikan.

1.6. Report Dissemination

Penemuan evaluasi harus disebarkan kepada klien. Audiensi berhak mengetahui agar mereka dapat menilai dan memakai penemuan.

1.7. Report Timeliness

Memberikan laporan harus tepat waktu, supaya audien dapat memakai informasi sebaik-baiknya pada saat yang tepat.

1.8. Evaluation Impact

Evaluasi harus direncanakan dan dilakukan dengan cara sedemikian rupa sehingga mendorong audiensi yang lain ikut serta.

2. Feasibility Standards

Feasibility Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan realistik, bijaksana, diplomatik, dan cermat, sebagai berikut :

2.1. Practical Procedur

Prosedur evaluasi harus praktis, sehingga gangguan dapat dihindari dan informasi yang diperlukan dapat diperoleh dengan lancar.

2.2. Political Viability

Evaluasi harus direncanakan dan dilakukan dengan memperkirakan perbedaan posisi dan kondisi di antara kelompok yang berminat, sehingga kerjasama dengan mereka dapat dilakukan dan segala kemungkinan kelompok untuk mengurangi manfaat, bias, salah pakai atau salah tafsir dapat dihindari.

2.3. Cost Effectiveness

Evaluasi harus memberikan informasi yang mutunya cukup untuk mewakili sumber-sumber yang ada.

3. Propriety Standards

Propriety Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan dilakukan dengan legal dan etik demi kepentingan dan keamanan mereka yang terlibat, dan juga bagi mereka yang akan dipengaruhi oleh hasilnya. Standard tersebut adalah :

3.1. Formal Obligation

Kewajiban-kewajiban yang harus dilakukan oleh pihak tertentu harus tertulis dan disetujui oleh mereka (apa yang harus dilakukan, bagaimana, oleh siapa, dan kapan) serta harus ditaati.

3.2. Conflict of Interest

Minat yang berlawanan sering sulit dihindari, harus diatasi dengan terbuka dan musyawarah, sehingga tidak akan mempengaruhi proses atau hasil evaluasi.

3.3. Full and Frank Disclosure

Laporan evaluasi lisan maupun tertulis harus dibuat terbuka, langsung, dan jujur dalam mengungkapkan penemuan, termasuk keterbatasan-keterbatasan evaluasi.

3.4. Public’s Right to Know

Pihak pemakai formal evaluasi harus menghormati hak masyarakat untuk mengetahui dalam batas-batas tertentu, seperti keselamatan dan hak pribadi.

3.5. Right of Human Subject

Evaluasi harus didesain dan dilakukan sehingga hak dan pribadi manusia terlindung.

3.6. Human Interaction

Evaluator harus menghormati harkat manusia dan saling menghargai dalam pergaulan juga dalam hal-hal yang berhubungan dengan evaluasi.

3.7. Balanced Reporting

Evaluasi harus lengkap dan fair, tidak hanya menampilkan kelebihan-kelebihannya, tetapi juga keterbatasan-keterbatasan yang ada pada program, sehingga keterbatasan tersebut akan dapat diatasi atau dikurangi.

3.8. Fiscal Responsibility

Biaya yang dipakai oleh evaluator dalam menjalankan tugasnya harus ada pertanggungjawabannya secara etik dan hukum.

4. Accuracy Standards

Standar akurasi ini bertujuan untuk meyakinkan bahwa evaluasi akan menyajikan informasi yang secara tehnik adekuat tentang objek yang dievaluasi dan tentang kegunaan atau manfaatnya. Standar tersebut adalah :

4.1. Objek Identification

Objek evaluasi (program, proyek, materi) harus dipelajari sungguh-sungguh, sehingga komponen-komponen di dalam proyek dapat diidentifikasikan dengan jelas.

4.2. Contect Analysis

Konteks di mana program, proyek, atau materi berada harus dipelajari sampai rinci, sehingga pengaruhnya dalam evaluasi dapat diidentifikasi.

4.3.Discribed Purposes and Procedure

Tujuan dan prosedur evaluasi harus terus dimonitor dan diterangkan sampai rinci, sehingga dapat diidentifikasi dan dinilai.

4.4. Defensible Information Sources

Sumber-sumber informasi harus diterangkan sampai rinci, sehingga adekuasi informasi dapat dinilai.

4.5. Valid Measurement

Instrumen dan prosedur pengumpulan data harus dipilih dan dipakai sedemikian rupa sehingga penafsiran valid, dan tepat.

4.6. Reliable Measurement

Instrumen dan pengumpulan data harus dipilih dan dikembangkan sehingga realibilitasnya terjamin.

4.7.Systematic Data Control

Pengumpulan data, proses, dan laporan dalam evaluasi harus direviu, dan dikoreksi sehingga hasil evaluasi tidak akan dicela.

4.8. Analysis of Quantitative Information

Informasi evaluasi kuantitatif harus dianalisis secara sistematis untuk meyakinkan penafsiran yang didukungnya.

4.9. Analysis of Qualitative Information

Informasi evaluasi kualitatif harus dianalisis secara sistematis untuk meyakinkan penafsiran yang didukungnya.

4.10. Justified Conclutions

Kesimpulan dibuat harus secara eksplisit, sehingga audiensi dapat menilainya.

4.11. Objective Reporting

Prosedur evaluasi harus dibuat seaman mungkin sehingga penemuannya dapat terlindung dari pencemaran dan kerusakan dari perasaan pribadi dan bias dari pihak manapun.

C. Petunjuk Umum dan Langkah-langkah Melakukan Evaluasi Meta

Evaluator disarankan untuk meminta evaluator internal dan evaluator eksternal mereviu evaluasi pada saat-saat tertentu yaitu pada saat rencana evaluasi, pada interval-interval dalam periode-periode tertentu saat evaluasi masih dalam proses untuk mengidentifikasi masalah-masalah, dan pada akhir evaluasi. Juga diminta untuk mereviu penemuan dan laporan serta memeriksa prosedur dan kesimpulan. Banyak evaluator meminta evaluator internal dan eksternal untuk mereviu evaluasinya.

Reviu internal dapat dilakukan oleh dewan penasehat evaluasi. Sedang apabila evaluasi dalam proses, evaluator dapat meminta pendapat para pemegang saham dan para karyawan program meminta reaksi mereka terhadap rencana evaluasi, implementasinya, waktunya, dan biaya setiap kegiatan evaluasi, serta revisi apabila ada. Kesemua ini merupakan laporan progres evaluasi yang amat berguna bagi klien.

Reviu eksternal paling baik dilakukan oleh pihak luar yang tak berminat akan hasil evaluasi yang telah mempunyai pengalaman dalam evaluasi yang serupa. Bila evaluator eksternal dipanggil sedini mungkin, mereka dapat diminta bantuan untuk melihat desain program dan meminta rekomendasinya untuk memperkuat desain. Pengamat eksternal dapat membantu urusan tehnik selama proses evaluasi dan pada akhir evaluasi, melihat prosedur, penemuan, dan laporan evaluasi. Pengamat eksternal mungkin dapat merencanakan kunjungan pada periode reviu untuk lebih dapat mengenal dan melihat dari dekat fail, instrumen, data, laporan, dan audiensi. Pekerjaan ini menuntut pengetahuan tentang mengapa dan di mana menilai informasi evaluasi yang penting. Evaluator harus dapat memperlihatkan bagaimana evaluasi mengikuti rekomendasi dari pengamat eksternal.

Langkah-langkah melakukan evaluasi meta, sebuah desain evaluasi yang dikemukakan oleh Worthen, Blain R, dan James R. Sanders (1983) sebagai berikut :

1. Siapkan satu salinan desain yang siap untuk direviu. Evaluasi meta formatif disarankan sesegera mungkin setelah desain selesai dirumuskan supaya reviu produktif.

2. Tentukan siapa yang akan melakukan evaluasi meta.

3. Pastikan bahwa ada hak untuk melakukan evaluasi meta.

4. Gunakan standar atau kriteria meta evaluasi untuk melakukan evaluasi meta.

5. Gunakan kriteria atau standar evaluasi pada desain Anda.

6. Periksa kecermatan desain evaluasi (adequacy). Tidak ada satu desainpun yang sempurna. Oleh sebab itu, perlu dilihat kembali apakah desain perlu disesuaikan dengan situasi dan kondisi program.

D. Masalah Evaluasi dan Cara Pemecahannya

Permasalahan evaluasi merupakan hal penting yang harus dijelaskan terlebih dahulu dalam pembuatan evaluasi. Hal ini wajar karena pada intinya suatu evaluasi dibuat adalah menjawab suatu permasalahan. Adanya kegiatan evaluasi dikarenakan adanya suatu masalah yang ingin dipecahkan atau ingin dijawab. Untuk itu pembaca suatu laporan evaluasi perlu mengetahui terlebih dahulu masalah yang dikaji, ditelaah, atau hendak dijawab/dipecahkan melalui evaluasi yang dilaporkan itu.

Segi-segi mengenai evaluasi bisa mencakup beberapa hal, seperti bagaimana rumusan masalahnya, latar belakang mengapa masalah tersebut dipilih untuk dievaluasi, apa tujuan yang ingin dicapai dengan mengevaluasi masalah tersebut, dan tinjauan teori/kepustakaan/ hasil-hasil evaluasi sebelumnya yang berkaitan dengan evaluasi tersebut.

Setiap evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan dibicarakan, dan siapa yang mendengar, semua mempengaruhi hasil evaluasi. Bahkan latar belakang pribadi evaluator, pendidikan, dan pengalaman juga mempengaruhi cara evaluasi dilaksanakan.

Berdasarkan pada kenyataan di atas maka tidak mudah menjadi seorang evaluator, karena banyak syarat yang harus dipenuhi oleh seorang evaluator agar evaluasi yang dihasilkan benar-benar dapat dipercaya dan dipertanggungjawabkan. Seringkali evaluasi yang dibuat oleh seorang evaluator mengandung sesuatu yang bias, hal ini dapat terjadi disebabkan oleh kurangnya kemampuan dari evaluator itu sendiri maupun adanya faktor dari luar yang punya kepentingan dari evaluasi tersebut.

Suatu evaluasi agar dapat menghasilkan evaluasi yang benar-benar baik dan dapat dipercaya maka evaluasi tersebut harus dievaluasi kembali, yang kemudian kita kenal dengan evaluasi meta.

Evaluasi meta sebagai evaluasi yang lebih tinggi dapat menghasilkan suatu evaluasi yang benar-benar baik dan dapat dipercaya, maka agar dapat menemukan dan memecahkan atau menjawab masalah evaluasi diperlukan prosedur-prosedur tertentu yang bersifat metodologis. Aspek metodologis ini, dalam laporan evaluasi, biasanya berisi penjelasan tentang tipe pendekatan evaluasi yang digunakan (survei atau sensus), tahap-tahap evaluasi meta program, tehnik-tehnik untuk mencapai standar evaluasi meta (utility, feasibility, propriety dan accuracy), populasi dan sampel evaluasi meta, metode pengumpulan data dan instrumentasi, serta strategi analisis data.

E. Kontribusi Evaluasi Meta terhadap Evaluasi Program

Evaluasi meta sebagai evaluasi yang lebih tinggi sangat besar sumbangannya bagi kemajuan evaluasi program. Evaluasi meta dapat dilakukan bersama kegiatan evaluasi yang biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Jika pada evaluasi biasa kita belum menghasilkan suatu evaluasi yang baik dan dapat dipercaya karena berbagai macam faktor, baik berasal dari evaluator itu sendiri maupun dari luar maka evaluasi meta merupakan solusi terbaik dalam memecahkan masalah tersebut. Evaluasi meta dapat juga dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, hal ini dilaksanakan agar kita memperoleh informasi tentang apa yang telah kita lakukan.

Evaluasi meta dapat dikembangkan selagi dalam proses dengan tujuan evaluasi berikutnya dapat lebih berhasil. Evalusi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta eksternal yaitu evaluasi yang dilakukan konsultan dari luar program, dapat dipakai untuk melihat kebenaran dan menilai desain evaluasi, melihat keprogresan program, serta untuk lebih meyakinkan dan lebih dapat dipercaya. Laporan evaluasi meta internal, misalnya apabila disertai dengan laporan evaluasi meta eksternal akan manjadi lebih dipercaya. Memakai evaluator eksternal juga dapat memberikan dasar yang kuat untuk merevisi desain evaluasi dan merevisi pekerjaan yang sedang dilakukan atau melaporkan evaluasi. Apabila evaluasi sudah selesai, evaluasi ini dapat menolong Anda menentukan sejauhmana kebenaran hasil evaluasi tersebut.

Evaluasi meta dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong kita untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat kita terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas evaluasi.

BAB III

PENUTUP

A. Kesimpulan

Evaluasi meta adalah mengevaluasi suatu evaluasi, yang dapat dilakukan bersama kegiatan evaluasi biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Evaluasi meta dapat dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, dilakukan untuk mengetahui apa yang telah dilakukan.

Orang-orang yang patut melakukan evaluasi meta yaitu :

a. Evaluasi meta dilakukan oleh evaluator sendiri (original evaluator).

b. Evaluasi meta dilakukan oleh pemakai evaluasi.

c. Evaluasi meta dilakukan oleh evaluator ahli

Standar evaluasi meta digolongkan menjadi tiga puluh standar atas empat domain evaluasi yaitu utility (evaluasi harus berguna dan praktis), feasibility (evaluasi harus realistik dan bijaksana), propriety (evaluasi harus dilakukan dengan legal dan etik), dan accuracy (evaluasi harus secara tehnik adekuat).

Langkah-langkah melakukan evaluasi meta sebagai berikut :

1. Siapkan satu salinan desain yang siap untuk direviu. Evaluasi meta formatif disarankan sesegera mungkin setelah desain selesai dirumuskan supaya reviu produktif.

2. Tentukan siapa yang akan melakukan evaluasi meta.

3. Pastikan bahwa ada hak untuk melakukan untuk melakukan evaluasi meta.

4. Gunakan standar atau kriteria meta evaluasi untuk melakukan evaluasi meta.

5. Gunakan kriteria atau standar evaluasi pada desain Anda.

6. Periksa kecermatan desain evaluasi (adequacy). Tidak ada satu desainpun yang sempurna. Oleh sebab itu, perlu dilihat kembali apakah desain perlu disesuaikan dengan situasi dan kondisi program.