การประเมินผลกระทบ (Impact Evaluation) ทำอย่างไรให้มีคุณภาพและประหยัดงบประมาณ

การประเมินผลกระทบ (Impact Evaluation) ที่กล่าวถึงในบทความนี้มี 5 ประเภท ได้แก่

1.Type A:  Post-implementation

2.Type B: Pre and post implementation

3.Type C: Pre-test Post-test Control Group Design

4.Type D: Pre and post-intervention project group with post-intervention only comparison group.

5.Type E: Post-implementation only project and comparison groups with no baseline data

                การประเมินเป็นศาสตร์และศิลป์ชั้นสูง ใช้ในการตัดสินว่าผู้ถูกประเมินนั้นอยู่ในเกณฑ์ดีหรือแย่เพียงใด การประเมินถูกใช้กันอย่างแพร่หลายในวงการต่างๆ เช่น การประเมินผลการเรียน นักศึกษาจะถูกพิจารณาผลการเรียนแบ่งเป็นเกรด A, B, C, D และ F (เกรด F หมายถึงไม่ผ่าน)  หากเป็นเรื่องการทำงานพนักงานบริษัทก็ถูกประเมินผลการทำงาน เพื่อประเมินศักยภาพในการทำงานรวมถึงเป็นข้อมูลในการพิจารณาการขึ้นเงินเดือนหรือเลื่อนขั้น ในภาพระดับองค์กร เช่น หน่วยงานเอกชน ราชการและรัฐวิสาหกิจ การประเมินผลการดำเนินงานองค์กรจะถูกใช้เพื่อให้ทราบถึงผลการบริหารจัดการในแต่ละส่วนงานว่าได้บรรลุตามเป้าหมายที่กำหนดไว้หรือไม่ นอกจากนี้หากพิจารณาลงไปถึงระดับโครงการ การประเมินยังใช้ในการบอกถึงผลกระทบ (Impact) ว่าโครงการที่ทำอยู่นั้นสร้างผลลัพธ์หรือมูลค่าเพิ่มให้เกิดขึ้นมากน้อยเพียงใด (ทั้งที่วัดได้โดยตรงและทางอ้อม) เพียงแค่การกล่าวนำในขั้นต้นนี้ เราก็เห็นถึงประโยชน์ของการประเมินเป็นอย่างมาก แต่ในทางปฏิบัตินั้นผู้ที่เกี่ยวข้องกับการประเมินก็ทราบดีว่าการประเมินนั้นมีความยากที่จะทำให้มีคุณภาพดีและได้รับการยอมรับจากผู้ถูกประเมิน และด้วยเหตุที่การประเมินถูกใช้กันอย่างกว้างขวาง สำหรับบทความนี้จึงขอจำกัดเนื้อหาที่เกี่ยวข้องเฉพาะการประเมินรูปแบบหนึ่งที่กำลังได้รับความนิยม เรียกว่า การประเมินผลกระทบ (Impact Evaluation) โดยเรียบเรียงและอ้างอิงมาจากเอกสารของหน่วยงานที่ชื่อ Impact Evaluation Thematic Group ของ World bank, (2006) ซึ่งในบทความนี้จะกล่าวถึงการประเมินผลกระทบแบบที่ไม่มีคุณภาพ และแบบที่มีคุณภาพเป็นที่ยอมรับ นอกจากนี้ยังเสนอแนวทางการประเมินผลกระทบภายใต้ข้อจำกัดด้านงบประมาณ ซึ่งผู้เขียนคิดว่าเนื้อหาดังกล่าวน่าจะมีประโยชน์กับผู้ที่เกี่ยวข้องกับการประเมินพอสมควรและหากผู้อ่านสนใจในรายละเอียดสามารถอ่านได้จากเอกสารต้นฉบับที่แนบไว้ท้ายบทความนี้

                การประเมินผลกระทบที่ไม่มีคุณภาพนั้นเป็นเช่นไร ลองพิจารณาถึงเหตุการณ์นี้ บริษัท A มีการวัดความพึงพอใจของลูกค้า โดยผลการวัดความพึงพอใจของลูกค้าในปีนี้พบว่าลูกค้ามีความพึงพอใจเป็น 90% โดยทั่วไปคงจะมองว่าบริษัท A มีระดับความพึงพอใจอยู่ในเกณฑ์ดี เราเรียกการประเมินแบบนี้ว่า Post-implementation (Type A ในตารางที่ 1) ที่เป็นรูปแบบการประเมินที่มีคุณภาพต่ำที่สุดเพราะเป็นการวัดผลครั้งเดียวไม่มีการเปรียบเทียบผลกับ Base-line เลย  แต่หากนำผลคะแนนความพึงพอใจของลูกค้าในปีก่อนมาพิจารณาพบว่ามีคะแนนความพึงพอใจ 95%  ในขณะที่ปีนี้มีคะแนนเป็น 90% นั่นหมายความว่าเมื่อระยะเวลาผ่านไปคะแนนความพึงพอใจยิ่งลดลง นี่คือผลของการเปรียบเทียบกับ Base-line จึงทำให้เรารู้ว่าคะแนนแย่ลง จะเห็นได้ว่า Base-line นั้นถูกใช้ในการประเมินเพื่อทำให้ผลการประเมินมีคุณภาพมากขึ้น และเราเรียกการประเมินที่มี Base-line ว่าเป็นแบบ Pre and post implementation (Type B ในตารางที่ 1)  อย่างไรก็ตามรูปแบบการประเมินทั้งสองแบบนี้ (ทั้ง Type A และ B) ยังไม่ได้แสดงถึงผลกระทบของโครงการหรือ Treatment ที่ใส่เข้าไปว่ามีผลต่อคะแนนความพึงพอใจมากน้อยเพียงใดเพราะไม่มีกลุ่มควบคุมมาวัดผลเปรียบเทียบกรณีที่ไม่มีโครงการนั้นๆ จึงสรุปว่าเป็นการประเมินผลกระทบทั้งสองแบบนี้ (Type A และ Type B) ไม่ค่อยมีคุณภาพเป็นที่ยอมรับเท่าไรนัก

ตารางที่ 1 แสดงแบบแผนการประเมินทั้งแบบ Post-implementation
และแบบ Pre and Post implementation

        แล้วการประเมินผลกระทบที่มีคุณภาพดีมีคุณลักษณะเป็นอย่างไร จุดสำคัญของการประเมินผลกระทบที่ดีคือมีการวัดผลในกลุ่มควบคุม (Control Group) เพื่อเปรียบเทียบผลกระทบของโครงการ (Project intervention) ด้วย ซึ่งในทางทฤษฏีการคัดเลือกกลุ่มควบคุมเข้ามานั้นควรใช้วิธีการสุ่มจากตัวอย่างที่มี (Random assignment) เพื่อให้ได้มาซึ่งกลุ่มควบคุมที่ไม่มีอคติหรือการจงใจเลือกมาให้มีลักษณะคะแนนต่ำหรือสูงตามความเป้าประสงค์ของผู้ประเมิน กลุ่มควบคุมที่ได้มาด้วยวิธีการสุ่มจะถูกคละและถูกเลือกมาอย่างเท่าเทียมกันเวลานำไปเปรียบเทียบกับกลุ่มที่ให้ Treatment (Treatment คือ ผลจากโครงการนั่นเอง) เราจึงเรียกว่า Equivalent control group สามารถนำมาเปรียบเทียบผลทั้งก่อนและหลังกับกลุ่มที่ให้ Treatment ได้อย่างเท่าเทียมกัน เช่นคะแนนความพึงพอใจลูกค้าก่อนมีโครงการหรือที่เรียกว่าการให้ Treatment ของทั้งสองกลุ่มเป็น 95% แต่เมื่อวัดผลหลังใส่ Treatment เข้าไปคะแนนเพิ่มเป็น 100% ขณะที่กลุ่มควบคุมมีคะแนน 95% เช่นเดิม นั่นคือ Treatment ส่งผลต่อคะแนนแตกต่างกับกลุ่มควบคุม เช่นนี้แล้วเราก็สามารถมั่นใจได้ว่าผลดังกล่าวเกิดจากโครงการที่ใส่เข้าไปจริงๆ  สรุปได้ว่ารูปแบบการประเมินแบบ Pre-test Post-test Control Group Design (Type C) เป็นเครื่องมือการประเมินเพื่อบอกว่าหากมีโครงการนั้นๆ เกิดขึ้นผลกระทบ (Impact) ของโครงการนั้นจะเป็นเท่าใด โดยใช้การเปรียบเทียบผลลัพธ์กับกลุ่มควบคุม (Control Group)  ซึ่งรูปแบบการวัดผลการประเมินแบบนี้ได้แสดงไว้ในตารางที่ 2

ตารางที่ 2 แสดงแบบแผนการประเมินแบบ Pre-test Post-test Control Group Design (Type C)

         เป็นที่ทราบดีว่างานประเมินผลกระทบเป็นงานที่มีต้นทุนสูงเพราะต้องวัดผลหลายครั้งตามระเบียบวิธีที่ถูกต้องของการประเมินผลแบบ Pre-test Post-test Control Group (Type C) เพื่อให้มั่นใจว่าผลการประเมินมีความถูกต้องแม่นยำว่าผลกระทบนั้นเกิดขึ้นจากโครงการจริงๆ แม้ว่าวิธีนี้เป็นการประเมินผลกระทบที่ดีที่สุด แต่ด้วยความยุ่งยากและเปลืองงบประมาณในการทำการประเมินจึงพบว่าหลายองค์กรนิยมใช้รูปแบบการประเมิน Pre and post implementation ซึ่งเป็นวิธีการประเมินที่มีต้นทุนต่ำ แต่น้อยคนที่ทราบว่าผลการประเมินจากวิธี Pre and post implementation (Type B) นั้นไม่สามารถวัดผลกระทบได้เพราะไม่มีกลุ่มควบคุมมาเป็นกลุ่มเปรียบเทียบ ดังนั้นหากต้องการความประหยัดโดยที่ประสิทธิภาพของการประเมินผลกระทบยังพอเชื่อถือได้ World bank ได้แนะนำให้เราปรับจากรูปแบบการประเมิน Pre-test Post-test Control Group (Type C) มาเป็นรูปแบบตามตารางที่ 3 ได้   โดยในคอลัมน์สุดท้ายจะบอกถึงต้นทุนการประเมินที่ประหยัดได้เป็นเปอร์เซนต์ หากเป็น Type D จะประหยัดได้ 25%  แต่ถ้าเป็น Type E จะประหยัดได้ถึง 50%

ตารางที่ 3 การประเมินที่ประหยัดได้เมื่อเทียบกับ Pre-test Post-test Control Group Design (Type C)

P₁ คือการวัดครั้งที่หนึ่ง ส่วน P₂ คือการวัดครั้งที่สอง
X คือกิจกรรมหรือโครงการที่ใส่เข้าไป

                เทคนิคแนวทางการประเมินผลกระทบให้มีต้นทุนที่ต่ำลงตามแนวทางในตาราง 3 เหมาะกับองค์กรที่มีข้อจำกัดด้านงบประมาณ แต่การปรับเป็นรูปแบบการประเมินเป็น Type D และ E ก็มิได้รับประกันว่าจะมีคุณภาพการประเมินเท่ากับ Pre-test Post-test Control Group (Type C) และจุดสำคัญที่ต้องทำให้ได้คือการสุ่มกลุ่มควบคุมขึ้นมาเท่านั้น เพราะเราใช้การวัดผลจากกลุ่มควบคุมเพียงครั้งเดียวกลุ่มควบคุมจึงต้องมีความน่าเชื่อถือได้ โดยคุณภาพของผลการประเมินผลกระทบโดยทั่วไปพิจารณาได้จากรายการต่อไปนี้

• จะต้องมีตัวชี้วัดที่มีความหมายตรงกับวัตถุประสงค์ที่ต้องการจะวัด เช่น หากวัดผลเรื่องการใช้ Promotion จะวัดจากยอดขายที่เพิ่มขึ้น และการวัดผลนี้ต้องระบุช่วงเวลาการวัดที่ชัดเจน เช่น ช่วงก่อนเริ่มโครงการ ช่วงขณะเริ่มดำเนินโครงการ และผลกระทบที่เกิดขึ้นหลังจากเสร็จสิ้นโครงการแล้ว
• มีกลุ่มควบคุม Control Group (หรือที่เรียกว่า Counterfactual) เพื่อ ใช้เป็นข้อมูลเปรียบเทียบกับกลุ่มที่มีโครงการ กลุ่มควบคุมจะแยกผลกระทบจากปัจจัยอื่นๆ ที่ไม่เกี่ยวข้องกับโครงการที่ใส่เข้าไป จึงทำให้ทราบผลกระทบที่แท้จริงของโครงการ โดยกลุ่มควบคุมนั้นต้องได้มาจากการสุ่ม
• ควรใช้วิธีการทางสถิติเพื่อระบุความแตกต่าง (Statistical Significant) ค่าสถิติจะบอกว่าผลกระทบของโครงการนั้นมีความแตกต่างจากกลุ่ม ควบคุมอย่างมีนัยสำคัญหรือไม่ ซึ่งจะมีความน่าเชื่อถือมากกว่าวิธีการเปรียบเทียบเชิงตัวเลขทั่วไป โดยผู้ประเมินอาจใช้สถิติอย่างง่าย เช่น t-test, F-test หรือ ANOVA มาเป็นเครื่องมือในการวัดผลกระทบที่เกิดขึ้นได้

อย่างไรก็ตามในบทความนี้มีเนื้อหาเกี่ยวข้องกับการประเมินเฉพาะรูปแบบการประเมินผลกระทบเท่านั้น เพราะการประเมินนั้นมีหลายรูปแบบ เช่น การประเมินผลการดำเนินงาน การประเมินผลสัมฤทธิ์ทางการศึกษา ซึ่งการประเมินเหล่านี้มีแนวทางที่ต่างออกไป สำหรับบทความต่อไปที่เกี่ยวข้องกับเนื้อหาในบทความนี้ (ดูรายละเอียดคลิ๊ก) จะยังเป็นเรื่องของการประเมินผลกระทบเช่นเดิม แต่จะแนะนำวิธีการที่จะจัดการประเมินผลกระทบภายใต้ข้อจำกัดด้านเวลาและการเข้าถึงข้อมูลว่ามีเทคนิคในทางปฏิบัติอย่างไร

เรียบเรียงโดย 

อมรเทพ  ทองชิว

ฝ่ายวิจัย IRDP

Reference.

Independent Evaluation Group, World Bank. (2006). Conducting Quality Impact Evaluations Under Budget, Time and Data Constraints. 1-10.

Additional Resources on Monitoring and Evaluation

• World Bank Independent Evaluation Group:

http://www.worldbank.org/ieg/

• World Bank Independent Evaluation Group-impact evaluation:

http://www.worldbank.org/ieg/ie/

• World Bank-impact evaluation:

http://www.worldbank.org/impactevaluation/

• Building government monitoring and evaluation systems:

http://www.worldbank.org/ieg/ecd/

• Monitoring and Evaluation News:

http://www.mande.co.uk/