ระบบติดตามและประเมินผลโครงการ ( M&E Thailand )

1) การประชุมเพื่อทำความเข้าใจรายละเอียดโครงการ ฯ วัตถุประสงค์โครงการ และจำแนก Input Process Output Outcome และ Impact ของโครงการ ร่วมกับทีมทำงานโครงการบูรณาการ ได้แก่ ทีมวิชาการ ทีมผู้ประสานงานระดับเขต พี่เลี้ยงระดับจังหวัด ทีมพี่เลี้ยงระดับตำบล คณะกรรมการกองทุน และผู้รับผิดชอบกองทุน
2) การวิเคราะห์กลุ่มผู้มีส่วนได้ส่วนเสีย ทั้งภายในและภายนอกโครงการ ฯ โดยทีมประเมินพัฒนาเครื่องมือเป็นแบบสัมภาษณ์แบบมีโครงสร้าง และนำไปสัมภาษณ์ ทีมวิชาการ ทีมผู้ประสานงานระดับเขต พี่เลี้ยงระดับจังหวัด ทีมพี่เลี้ยงระดับตำบล คณะกรรมการกองทุน และผู้รับผิดชอบกองทุน
3) การศึกษารายละเอียดโครงการ ฯ 5 แผนงาน ได้แก่ แผนงานเหล้า บุหรี่ สารเสพติด อาหารและโภชนาการและกิจกรรมทางกาย โดยเข้าไปศึกษารายละเอียดในเว็บไซต์ และพัฒนาเครื่อมือเพื่อไปสัมภาษณ์เพิ่มเติมในขั้นตอนการกำหนดขอบเขต

1) ประชุมร่วมกับทีมวิชาการ เพื่อสัมภาษณ์แนวคิดในการจัดทำโครงการ วัตถุประสงค์ และผลการดำเนินงานที่ผ่านมา ปัญหา อุปสรรค ระบุผู้มีส่วนได้ส่วนเสียที่เกี่ยวข้องและจำนวนในแต่ละกลุ่ม โดยใช้เครื่องมือ Checklist และแลกเปลี่ยนแนวคิดการประเมินโครงการตามกรอบแนวคิดต่าง ๆ เพื่อทำความเข้าใจร่วมกัน

จัดประชุมเชิงปฏิบัติการ โดยในขั้นตอนนี้ดำเนินการร่วมกับขั้นตอนการ Scoping มีผู้มีส่วนได้ส่วนเสีย ได้แก่ ทีมวิชาการ ทีมผู้ประเมิน พี่เลี้ยง คณะกรรมการกองทุน ผู้รับผิดชอบกองทุน และผู้เสนอโครงการ และทีมประเมิน มาร่วมกันกำหนดพื้นที่ และทำความเข้าใจภาพรวม บริบทพื้นที่

1) แบบสัมภาษณ์ วัตถุประสงค์โครงการบูรณาการ ฯ มีความคาดหวังเป้าหมายอย่างไร ความจำเป็นในการติดตามประเมินผลหรือไม่ อย่างไร มีใครเกี่ยวข้องโดยตรงกับโครงการ มีบทบาทหน้าที่อย่างไร 2) การประชุมเชิงปฏิบัติการ เพื่อร่วมกันทำความเข้าใจบริบทเชิงพื้นที่ วัตถุประสงค์การประเมินติดตาม

1) ทราบรายละเอียดของโครงการบูรณาการ ฯ และเป้าหมายของโครงการ ได้แก่ Input Process Output Outcome Impact 2) ทราบความจำเป็นในการติดตามประเมินผล เพื่อนำไปสู่การปรับปรุงกระบวนการและการติตดามผลผลิต ผลลัพธ์ ผลกระทบ 3) ทราบแผนงาน/โครงการที่ดำเนินการไปแล้วในปีงบประมาณ2563 ทั้ง 5 แผนงาน และโครงการที่พัฒนา รายละเอียดโครงการจำแนกตามกองทุนในอำเภอละงู จังหวัดสตูล 4) เข้าใจกรอบแนวคิดที่จะใช้ในการประเมิน และเลือกกรอบแนวคิดที่จะนำไปใช้ในกระบวนการ Scoping 5) เข้าใจบริบทเชิงพื้นที่

วิธีการในการกำหนดขอบเขตการประเมิน ผ่านการประชุมเชิงปฏิบัติการ โดยมีขั้นตอน ดังนี้ 1) คัดเลือกกรอบแนวคิดในการประเมิน โดยทีมประเมินเลือกใช้กรอบแนวคิด Ottawa Charter ในการประเมิน ฯ ร่วมกับผู้มีส่วนได้ส่วนเสีย และได้ข้อสรุปร่วมกันในการกำหนดกรอบแนวคิด 2) คัดเลือกตัวชี้วัดที่ใช้ในการประเมิน จำแนกตามกรอบแนวคิด Ottawa Charter จำนวน 5 ด้าน ในขั้นตอนนี้ทำร่วมกันระหว่างทีมผู้ประเมิน ฯ ตัวแทนทีมวิชาการ ทีมพี่เลี้ยง คณะกรรมการกองทุน ผู้รับผิดชอบกองทุนและผู้ประสานงานเขต 3) คัดเลือกเครื่องมือและจัดทำร่าง กลุ่มเป้าหมายที่ใช้ในการประเมิน ซึ่งในการประเมินครั้งนี้ จะใช้ 2 เครื่องมือ คือ แบบสัมภาษณ์แบบมีโครงสร้าง จำแนกเป็น 2 ประเภท คือ แบบสัมภาษณ์แบบมีโครงสร้าง ด้วยข้อคำถามปลายเปิด และแบบสอบถาม 4) นำเครื่องมือเข้าสู่กระบวนการตรวจสอบจริยธรรมในมนุษย์ ที่ สำนักงานนโยบายสาธารณะ มหาวิทยาลัยสงขลานครินทร์

1) ทีมประเมิน
2) ทีมวิชาการ 3) ผู้ประสานงานเขต 4) ทีมพี่เลี้ยง 5) คณะกรรมการกองทุน
6) คณะกรรมการ พชอ. ละงู 7) ผู้รับผิดชอบกองทุน

แบบสัมภาษณ์แบบมีโครงสร้างและแบบสอบถาม

ในการประเมิน ฯ ทีมประเมิน เริ่มกระบวนการมีส่วนร่วม ดังนี้ 1) ขั้นตอนการ Screening เริ่มจากทำความรู้จักทีมผู้ประสานงานเขต พี่เลี้ยง คณะกรรมการกองทุน ผู้รับผิดชอบกองทุน และผู้เสนอโครงการ และในการประเมิน ฯ ผู้มีส่วนได้ส่วนเสีย 2) ขั้นตอนการ Scoping นัดประชุมเชิงปฏิบัติการ ประชุมกลุ่มย่อยและสัมภาษณ์ โดยในขั้นตอนนี้ ผู้ประเมิน ฯ มีการพบปะ นอกเวที เนื่องจากมีการทำงานร่วมกันในเชิงพื้นที่ จากโครงการอื่น ๆ ร่วมด้วย
3) ขั้นตอนการประเมิน ผู้ประเมิน ฯ มีการนัดสัมภาษณ์ ทั้งแบบเป็นทางการ ไม่เป็นทางการ และการเข้าไปสังเกตการณ์ในพื้นที่ จากการจัดโครงการของคณะกรรมการกองทุน
4) ขั้นตอนการขยายผล เป็นขั้นตอนที่เกิดจากการร่วมมือต่อยอดงานที่นอกเหนือจากงานประเมิน ฯ โดยทีมประเมิน ฯ ได้รับการสะท้อนจาก สปสช. คณะกรรมการกองทุน ทีมพี่เลี้ยง เพื่อพัฒนาโครงการร่วมกันในด้านผู้สูงอายุ และมีการช่วยเหลือด้านสถานที่ (มหาวิทยาลัยราชภัฏสงขลา วิทยาเขตสตูล) ให้กับทีมพี่เลี้ยง เพื่อใช้ในการจัดโครงการ จัดกิจกรรมต่าง ๆ และมีการให้คำปรึกษาเพื่อนำไปสู่การประเมินเชิงวิชาการเพื่อให้เกิดแผนงาน/โครงการที่มีประสิทธิภาพมากขึ้น ในฐานะทีมวิชาการ

1) การทบทวนเอกสารที่เกี่ยวข้อง: วิเคราะห์เชิงเนื้อหา (Content Analysis) จากเอกสารและเว็บไซต์ที่เกี่ยวข้องกับโครงการ จับประเด็นสำคัญ โดยใช้ Metrix และ Checklist 2) การจัดจำแยกข้อมูล: สรุปข้อมูลจากการสัมภาษณ์ และประชุมกลุ่ม โดยการถอดเทป จัดหมวดหมู่ข้อมูล แยกประเด็นสำคัญ จัดทำเป็นแผนผังความคิด และเชื่อมโยงความสัมพันธ์ระหว่างข้อมูล
3) การประเมินข้อมูล: นำข้อมูลที่ได้มาประเมินตามกรอบแนวคิด Ottawa Charter
4) การวิเคราะห์ข้อมูล: วิเคราะห์จุดแข็ง จุดควรพัฒนา แนวทางเสริมจุดแข็ง และแนวทางการพัฒนา 5) การอภิปราย: การเชื่อมโยงข้อมูลกับมิติเชิงมูลค่าและการขยายผลต่อยอดของโครงการ

ผู้มีส่วนได้ส่วนเสีย ได้แก่ ทีมวิชาการ ทีมผู้ประสานงาน ทีมพี่เลี้ยง คณะกรรมการกองทุน ผู้รับผิดชอบโครงการ และผู้เสนอโครงการ

2.1 ศักยภาพคน:
1) ความรู้ ความเข้าใจโครงการบูรณาการ
2) หลักการแนวคิด/กระบวนการการสร้างทีม 3) การหนุนเสริมศักยภาพพี้เลี้ยงการจัดทำแผน/โครงการ 4) การติดตามด้วยระบบประเมินผลออนไลน์ 2.1.1 ผู้ประสานงานเขต ผลการดำเนินงาน:
- ประสานงานมีความรู้ความเข้าใจระดับดีมาก
- สามารถอธิบายวัตถุประสงค์ และเป้าหมายโครงการได้
- มีการใช้แนวคิดการสร้างทีมแบบมีส่วนร่วม โดยการเสนอชื่อทีมและคัดเลือกร่วมกันกับทีมทำงานเชิงพื้นที่
- มีการนัดประชุม และจัดทำโครงการเพื่ออบรมเพิ่มศักยภาพพี่เลี้ยงในการจัดทำแผน/โครงการ
- ติดตามการทำงานโดยใช้ระบบประเมินผลออนไลน์อย่างสม่ำเสมอ 2.1.2 พี่เลี้ยง/ผู้เสนอโครงการ/คณะกรรมการ ผลการดำเนินงาน:
- ความรู้ความเข้าใจระดับดีมาก
- สามารถอธิบายวัตถุประสงค์ และเป้าหมายโครงการได้
- ถ่ายทอดความรู้ได้ เป็นที่ปรึกษาได้ เฉพาะกลุ่มเล็ก ๆ สามารถจัดทำแผน/โครงการ ได้ระดับปานกลาง-สูง
- มีการใช้ระบบประเมินผลออนไลน์โดยแบ่งหน้าที่มอบหมายผู้จัดทำ พี่เลี้ยงที่ได้รับมอบหมายสามารถใช้ระบบได้อย่างคล่องแคล่ว

2.2 สภาพแวดล้อม:
1) การไช้ประโยชน์จากหลักสูตรฝึกอบรมไปสู่กระบวนการทำงาน 2) การไช้ประโยชน์จากคู่มือ
3) การใช้ประโยชน์จากระบบติดตามประเมินผลออนไลน์
4) การใช้ประโยชน์จากคลีนิกให้คำปรึกษา
2.2.1 ผู้ประสานงานเขต ผลการดำเนินงาน:
- มีการนำหลักสูตร คู่มือ และระบบติดตามประเมินผลมาใช้เพื่อพัฒนาทีมพี่เลี้ยง โดยมีการจัดประชุมมากกว่า 4 ครั้งต่อปี เพื่อสร้างบรรยากาศและหนุนเสริมให้พี่เลี้ยงได้มีเครื่องมือเพื่อนำไปใช้ในการให้คำปรึกษาต่อผู้เสนอโครงการได้
- การให้คำปรึกษาดำเนินการแบบไม่เป็นทางการ เนื่องจากมีความสนิทสนมคุ้นเคยกัน และใช้การโทรศัพท์ การแลกเปลี่ยนในไลน์กลุ่มอย่างต่อเนื่อง 2.2.2 พี่เลี้ยง/ผู้เสนอโครงการ/คณะกรรมการ ฯ ผลการดำเนินงาน:
- สภาพแวดล้อมด้านการหลักสูตร คู่มือ เอื้อประโยชน์และมีการใช้ประโยชน์เพื่อนำไปสู่กระบวนการให้คำปรึกษากับผู้เสนอโครงการและเพื่อจัดทำแผนกองทุน - มีการใช้ประโยชน์จากระบบติดตามประเมินผลออนไลน์สูงมาก ทุกโครงการที่ดำเนินการในพื้นที่ได้นำเข้าข้อมูลใส่ในระบบ (ร้อยละ 80) มีเฉพาะบางพื้นที่ที่ไม่ได้ใช้ประโยชน์จากระบบ ได้แก่ ตำบลแหลมสน - คลีนิคการให้คำปรึกษาดำเนินการในลักษณะไม่เป็นทางการระหว่างพี่เลี้ยงด้วยกันและระหว่างพี่เลี้ยงและผู้เสนอโครงการ

2.3 ระบบกลไก:
1) การวางแผนงานและพัฒนาโครงการด้วยหลักการมีส่วนร่วม ดำเนินการได้ตามแผนที่วางไว้
2) มีการประชุม พูดคุย ประสานระหว่างเขต อำเภอ จังหวัด เพื่อให้ผลการดำเนินงานสำเร็จ
3) มีการติดตามผลการดำเนินงาน มีการปรับปรุงผลเมื่อติดตามแล้วพบว่าเกิดปัญหาอุปสรรค
4) กลไกพี่เลี้ยงช่วยให้เกิดประสิทธิภาพในการทำงาน 5) ระบบติดตามประเมินผลออนไลน์ใช้งานได้เนื่องจากการให้คำปรึกษาของพี่เลี้ยง 2.3.1 ผลการติดตาม:
- พี่เลี้ยงระดับจังหวัด อำเภอ ตำบล มีจำนวน 14 คน และ 1 ใน 3 ของพี่เลี้ยง เป็นทั้งกรรมการกองทุน ผู้รับผิดชอบกองทุน และเป็นผู้เสนอโครงการ - ในการเสนอโครงการ พบว่าผู้เสนอโครงการที่ตรวจพบในระบบมีทั้งรายใหม่ ๆ และรายชื่อไม่ซ้ำกัน แต่ในทางปฏิบัติเพื่อช่วยให้ดำเนินการสัมฤทธิ์ผล พี่เลี้ยงคือกลไกสำคัญในการผลักดันให้งานสำเร็จลุล่วงไปได้ จึงสรุปได้ว่า กลไกพี่เลี้ยงช่วยให้เกิดประสิทธิภาพในการทำงานมากขึ้นเมื่อเทียบจากก่อนมีโครงการบูรณาการ - ทีมพี่เลี้ยงได้ให้คำปรึกษาเรื่องระบบติดตามประเมินผลออนไลน์ กับเจ้าหน้าที่ประจำท้องถิ่น และผู้เสนอโครงการ และในทีมพี่เลี้ยงยังแบ่งหน้าที่และมอบหมายให้มีพี่เลี้ยงที่ทำหน้าที่เป็นตัวแทนหลักในการให้คำปรึกษา รวมถึงนำโครงการต่าง ๆ เข้าระบบ ปัจจุบันโครงการที่ดำเนินการในพื้นที่นำร่อง จึงพบว่าร้อยละ 80 มีการนำเข้าในระบบ ยกเว้นในตำบลน้ำผุด ที่มีการดำเนินการและจัดทำโครงการ แต่บางโครงการยังไม่ได้นำเข้าในระบบ - พบปัญหาอุปสรรคในด้านการเชื่อมต่อระหว่างตำบลขึ้นไประดับอำเภอ เนื่องจากการประชุม พชอ. ครั้งสุดท้ายเดือนพฤศจิกายน แม้พี่เลี้ยงจะเป็นส่วนหนึ่งใน พชอ. แต่กลไกที่นำผลจากระดับตำบลสู่อำเภอยังไม่เห็นผลการบูรณาการ

2.4 การบูรณาการเพื่อเสริมสร้างความเข้มแข็ง 1) มีการประเมินความสอดคล้องของแผนงาน/โครงการ 2) ประเมินติดตามดูพัฒนาการและความเข้มแข็งของทีมงานและเครือข่าย 3) ให้ความสำคัญต่อการพิจารณาบริบทของชุมชนในการทำงานแผน/โครงการให้สอดคล้องกับสถานการณ์ของชุมชนและความต้องการของชุมชน 4) ใช้ประโยชน์จากระบบติดตามประเมินผลเพื่อเสริมสร้างความเข้มแข็งของชุมชนและการขับเคลื่อนนโยบายสาธารณะของชุมชน 2.4.1 ผลการติดตาม:   - โครงการไม่มีความสอดคล้องกับแผนงาน ขาดการเชื่อมโยง ส่วนใหญ่เป็นโครงการเดี่ยว ไม่มีการบูรณาการร่วมระหว่างแผนงานและโครงการ   - มีการประเมินติดตามดูพัฒนาการและความเข้มแข็งของทีมงานและเครือข่ายอย่างสม่ำเสมอ และมีแนวทางการจูงใจคนใหม่ ๆ เข้ามาร่วมทีมโดยใช้จิตอาสาเป็นตัวนำทาง   - ให้ความสำคัญต่อการพิจารณาบริบทของชุมชนในการทำงานแผน/โครงการ โดยการนำปัญหาของชุมชนร่วมกับสถานการณ์ข้อมูลอื่น ๆ มาร่วมพิจารณาและเสนอเป็นข้อเสนอโครงการ แต่บางโครงการได้รับการอนุมัติเนื่องจากความต้องการของท้องถิ่น   - มีการใช้ประโยชน์จากระบบติดตามประเมินผลออนไลน์ในระดับสูง มีการบันทึกข้อมูลและใส่ข้อมูลครบถ้วน

2.5 การพัฒนานโยบายสาธารณะ 1) มีแนวทางการขับเคลื่อนแผนภายใต้แผนงาน/โครงการย่อยสู่โครงการใหญ่ 2) มีการพัฒนานโยบายร่วมกันระหว่างกรรมการกองทุน/ผู้รับผิดชอบกองทุน/ผู้เสนอโครงการ 3) จัดทำแผน/โครงการโดยพิจารณาความสอดคล้องกับเป้าหมายกองทุน 2.5.1 ผลการติดตาม:
- โครงการที่จัดทำยังเป็นโครงการย่อย ต่างคนต่างทำ ยังไม่มีการพัฒนาร่วมกันเป็นโครงการชุด หรือโครงการย่อยไปสู่โครงการใหญ่ และยังไม่มีแนวทางการขับเคลื่อนแผนภายใต้แผนงาน - มีการพัฒนานโยบายร่วมกัน ตั้งแต่ทีมวิชาการ ผู้ประสานงานเขต พี่เลี้ยงระดับจังหวัด อำเภอและตำบล เพื่อให้เกิดการวางแผน การดำเนินการ และการติดตาม - แผนงานและโครงการที่เกิดขึ้นมีความสอดคล้องกับเป้าหมายกองทุน และดำเนินการครบตามแผนงาน 5 ด้าน ได้แก่ แผนงานเหล้า บุหรี่ ยาเสพติด กิจกรรมทางกาย และอาหาร

ผ่านการตรวจทานโดยส่งข้อมูลเบื้องต้นทางระบบอิเล็กทรอนิค (ไลน์) ให้กลุ่มเป้าหมายตรวจสอบก่อนนัดวันเวลาทวนสอบรายงาน

การนัดประชุมเพื่อทบทวนร่างรายงาน โดยส่งร่างฉบับแรกทางระบบอิเล็กทรอนิค (ไลน์) และนัดประชุมกลุ่มเป้าหมายเพื่อทบทวน

ผลการประเมินสะท้อนตรงตามข้อมูลที่รวบรวม กลุ่มตัวอย่างยอมรับต่อผลการประเมินและรับข้อเสนอแนะไปปรับปรุงเพื่อให้เกิดการพัฒนา