نگاهی مقدماتی به مطالعات سنجش اثربخشی
مدیران، تصمیم‌گیران و سیاستگذاران فرهنگ و جامعه، برای پاسخگویی به دغدغه‌های فرهنگی و اجتماعی خود، مجموعه‌ای از اقدامات، طرح‌ها و رویه‌ها را به اجرا می‌گذارند. این اقدامات -که می‌تواند گستره‌ی وسیعی را از انواع طرح‌های مادی و معیشتی نظیر آبرسانی به یک گروه هدف مشخص، تا برنامه‌های فرهنگی و تربیتی، نظیر اثرگذاری فکری بر جامعه‌ای معین را شامل شود- همواره در معرض این پرسش اساسی قرار دارند که تا چه اندازه پاسخ مناسبی برای دغدغه‌ی اولیه‌ی بانیان و مجریان طرح بوده‌اند. مطالعات سنجش اثربخشی[۱] با هدف پرداختن به این پرسش توسعه یافته‌اند: پروژه‌ای که طراحی و اجرا کرده‌ایم، تا چه اندازه به‌طور موفقیت‌آمیزی اهداف ما را برآورده کرده است؟
مهمترین رکن در یک برنامه‌ی سنجش اثربخشی، تمرکز بر «نظریه‌ی تغییر[۲]» پروژه‌ای است که قرار است مورد سنجش قرار گیرد. نظریه‌ی تغییر بر این نکته تاکید می‌کند که هر اقدام یا مداخله‌ی فرهنگی یا اجتماعی، واجد ایده‌ها و فرضیاتی در مورد دغدغه‌ی اصلی و همچنین رابطه‌ی مداخله‌ی طراحی‌شده با آن دغدغه است. وظیفه‌ی نظریه‌ی تغییر، شفاف‌سازی و تبیین دقیق سیر علّی مستتر در ذهن تصمیم‌گیران و مجریان یک اقدام و مداخله است؛ به تعبیری دیگر، هر برنامه‌ی فرهنگی را می‌توان واجد این نظریه‌ی صوری تغییر دانست که:
- مسأله‌ی فرهنگی «الف» در جامعه‌ی هدف ما وجود دارد.
- اقدام فرهنگی «ب» بر روی وضعیت مسأله‌ی فرهنگی «الف» تاثیر می‌گذارد و آن را بهبود می‌بخشد.
- این تاثیرگذاری ممکن است به صورت مستقیم (اقدام ب نتیجه می‌دهد: تغییر در وضعیت مسأله‌ی الف) و یا غیر مستقیم و باواسطه (اقدام ب نتیجه می‌دهد: تغییر در وضعیت ج، و آنگاه تغییر در وضعیت د، و آنگاه تغییر در وضعیت مسأله‌ی الف) باشد.
ترسیم دقیق یک نظریه‌ی تغییر و توجه به تمام عواملی که در سلسله‌ی علّی مدنظر ما بر هدف ما تاثیر می‌گذارند، گام مهمی برای جهت‌بخشی و اولویت‌یابی در یک پروژه‌ی فرهنگی است؛ علی‌الخصوص، در شرایطی که به‌نظر می‌رسد هرچه از پروژه‌های مادی و ملموس به سمت پروژه‌های فرهنگی حرکت می‌کنیم، به سبب غیرملموس شدن خروجی‌های پروژه‌ها و همچنین نتایج مورد انتظار از آن خروجی‌ها، شفافیت نظریه‌ی تغییر در ذهن مجریان فرهنگی نیز کمرنگ‌تر می‌شود. به بیانی دیگر، نظریه‌ی تغییر بناست تا به دور از ابهام و کلی‌گویی و با زبانی سنجش‌پذیر برای ما روشن سازد که الف) ماموریت نهایی ما چیست و به دنبال پاسخگویی به چه دغدغه‌ای هستیم؟ ب) پاسخگویی به این دغدغه از طریق دست‌یابی به کدام هدف یا اهداف اصلی که مدنظر ما هستند محقق می‌شود؟ ج) برای رسیدن به این هدف یا اهداف، چه مداخله‌ای را انتخاب و طراحی کرده‌ایم و این مداخله از چه گام‌ها، مراحل و زمینه‌هایی تشکیل شده است؟
توجه به تمایز میان موارد الف و ب و ج برای ادامه بحث ضرورت دارد؛ چرا که نظریه‌ی تغییر قرار است این سه مسأله را به شکل متمایز و مشخص برای ما روشن و تفکیک سازد. در حقیقت ما بین نتیجه‌ی مداخله (result) [مورد الف]؛ هدف و خروجی مداخله (outcome) [مورد ب]؛ و فرایند مداخله (process) [مورد ج] تمایز قائل شده‌ایم. تفاوت مورد ب و ج نسبتاً مشخص است؛ اما در توضیح تفاوت مورد الف و ب -یعنی تفاوت میان نتیجه و خروجی– می‌توان به این واقعیت اشاره کرد که در بسیاری از مداخلات و برنامه‌های اجتماعی و فرهنگی، دغدغه و نتیجه‌ی نهایی که در ذهن مجریان برنامه است، به‌راحتی نمی‌تواند به‌عنوان «خروجی» یک برنامه و فرایند مداخلاتی درنظر گرفته شود، بلکه توقع می‌رود که یک برنامه منجر به خروجی‌هایی شوند که آنها به‌نوبه‌ی خود در بهبود وضعیت دغدغه‌ی ما اثرگذار باشند.
تعبیر دیگری می‌تواند تفاوت میان نتیجه و خروجی را روشن‌تر سازد. معمولاً هدف از یک اقدام یا مداخله‌ی فرهنگی و اجتماعی، تغییری در رفتار، نگرش یا شرایط پیچیده‌ی جامعه‌ی هدف طراحان برنامه است. برای رسیدن به این هدف، طراحان برنامه، مجموعه اقداماتی را که «فرایند برنامه» را تشکیل می‌دهند طراحی می‌کنند. مجری این مجموعه اقدامات چه کسی است؟ طراحان برنامه یا جامعه‌ی هدف؟ طراحان برنامه. البته قطعا برنامه با مشارکت جامعه‌ی هدف اجرا می‌شود، اما باز هم مجری و مداخله‌گر، همان طراحان برنامه هستند. لذا خروجی، آن چیزی است که حاصل مستقیم کار مداخله‌گران بر روی جامعه‌ی هدف است. از طرف دیگر، نتیجه، تاثیر نسبتاً بلندمدتی است که خروجی منجر به آن شده است. خروجی بر اساس کار مداخله‌گران و نتیجه بر اساس نگرش و رفتار جامعه‌ی هدف تعیین می‌شود.
تاکید بر این تمایز از آن جهت اهمیت دارد که به ما یادآوری می‌کند که موفقیت یا عدم موفقیت یک برنامه می‌تواند به دلایل مختلفی باشد و بنابراین سنجش و ارزیابی یک برنامه نیز باید به این دلایل مختلف توجه کند.
- ممکن است فرایندهای یک برنامه دچار مشکل باشند؛ بدین معنا که گام‌های مختلفی که در جهت رسیدن به خروجی مورد نظر طراحی شده‌اند ناقص، اشتباه، واجد سوگیری و بدون توجه به مشکلات زمینه‌ای و چالش‌های عملیاتی نظیر میزان منابع، زمان و… باشند. برای پاسخ به این مسأله، مداخله‌ی ما باید مورد تحلیل فرایندی قرار بگیرد.
- ممکن است فرایندهای یک برنامه به‌درستی طراحی شده باشند اما در عمل برنامه درست اجرا نشود و در نتیجه خروجی‌های مورد نظر به دست نیاید. برای پاسخ به این مسأله، باید در کنار خود برنامه، اصول و ساختار پایش و ارزشیابی (M&E)[۳] برنامه نیز به دقت تشریح و طراحی شده باشد.
- و در نهایت، ممکن است یک برنامه هم از طراحی و هم از اجرای درستی برای رسیدن به خروجی‌ها برخوردار باشد، اما برخلاف پیش‌بینی طراحان برنامه، خروجی‌ها منجر به نتایج مدنظر آنان نشود. برای پاسخ به این مسأله، برنامه باید مورد سنجش اثربخشی قرار بگیرد.
ذکر یک مثال می‌تواند تصویر ما را از این تمایز روشن‌تر سازد. تصور کنید که بررسی‌هایی بر روی مسائل خانواده‌های دین‌دار این نتیجه را آشکار کرده باشد که یکی از عوامل مهمی که بر روی تربیت صحیح کودکان متدین تاثیر می‌گذارد، میزان و کیفیت زمانی است که مادران متدین صرف تعامل، بازی و گفتگو با فرزندان خود می‌کنند. یک گروه دغدغه‌مند دینی به پشتوانه‌ی این نتایج، تصمیم می‌گیرد تا برنامه‌ای را برای مادران متدین طراحی و اجرا کند که در نهایت منجر به وقت‌گذاری بیشتر مادران برای فرزندانشان شود. اما نکته اینجاست که «وقت‌گذاری بیشتر مادران برای فرزندانشان» علی‌القاعده نمی‌تواند به‌عنوان خروجی مستقیم یک مداخله در نظر گرفته شود. «وقت‌گذاری بیشتر» یک تغییر رفتاری پایدار در جامعه‌ی هدف است. برنامه‌ها و مداخلات مداخله‌گران نمی‌توانند به‌طور مستقیم این هدف را به چنگ آورند. درعوض، یک برنامه‌ی مداخله تلاش می‌کند تا با «برگزاری کلاس‌های آموزشی تربیت فرزند برای مادران» و «تولید محصولات و بازی‌های مناسب تربیت فرزند و رساندن آنها به دست مادران جامعه‌ی هدف»، بر روی زمان وقت‌گذاری مادران برای فرزندانشان تاثیر بگذارد. در شکل صفحه‌ی بعد، تمایز نتیجه، خروجی و فرایند در این مثال نشان داده شده است.
پیشتر، نظریه‌های تغییر توجه خود را تنها به قسمت سنجش اثربخشی معطوف کرده بودند، اما اخیراً توجه به تحلیل فرایندها و پایش مداخله نیز در کنار شیوه‌های مرسوم و سنتی سنجش اثربخشی مورد توجه قرار گرفته است. به تعبیری، این سه بُعد در ارزیابی یک مداخله، ابعاد سه‌گانه‌ای هستند که باید در نظریه‌ی برنامه (program theory) مورد توجه قرار گیرند و به‌صورت هماهنگ و هم‌افزا طراحی و اجرا شوند. بدیهی است که نمی‌توان با چشم‌پوشی از وضعیت سازماندهی و اجرای خود پروژه به پرسش سنجش اثربخشی پاسخ معتبری داد و سنجش اثربخشی حتماً بر شانه‌های پایش پروژه و سازماندهی فرایندها ایستاده است؛ یا این وجود نباید مسأله‌ی نهایی آن را با دیگر مفاهیم مرتبط و نزدیک با خود اشتباه گرفت.
پس از آشکارشدن و چکش‌کاری نظریه‌ی تغییر یک پروژه، پژوهش‌هایی که ممکن است با انواع رویکردهای کمی، کیفی یا تلفیقی طراحی شده باشند، مأمور راستی‌آزمایی و آزمون نظریه‌ی ما می‌شوند. یکی از اصلی‌ترین دغدغه‌ها در آزمون اثربخشی یک برنامه، مسأله‌ی استنتاج علّی است. وظیفه‌ی سنجش اثربخشی این است که اولاً نشان دهد که برنامه‌ی اجرا شده به‌طور مستقیم در نتایج حاصل‌شده دخیل و مؤثر بوده است و ریشه‌ی تغییرات به‌وجودآمده را می‌توان با فرضیه‌های نظریه‌ی تغییر مطابقت داد؛ و ثانیاً مقدار و اندازه‌ی این دخالت را نیز تا جای ممکن نشان دهد. بنابراین، به‌هیچ عنوان کافی نیست که تنها نشان دهیم پس از مداخله‌ی ما، تغییراتی در موضوع مورد مداخله به‌وجود آمده است؛ بلکه باید بتوانیم اثبات کنیم که این تغییرت در اثر مداخله‌ی ما صورت گرفته و همچنین اندازه‌ی آن را نیز محاسبه کنیم. دشواری فرایند سنجش اثربخشی از همین موضوع ناشی می‌شود. در جهان واقعی، همواره مجموعه‌ای از عوامل در حال اثرگذاری بر روی یکدیگر هستند. وظیفه‌ی یک برنامه‌ی سنجش، برقرارکردن یک رابطه‌ی علّی دقیق میان مداخله‌ی «الف» و نتیجه‌ی «ب» است تا بتواند تبدیل به قاعده و الگویی برای سیاست‌گذاری و انجام برنامه‌های مشابه شود. لازمه‌ی دست‌یابی به چنین رابطه‌ای، سطح قابل قبولی از کنترل بر روی برنامه و شرایط اجرای آن است. با توجه به این نکته، بدیهی است که بهترین زمان برای آغاز سنجش اثربخشی یک برنامه، پیش از آغاز عملیاتی آن است؛ چرا که -فارغ از اینکه ممکن است مداقه در خود نظریه‌ی تغییر یک پروژه آن را دستخوش دگرگونی‌ها و اصلاحاتی کند- بسته به اینکه راهبرد برنامه برای کنترل شرایط اجرای مداخله چه باشد، ممکن است ضروری باشد که پیش از شروع مداخله به تمهیدات جانبی‌ای نظیر گردآوری اطلاعات اولیه، تدارک دیدن یک گروه گواه و یا طراحی هدفمند یک نظام پایش و رصد اطلاعاتی روی آورد. در غیر اینصورت، سنجش اثربخشی مسیر دشوارتری را خواهد پیمود و تیم ارزیاب موظف می‌شود تا با خلاقیت روش‌شناختی، تاحدودی داده‌ها و فرصت‌های از دست‌رفته را بازیابی کند.
پانوشت
۱ Impact Evaluation
۲ Theory of Change
۳ Monitoring & Evaluation
بدون دیدگاه