مقاله: روش تحقیق دلفی+هر آنچه باید بدانید+تاریخچه روش تحقیق دلفی و ...+متن کامل مقاله

روش تحقیق دلفی

محسن رضایی

چکیده

یکی از روش های کسب دانش گروهی مورد استفاده، تکنیک دلفی است (1) که فرایندی است که دارای ساختار پیش بینی و کمک به تصمیم گیری در طی راندهای پیمایشی، جمع آوری اطلاعات و در نهایت، اجماع گروهی است 2) و  (3در حالی که اکثر پیمایش ها سعی در پاسخ به سؤال چه هست؟ دارند، دلفی به سؤال چه می تواند/ چه باید باشد؟ پاسخ می دهد(4).  با توجه به اینکه امروزه تکنیک دلفی در تحقیقات آینده پژوهی به شدت مورد توجه و استفاده قرار می گیرد، این مقاله، به تفصیل این تکنیک را از نظر تاریخچه، تعریف، انواع، اهداف و کاربردها، شرایط کاربرد، اجزای اصلی، فرایند، مزایا و محدودیت ها و پیشنهاداتی برای بکار گیری بهتر روش، شرح می دهد.

مقاله با متن کامل

بقیه در ادامه مطالب...

تاریخچه دلفی

روش دلفی، از جمله روش‌های ذهنی ـ شهودی# حوزه‌ی آینده‌نگاری به شمار می‌آید. موسسه رند این روش را در دهه‌ی 1950 در سانتامونیکا (ایالت کالیفرنیا) و در جریان پژوهش در عملیات توسعه داد. نام این روش برگرفته از معبد اساطیری یونان است. وودنبرگ# (1991) یادآور می‌شود که نام «دلفی» را نخستین بار یک استادیار فلسفه در دانشگاه یوسی‌ال‌ای به نام کاپلان# به کار برد. کاپلان این عبارت را در جریان فعالیتی پژوهشی با همکاری موسسه رند در زمینه‌ی کاربرد پیش‌بینی‌های کارشناسی در تصمیم‌گیری رایج ساخت. کاپلان و همکاران (1950) با اشاره به «اصل پیش‌گویی مکاشفه‌آمیز» این رویکرد را گونه‌ای از پیش‌بینی غیر سفطه‌آمیز# می‌نامند و آن را گزاره‌ای می‌دانند که «درستی» یا «نادرستی»آن روشن نیست. بر این منوال، «دلفی» در روش آیند‌ه‌نگاری مدرن چیزی فراتر از یک نام است. شکل‌گیری پرستشگاه دلفی [در اساطیر یونان باستان] و پیش‌گویی‌های مکاشفه‌آمیز آن ریشه در زمان‌هایی دورتر از تاریخ مکتوب دارد. باستان‌شناسان و تاریخ‌نگاران به ما کمک کرده‌اند تا اطلاعات گسترده‌ای در زمینه‌ی کارکردها و سودمندی پیش‌گویی‌ها به دست آوریم (پارک/ورمل# 1956). یونانی‌ها و ملت‌های دیگر طی هزار سال از تاریخ ثبت شده (خواه به عنوان افراد عادی و گاه به عنوان سفیران رسمی) برای رایزنی با پیتیا#، ایزد بانوی مستقر در پرستشگاه دلفی، به این مکان می‌آمدند. مردم سخنان این ایزد بانو را بازتاب قوانین الهی می‌دانستند. نقش پیتیا، بیان مقصود الهی در چارچوب‌هایی هنجاری برای شکل بخشیدن به رویدادهای آینده بود؛ او در سخنان و پیش‌گویی‌های خود، اراده‌ی خدایان را به شیوه‌ای ساده بیان می‌کرد و رویدادهای آینده را نوید می‌داد.  بدون تردید، مشاوره‌ها در پرستشگاه دلفی رنگ و بویی دینی داشت و تنها بر گمانه‌زنی‌های ادراکی درباره‌ی آینده و یا تلاش برای دستیابی عملی به راه‌های میانبر کامیابی استوار نبود. (پارک/ورمل 1956).
1.درخت تبارشناسی دلفی

همان‌گونه که یادآوری شد، تلاش آغازین در این عرصه پس از سال 1948 در موسسه رند انجام گرفت. در آن زمان بود که یافته‌های به دست آمده از پیمایش‌های کلان دلفی در حوزه‌ی غیرنظامی انتشار یافت (گوردون#/هلمر#، 1964). مدت کوتاهی پس از آن، ژاپنی‌ها در کاربست و گسترش این حوزه پیشرو شدند. ژاپن برنامه‌ی توسعه‌ی علم و فناوری خود را پس از کشورهای غربی آغاز کرد، اما توانست در این زمینه به موفقیت‌های گسترده‌ای دست یابد. عوامل فراوانی کامیابی ژاپن در این عرصه را رقم زدند که یکی از این عوامل، انجام شمار زیادی از برنامه‌های آینده‌نگاری در واپسین سال‌های دهه‌ی 1960 بود. ژاپنی‌ها برای اجرای برنامه‌های آینده‌نگاری خود از روش دلفی بهره گرفتند و به همین دلیل «آژانس علم و فناوری» ژاپن در سال 1969 پژوهش گسترده‌ای را در زمینه‌ی آینده‌ی علم و فناوری آغاز کرد. اگر چه نخستین مطالعات دلفی ژاپن به درستی نتوانست از نخستین شوک نفتی خبر دهد، حال‌‌ آن که این مطالعات درست پیش از شکل‌گیری این بحران انجام گرفته بود و دستاوردهای آن انتشار یافته بود، اما با این حال، ژاپنی‌ها این مطالعات را هر پنج سال یک بار تکرار کردند. ژاپنی‌ها در سال 1997، ششمین مطالعه‌ی دلفی خود را به انجام رساندند و یافته‌های هفتمین دور از این مطالعه را در سال 2001 منتشر ساختند و اینک سرگرم انجام هشتمین مطالعه دلفی خود هستند. 

آلمانی‌ها نیز شروع به فعالیت های آینده پژوهانه کردند؛ آن‌ها در این مسیر از آثار ایروین# و مارتین# (1984) و نیز تجربیات ژاپنی‌ها بهره گرفتند و در چارچوب نخستین برنامه‌ی دلفی خود، با پنجمین دلفی ژاپن همکاری کردند (چولز/کواهارا#، 1994).  فرانسه نیز همان رویکرد آلمان را پیشه کرد. در هیچ یک از این کشورها کاربست فن دلفی به تنهایی سودمند تلقی نشد. در هلند کسی به سراغ روش دلفی نرفت، اما در وجود آلمان دو رویکرد موازی در آینده‌نگاری گزارش شده است: برخی روش دلفی را به کار می‌بستند و شمار دیگری نیز این روش را به کار نبردند. همین حالت در فرانسه نیز حاکم بود. در فرانسه پیمایش دلفی و رویکرد فناوری‌های کلیدی# به شکل همپا از سوی وزارت‌خانه‌ها و نهادهای گوناگون که گاه رقیب یکدیگر نیز بودند، دنبال می‌شد. هم‌چنین در چارچوب همکاری میان نهادها و سازمان‌های ژاپنی‌ و آلمانی‌، روش‌شناسی مشترکی توسعه یافت که از آن با نام «دلفی کوچک»# یاد می‌شود.(5) .

تعریف دلفی

فقدان چارچوب نظری، که به عنوان عمده ترین ضعف این روش مطرح بوده، موجب گردید تا برخی دلفی را فن# و دیگران واژه های رویکرد# ، پیمایش دلفی#، مطالعه دلفی#، رأی گیری دلفی# ، دلفی مطالعه اجماع# ، روش دلفی#، را برای توصیف مطالعات دلفی صحیح تر بدانند ( 1و 9تا13 ) این تنوع واژه، تعاریف متعددی از دلفی را به دنبال داشته است که بعضی عبارتند از:

دلفی رویکرد یا روشی سیستماتیک در تحقیق برای استخراج نظرات از یک گروه متخصصان در مورد یک موضوع یا یک سؤال است (14) و یا رسیدن به اجماع گروهی از طریق یک سری از راندهای پرسشنامه ای با حفظ گمنامی پاسخ دهندگان، و بازخورد نظرات به اعضای پانل است (15)؛ درخواست قضاوت های حرفه ای از متخصص همگن و مستقل در مورد یک موضوع ویژه در سطح بزرگ جغرافیایی با استفاده از پرسشنامه ها است که تا زمان دستیابی به اجماع نظرات مداوم تکرار می شود ( 16و 17 ) و روش مطالعه چند مرحله ای برای گردآوری نظرات در موارد ذهنی بودن موضوع و استفاده از پاسخ های نوشتاری بجای گرد هم آوردن یک گروه متخصص است، و هدف اجماع با امکان اظهار نظر آزادانه و تجدید نظر عقاید با تخمین های عددی به دست می آید(18و19) .

انواع دلفی

با توجه به اهمیت و کاربردهای مختلف، انواع گوناگونی از دلفی قابل تمیز است. حتی برخی، گروه های کانونی#   را نیز در زمره انواع دلفی تلقی می کنند یعنی بر این عقیده اند که میزگردها و جلسان طوفان فکری# نیز، به نوعی، دلفی به حساب می آید اما به نظر این نظریات با دلفی هم خوانی ندارد.

وودنبرگ انواع دلفی را به سه گروه تقسیم می کند

دلفی سنتی#- این نوع دلفی که همان روش استفاده شده توسط ابداع گنندگان آن است دو کاربرد دارد: پیش بینی و برآورد شاخص های نا شناخته. از این روش برای تعیین توافق صاحب نظران درباره پیش رفت های آینده در زمینه علم و فن آوری نیز استفاده می شود.

دلفی سیاسی#- این نوع دلفی در پی رسیدن به توافق نیست، بلکه در پی رسیدن به مهم ترین دیدگاه های مخالف در زمینه یک موضوع سیاسی روز است. هدف اصلی این نوع دلفی دست یابی به طیف مواضع و دیدگاه های موجود در اجتماع است.

دلفی تصمیم گیری#:  این دلفی برای دست یابی به تصمیمات مشترک گروهی از افراد متفاوت در مورد مسئله خاص به کار می آید. معمولا موضوع تصمیم گیری پیچیده، چند بعدی و فرآیند ارتباط ساختاری یک گروه متخصص در حل صحیح و ریشه ای آن موثر است.

اشتروس و زیگلر (1975) نیز دلفی را به سه گونه می دانند .

دلفی عددی - این نوع دلفی برآوردهای عددی تاریخ ها، مقادیر یا ارزش ها را استخراج می کند. برای مثال اینکه جمعیت جهان در سال 2100 چه قدر و چگونه است و یا در چه سالی انسان خواهد توانست به مریخ سفر کند، این نوع دلفی همانند طبقه بندی سنتی در دیدگاه وودنبرگ است.

دلفی سیاست گذاری:  این روش به صورت کلامی انجام می گیرد و برآورد عددی در ان مد نظر نیست. این روش تا حدودی مشابه دلفی سیاسی وودنبرگ است.

دلفی تاریخی: در این روش هدف آزمون نظام دار از دیدگاه های بزرگ گذشته است (به ویژه فیلسوفان سیاسی) و کاربرد دیدگاه ها . منطق دانان برای حل مشکلات جوامع امروزی است. در این روش نیز چندین پنل تشکیل می شود و از افراد صاحب نظر درباره دیدگاه آن فیلسوف دوت به عمل می آید و پرسش های در مورددیدگاه فیلسوفی مانند افلاطون در خصوص یک موضوع جدید مانند علل افزایش جرم و جنایت طرح می شود.

هر یک از انواع دلفی کاربردی خاص دارد. از روش دلفی سنتی یا عددی، بیش تر در زمینه های علم و تکنولوژی و پیش بینی یپش رفت های آینده استفاده می شود. دلفی سیاسی عمدتا در حوزه ترمیم وضعیت آتی حزب ها و دولت ها و تعیین دیدگاه ها سیاسی معرض و قدرتمند به ویژه شناسایی گروه های فشار به کار می رود. دلفی تصمیم گیری بیشتر در زمینه مسائل روز و توسط رسانه های گروهی برای تاثیرگزاری کارایی داردو در نهایت دلفی تاریخی در زمینه هایی مانند تاریخ سیاسی، فلسفه آموزش و پرورش کاربرد فراوان دارد.

اهداف دلفی

همان طور که آمد، این روش ابزاری است برای تحقق هدف های زیر:

الف: هدف های عام:

استخراج استنتاج و تجمع دانسته های آکادمیک و اجرایی، و تحلیل آن، آن  چنان که راهنمای عمل برای مجریان گردد و امکان حراست از آن در حوزه های آکادمیک فراهم آید.

ب: هدف های خاص:

شناخت نظرات و عقاید کارشناسان در هر رشته از دانش بشری

شناخت تحرک اندیشه و جا به جایی آن با توجه به برخورد اندیشه ها و  دلایل

شناخت محورها با خطوط اصلی هر مبحث

تعیین اولویت ها با توجه به توزیع چندگانه محورهای مورد بحث (6)

موهاپاترا، بورا و ساهو پیشنهاد می کنند: ( یک دلفی کیفی، باید معطوف به 4 طبقه موضوعی وسیع باشد:

    موضوعات هنجاری

    موضوعات روایتی#

    موضوعات پیش بینی

        پیش بینی رخداد رویدادهای جدید

        پیش بینی مسائل ارزشی و روند تحول شاخص های اصلی

    مسائل پیشنهادی یا توصیه ای مانند:

        ایجاد مدل های کلی و گسترش آن

        تعبیه سیاست های جدید.(6)

اهداف و کاربردهای دلفی

هدف اصلی دلفی، پیش بینی آینده بود (26) اما در زمینه های تصمیم گیری و افزایش اثربخشی آن، قضاوت، تسهیل حل مسأله، نیازسنجی، هدف گذاری، کمک به برنامه ریزی، تعیین اولویت، پیش بینی آینده، خلاقیت، سازمان دهی ارتباطات گروهی، جمع آوری گروهی اطلاعات، آموزش گروه پاسخ دهنده، تعیین سیاست ها، تخصصیص منابع و اجماع یا توافق گروهی نیز به کار می رود ( 21،16،7 و 27 تا 29 ) همچنین به عنوان روش تحقیق : تحقیق کمی در مطالعات توصیفی، روش تحقیق کیفی و تلفیقی ذکر شده است (4،19و30) در منابع به مصاحبه دلفی به عنوان نوعی مصاحبه اتنوگرافیک نیز اشاره شده است. (31)

شرایط کاربرد دلفی

مهم ترین شرایط مورد نیاز برای کاربرد دلفی: نیاز به قضاوت متخصصان و نظرات گروه وسیع، توافق گروهی در دستیابی به نتایج، وجود مشکل پیچیده، بزرگ و بین رشته ای و عدم توافق یا ناکامل بودن دانش، در دسترس بودن متخصصین با تجربه و متخصص، از نظر جغرافیایی پراکنده، لزوم گمنامی در جمع آوری داده ها، عدم محدودیت زمانی و عدم وجود روش هزینه -اثربخش دیگری است (32 ،21،7،4 و 33) .

اجزای اصلی دلفی

اجزای اصلی دلفی شامل تکرار یا بازگویی پرسشنامه#، متخصصین، بازخورد کنترل شده، گمنامی، آنالیز نتایج، اجماع، زمان و تیم هماهنگ کننده است ( 34،20،9،7،4،3 و 35) که در زیر هر یک به اختصار شرح داده می شود:

بازگویی یا تکرار

منظور تکرار یکسری راندها به صورت فرایندی، سیستماتیک و نوشتاری به وسیله پرسشنامه و با هدف روشن تا اجماع نظرات است (34) که متخصصین حداقل دو بار در مورد سؤال مشابه نظر داده (7) و با دریافت اطلاعات از سایرین، امکان تجدید نظردر پاسخ های خود را دارند که باعث توسعه کار گروهی بدون آگاهی از وجود سایرین می شود (28) و در اصل، از تأثیر منفی نفوذ شخصیت و وضعیت شرکت کنندگان در پاسخ های سایرین اجتناب می گردد(22).  از نظر تعداد راندها، مقالات 2 تا 10 راند را گزارش داده اند(23). اما دلفی کلاسیک در برگیرنده چهار راند بوده که محققین معمولاً برای دستیابی به اهداف تحقیق خود، آن را به دو تا سه راند کوتاه می نمایند (4، 37) در هر صورت، تصمیم گیری در مورد تعداد راندها تا حد زیادی عملی یا تجربی بوده و بستگی به زمان در دسترس و نوع سؤال آغازین دارد (گرچه با افزایش راندها، صحت افزایش یافته اما اغلب بعد از سه راند، خستگی ایجاد می کند و معمولاً نتایج جدید و مفیدی به دست نمی آید همچنین شیوه تکرار در طی راندها نوشتاری و بطور معمول مداد و کاغذی، از طریق پست معمولی و یا پست الکترونیک و دورنگار است (24)

متخصصین

شرکت کنندگان دلفی متخصصین یا خبرگان یا پانلیست ها می باشند ( 4). آنها به چهار خصوصیت: دانش و تجربه در موضوع، تمایل، زمان کافی برای شرکت و مهارت های ارتباطی مؤثر نیاز دارند (13،7و 36) و پارامترهای کلیدی مطالعه نیز صلاحیت پانلیست ها، اندازه پانل و روش انتخاب آنها است. (4)

صلاحیت پانلیست ها

شناسایی متخصصین، نکته مهمی در دلفی بوده چنان که دستیابی به اهداف، وابسته به انتخاب دقیق شرکت کنندگان است(21).  دلفی تمرکز بر استخراج نظرات از متخصصین در زمان کوتاه داشته و نتایج وابسته به تخصص افراد در دانش مورد نظر، کیفیت و صحت پاسخ ها، و همکاری و درگیری مداوم آنها در دوره مطالعه است ( 5و7).  به عبارتی، موفقیت دلفی در رابطه با انتخاب نمونه ها است (37). متخصص دلفی باید دانش کافی در زمینه موضوع مورد نظر داشته باشد، در بحث درگیر و بر نتایج فرایند تأثیر بگذارد، با این وجود، افراد غیر متخصصص و علاقمند نیز شامل می شوند( 3و 20 ) پاسخ دهنده ها باید نسبتاً بی طرف، و اطلاعات کسب شده منعکس کننده دانش و درک آنها باشد. (4،15) علاوه بر توانایی، علاقه و تعهد شرکت کنندگان به موضوع، درگیرشدن مداوم در کلیه راندها نیز مورد نیازاست ( 2و 20) هرچند که دلفی با فراهم سازی بحث در محدوده محترمانه و ارائه نظرات متفاوت اعضا به هم موجب علاقمندی و درگیری خواهد شد (4).

تعداد متخصصین

هیچ قانون قوی و صریحی در مورد نحوه انتخاب و تعداد متخصصین وجود ندارد و تعداد آنها وابسته به فاکتورهای: هموژن یا هتروژن بودن نمونه، هدف دلفی یا وسعت مشکل، کیفیت تصمیم، توانایی تیم تحقیق در اداره مطالعه، اعتبار داخلی و خارجی، زمان جمع آوری داده  ها و منابع در دسترس، دامنه مسأله و پذیرش پاسخ است ( 37،20،7،4 و 38 ) تعداد شرکت کنندگان معمولاً کمتر از 50 نفر و اکثراً 15 تا 20 نفر بوده است . هرچند در مقالات تعداد 10 تا بیشتر از 2000 نفر گزارش را نیز گزارش نموده اند ( 7،4  و 39 ) اما در گروه های هموژن معمولاً 15 -10 نفر کافی است ( 34 ). در دلفی معمولا از نمونه های همگن برای به دست آوردن طیف گسترده نظرات، پاسخ های با کیفیت و راه حل های قابل پذیرش استفاده می شود. این نمونه گیری موجب افزایش حجم نمونه، مشکلات جمع آوری داده ها و در نهایت، پیچیدگی رسیدن به اجماع، اجرای آنالیز و بازبینی نتایج می شود (21،18 و 40)، هرچند که با حجم نمونه بزرگتر تعداد قضاو ت ها افزایش و ترکیب آنها اعتماد را افزایش می دهد.( 17 و 21 ) بعضی محققین متذکر می شوند معمولا 30 نفر برای ارائه اطلاعات کافی است و با افزایش آنها پاسخ ها تکراری شده و اطلاعات جدیدی اضافه نمی شود (4و 7)، اما بعضی دیگر می نویسند شواهد تجربی کمی در مورد اثر تعداد شرکت کنندگان بر اعتبار و اعتماد فرایند اجماع در دسترس است. (4و 24 ) در شناسایی و انتخاب متخصصین از روش های ، مختلف از قبیل فرایند نامگذاری#(41)، قضاوت و تصمیم گیری مدیریت اصلی پروژه، موقعیت سازمانی افراد و مرور نویسندگان مقالات استفاده می شود که دو مورد اخیر نامناسب هستند. ( 7و 17).

نمونه گیری

در اکثریت موارد، نمونه گیری مبتنی بر هدف استفاده شده 21) و (34 ، اما در صورت عدم شناسایی متخصصین، نمونه گیری گلوله برفی نیز بکار می رود . اگر متخصصین شناخته شده و زیاد باشند، از نمونه گیری تصادفی استفاده می گردد(4)  بعضی مقالات، دلفی را از نظر عدم نمونه گیری تصادفی نقد نموده، اما نماینده بودن نمونه ها اهمیت نداشته، بلکه کیفیت پانلیست ها مهم تر از تعدادآنها است (4،22)

پرسشنامه

دلفی یکسری از راندهای پیمایشی یا پرسشنامه ای بوده که با پرسشنامه اولیه، پرسشنامه راندهای بعدی را نیز شکل می دهد(35)  و باید در مرحله طراحی تحقیق در مورد آن تصمیم گرفته شود(21).  در مورد سؤال اولیه پیوستاری از سؤالات متمرکز تا وسیع (معمولاً وسیع و بازپاسخ) بکار رفته است. اما در مواردی که راهنمایی شرکت کنندگان نسبت به موضوع خاص هدف باشد سؤالات متمرکز و دارای ساختار استفاده می گردد. ( 7و 36)

بازخورد کنترل شده

بازخورد، به معنی فرصت بازنگری نظرات خود و ارزشیابی نظرات سایرین توسط متخصصین است که جز و مهم حرکت به سمت اجماع است (8). بنابراین، شرکت کنندگان تشویق می شوند و اجازه دارند تا قضاوت هایشان در راند اول یا راندهای قبلی را دوباره بررسی نمایند اما تبادل اطلاعات بین متخصصین آزاد نیست.  (4و 17)

آنالیز نتایج

در دلفی، اطلاعات کیفی و کمی جمع آوری شده ولی متأسفانه روش مورد استفاده برای آنالیز و چگونگی مدیریت اطلاعات تولید شده تعریف نگردیده است. نقصان راهنما منجر به تنوع رویکرد و تفسیر گزارش ها به طرق مختلف شده که در نتیجه، انسجام و پیوستگی روش را تحت تأثیر قرار می دهد (7و 23) روش های آنالیز براساس هدف دلفی، ساختار راندها، نوع سؤالات و تعداد شرکت کنندگان تعیین می شود. (22 ،4 و 34 ) آمارهای اصلی استفاده شده در مطالعات دلفی انداز ه های مرکزی (میانگین، میانه و نما) و شاخص پراکندگی (انحراف معیار و محدوده میان چارکی)  است. (  4،2 و 24 ) که استفاده از میانه و نما در این میان مطلوب تر می باشد، هرچند میانگین نیز قابل کاربرد است( 34 ).  در بعضی مقالات استفاده از میانه برای پرسشنامه های طراحی شده بر اساس مقیاس لیکرت به شدت توصیه شده است (17). استفاده از نما نیز برای

گزارش داده های دلفی مناسب و توصیه شده چرا که فرایند دلفی تمایل به نمایش همگرایی یا تقارب داشته که خود یک نقطه منفرد است. بنابراین، استفاده از نتایج اطراف یک نقطه یا دو نقطه مناسب است و اصولاً شاید  استفاده از میانگین و میانه گمراه کننده باشد ( 4). در کل، بطور معمول، برای آنالیز نتایج دلفی، در اولین راند، آنالیز محتوی برای شناسایی تم های اصلی در پرسشنامه بدون ساختار اولیه انجام می گیرد که نتایج آن پرسشنامه بدون ساختار را به پرسشنام های با ساختار تبدیل نموده، اساس راندهای بعدی را تشکیل می دهد. در دومین راند، آغاز بکارگیری روش ها کمی است که تکنیک رتبه بندی و درجه بندی (میانه و چارک ها)  استفاده می شود و در سومین راند و راندهای متعاقب، شا خص ها ی مرکزی و پراکندگی بکار می روند (7و 10)

اجماع 

منظور از اجماع، رسیدن به اتفاق نظر در مورد یک ایده و گاه تلاش برای مشخص ساختن تفاوت ها است .اجماع به معنی یافتن پاسخ صحیح نیست، بلکه صرفاً توافق شرکت کنندگان در یک سطح خاص در موضوع است. (  2و 4)

البته دستیابی به توافق صد درصد امکان پذیر نیست، چرا که زمینه سیاسی، اجتماعی، اقتصادی و علمی افراد متفاوت است(7).  همچنین این روش جایگزینی برای مرور علمی گزارشات یا مقالات منتشر شده نیست. (37)  معیارهای نشان دهنده اجماع درصد آیتم ها (رایج ترین)، ثبات پاسخ ها و تفسیر بر مبنای نظر متخصصین است. (19،17،1 و 39)

اکثریت مقالات، جنس و نوع معیار مورد استفاده در تعریف و تعیین اجماع را بر اساس تفسیر نمون ه ها می دانند و اساساً زمانی در مورد اجماع تصمیم گیری شده که درصد مشخصی از آرا درون سطح خاصی قرار گیرد (4)، هرچند برخی استفاده از درصد را ناکافی دانسته و کاربرد شقوق معتبرتری را برای تعیین ثبات پاسخ ها طی راندها توصیه می نمایند (7و 37) همچنین سطح استانداردی برای اجماع وجود ندارد و بعضی مطالعات در نشان دادن اجماع ضعیف هستند. در نتایج مطالعات محدوده متفاوتی از سطح، اجماع 51 تا 100 درصد گزارش شده است. (22،7 و 23)

گمنامی شرکت کنندگان

در دلفی، اطلاعات بدون تماس فیزیکی منتقل می شود و شرکت کنندگان، سایر افراد درگیر در مطالعه را نمی شناسند و یا حداقل پاسخ های آنها گمنام است (34). گمنامی به هر عضو پانل فرصت برابر می دهد تا نظرات خود را بیان و ایده ها را بدون فشار روانی و شناسایی به وسیله سایر اعضا ارائه کند، که تسهیل کننده تحقیقات گویی و پاسخ های باز بوده و موجب کسب بینش و دانش کافی در تحقیق می شود ( 6،5  و 18) در مواردی ممکن است افراد همدیگر را شناخته اما در هر صورت، به پاسخ های یکدیگر بطور مشخص دسترسی ندارند (7). به نظر می رسد احتمال گمنامی کامل نیست، چرا که محقق، افراد پاسخ دهنده اصلی را می شناسد. بنابراین، گاه واژه شبه گمنامی# در دلفی استفاده می شود (4). حفظ حقوق شرکت کنندگان به آنها رخصت می دهند تا در آخرین فرم تحقیق نامشان را به عنوان همکار بنویسند. (17)

زمان

اجرای دلفی زمان بر است. زمان های مورد نیاز دلفی شامل زمان هماهنگ کردن (سازمان دهی، درخواست و دریافت اطلاعات) ، فکرکردن، نوشتن و ارسال به متخصصین است (7و 31) در مطالعات، زمان های متفاوتی گزارش شده است ( 8،4 و 20 ) اما استفاده از تکنولوژی الکترونیک فرصتی است که با امتیازهای ذخیره سازی، پردازش و توانایی انتقال پرسرعت، حفظ گمنامی پاسخ دهندگان و پتانسیل بازخورد سریع از طریق رایانه و اینترنت سریع تر و آسانتر انجام می شود. (20،2 و42)

فرایند دلفی

همان طور که قبلاً اشاره شد ، دلفی در برگیرنده یکسری از راندها است و دلفی کلاسیک معمولاً شامل چهار راند می باشد که بطور معمول به سه راند تعدیل می گردد (4و10) بنابراین، فرایند دلفی را می توان به صورت زیر در نظر گرفت:

فعالیت قبل از شروع؛

راند اول؛

راند دوم؛

راند سوم؛

تصمیم و تصویب

فعالیت قبل از شروع

فعالیت های قبل از شروع شامل تکوین سؤال تحقیق و پیش آزمون برای مناسب بودن کلمات از قبیل ابهام و عدم وضوح است که پایلوت باید در خارج از جایگاه پژوهش و بخصوص در صورت ب یتجربه بودن محقق برای مشخص سازی ابهامات و برآورد زمان تخمینی صورت گیرد (4،3 و14) البته محققین ممکن است در ابتدا و یا هر مرحله پرسشنامه را پیش آزمون یا پایلوت کنند تا سؤالات روشن و تمرکز سؤالات بر هدف تحقیق حفظ گردد. (8) هچنین با افراد شرکت کننده تماس برقرار گردد که نیازمند توجه به موارد: عرض ادب و احترام، معرفی فرم، ارائه هدف و معرفی مرکز یا شخص انجام دهنده، علت انتخاب، پاسخ دادن به چند سؤال یا پرسشنامه، زمان مورد نیاز، نحوه دریافت پرسشنامه، نحوه دریافت نتایج، تمایل به شرکت و تشکر است (17)

راند اول

در دلفی کلاسیک ، اولین پرسشنامه به صورت بدون ساختار یا بازپاسخ ارسال می گردد که به عنوان استراتژی زایش ایده ها عمل نموده و هدف آن آشکارسازی کلیه  موضوعات مرتبط با عنوان تحت مطالعه است.(30، 34)

هر یک از متخصصین درخواست می شود تا شخصاً طوفان مغزی برقرار کند، هر نوع ایده و نظر خود را آزادانه مطرح نماید، و فهرست موضوعات مورد نظر خود را بطور مختصر و بدون نام برگرداند (31). نیازی به توسعه کامل ایده ها نیست و تلاشی برای ارزیابی یا قضاوت نظرات صورت نمی گیرد. (26،4 و 43) در این مرحله، تمام پاسخ های مرتبط تا حد امکان جمع آوری شده، چرا که بقیه مراحل بر اساس مرحله اول شکل می گیرد(28 ).  پس از جمع آوری پرسشنامه های برگشتی، پاسخ ها سازماندهی، نظرات مشابه ترکیب، گروه بندی و موضوعات تکراری و حاشیه حذف می شود و تا حد امکان پاسخ ها کوتاه می گردد ( 36و 44 ) آنالیز پاسخ های اولین راند بر اساس پارادایم تحقیق (کدهای کیفی و یا خلاصه ها ی آماری) صورت می گیرد( 7).  نتیجه نهایی، مشخص شدن تم ها و شناسایی عناوین است که محقق آن را تبدیل به پرسشنامه دارای ساختاری می نماید که به عنوان ابزار راند دوم مورد استفاده قرار می گیرد. ( 20و 40) نکته مهم این که هرچند سؤالات بازپاسخ روشی قوی در جمع آوری اطلاعات هستند، اما اگر اطلاعات پایه در زمینه موضوع وجود داشته باشد، از پرسشنامه نیمه ساختاری یا دارای ساختار بر اساس مطالعات قبلی استفاده می شود.(7)

راند دوم

از ر اند دوم به بعد، اغلب پرسشنامه دارای ساختار استفاده شده و از افراد مشابه در راند اول خواسته می شود تا هر عنوان را با استفاده از مقیاس لیکرت رتبه بندی، و به عبارتی، کمیت پذیر نمایند (3و 45) در اینجا موارد توافق و عدم توافق مشخص می شود و فضایی برای شناسایی ایده های جدید، تصحیح، تفسیر، حذف و توضیح قدرت و ضعف آنها به وجود می آید ( 24 ) و حتی در بعضی موارد، از شرکت کنندگان خواسته می شود تا استدلال و  دلیل اولویت بندی خود بین ایتم ها را بیان نمایند(7)  در این راند، انگیزه اعضای پانل به شرکت بیشتر می گردد چر ا که آنها باز خورد پاسخ های خود را دریافت می کنند و مشتاق به تعیین کیفیت پاسخ های همکاران خود هستند. به عبارتی، انگیزه در اعضای پانل منجر به شرکت فعال آنها در توسعه ابزار و یا برنامه می شود که امتیاز مهم دلفی است (4و 21) پس از جمع آوری پرسشنامه دوم، آنالیز و خلاصه آماری (از قبیل چارک و میانه) و یا تم ها و رتبه بندی تهیه می گردد (32 و 46) نتیجه آن آغاز شکل گیری همگرایی نظرات بین شرک کنندگان است. (4)

راند سوم

در این مرحله ، از شرکت کنندگان درخواست می شود تا پاسخ ها را مجدداً مرور نموده در صورت نیاز در نظرات و قضاو ت های خود ت جدید نظر کرده و دلایل خود را در موارد عدم اجماع ذکر نمایند و با در نظر گرفتن میانگین و میانه نمرات هر عنوان، اهمیت آن را درجه بندی نمایند(22).  در اینجا نیز رتبه بندی نظرات انجام شده، پیش بینی های جدید ارائه می شود و خلاصه آماری پاسخ ها تهیه می گردد( 4). بطور معمول، از این راند به بعد، اعضا پاسخ های خود و سایرین را دوباره ملاحظه نموده و فرایند تا زمان عدم دستیابی به ایده جدید و شناسایی ضعف ها و قوت های همه نظرات تکرار می گردد(18).  البته تعداد راندهای بعدی با توجه به زمان، هزینه و احتمال خستگی شرکت کنندگان در نظر گرفته می شود( 4).  در صورت لزوم، نامه های یادآوری در هر راند ارسال می شود و بازرسی مداوم در سرتاسر فرایند دلفی صورت خواهدگرفت. (23)

راند چهارم

در راند چهارم که اغلب آخرین راند می باشد، لیست آیتم های باقیمانده، رتبه بندی ها، نظرات اقلیت و موارد اجماع بین پانلیست ها توزیع می شود و آخرین فرصت را برای شرکت کنندگان فراهم می کند تا در نظرات خود  تجدید نظر کنند (3و 37)

تصمیم و تصویب

در این قسمت نتایج نهایی تهیه و منتشر و متخصصین  در نتایج سهیم می گردند. (17)

تعریف روش دلفی فازی

روش سنتی دلفی، همیشه از همگرایی پایین نظرات متخصصان، هزینه اجرای بالا و احتمال حذف نظرات برخی از افراد رنج برده است. موری و همکاران برای بهبود روش دلفی سنتی، مفهوم یکپارچه سازی  روش دلفی سنتی با تئوری فازی را در سال 1985 ارائه دادند  ( 27)ایشیکاوا و همکاران کاربرد تئوری فازی را در روش دلفی بیش تر معرفی کردند و الگوریتم یکپارچه سازی فازی را برای پیش بینی ضریب نفوذ آتی کامپیوترها در سازمان ها توسعه دادند(11 ) پس از آنها سو و یانگ عدد فازی مثلثی را برای دربرگرفتن نظرات متخصصان و ایجاد روش دلفی فازی به کار بردند. مقادیر بیشینه و کمینه نظرات متخصصان به عنوان نقاط مرزی اعداد مثلثی فازی در نظر گرفته شد و میانگین هندسی به عنوان درجه عضویت اعداد مثلثی فازی و برای حذف اثر نقاط مرزی به کار برده شد.( 28 ) مزیت روش ابداع شده به وسیله سو و یانگ در سادگی آن می باشد. زیرا نظرات متخصصان در یک مرحله جمع آوری می شوند. ویژگی های دو روش دلفی سنتی و دلفی فازی در جدول 4 با هم مقایسه شده اند.

فرایند روش دلفی فازی

• جمع آوری نظرات متخصصان با استفاده از پرسشنامه ها به شرح زیر :

پرسشنامه طراحی شده از طیف لیکرت پنج نقطه ای که در آن نقاط بالاتر عملکرد بهتری را نشان می دهند، استفاده می کند. پرسشنامه ب دو بخش تقسیم می شود. بخش اول به تعیین عملکرد گزینه ایدئال در هر معیار و بخش دوم به تعیین عملکرد هر گزینه در هر معیار در هر سناریو می پردازد.

• خلق عدد فازی مثلثی  tAj برای عملکرد هر سیستم در هر معیار به شرح زیر:

 (LAj,MAj,UAj)= tAj

که در آن

به ازای هر j داشته باشیم LAj=min (XAj)

به ازای هر j داشته باشیم UAj = (Xij)

به ازای هرj داشته باشیم MAj=

می باشند، اندیس I  خبره ام و اندیس j  به معیار j  ام اشاره دارد، به طوری که

XAj : مقدار ارزیابی خبره i ام از عملکرد سیستم A در معیارj   ام

LAj: حداقل مقدار ارزیابی ها برای عملکرد سیستم A در معیار i ام

UAj: حداکثر مقدار ارزیابی ها برای عملکرد سیستم A در معیار j ام

MAj: میانگین هندسی MAj در عدد فازی مثلثی مربوط به هر سیستم برای اشاره به اجماع گروه متخصصان در مورد عملکرد آن سیستم در هر معیار به کار رفته است.

مقایسه روش های تحقیق سنتی و مطالعه دلفی(26)

معیار ارزیابی

تحقیق سنتی

مطالعه دلفی

شرح رویه

پس از طراحی پرسش نامه و اعتبارسنجی آن، مورد مطالعه انتخاب شده و نمونه تصادفی از آن انتخاب می شود. بخشی از پاسخ دهندگان پرسشنامه را پر می کنند. سپس پاسخ ها تحلیل شده و سؤال های تحقیق بررسی می شوند.

پس از طراحی پرسشنامه و اعتبارسنجی آن، گروه مناسب از خبرگان انتخاب شده و تحقیق انجام می شود. پاسخ ها تحلیل شده و تحقیق دیگری بر پایه پاسخ ها به تحقیق اولیه طراحی می شود. این فرایند تکراری می شود تا پاسخ دهندگان به درجه ای از اجماع برسند.

قابلیت نمایش نمونه

با استفاده از تکنیک های آماری، محققان به صورت تصادفی نمونه نماینده جمعیت را انتخاب می کنند.

یک پانل مجازی از خبرگان برای پاسخ گویی به سؤال ها با عدم قطعیت بالا ایجاد می شود. سؤال هایی که ممکن است نمونه نماینده جمعیت، دانش کافی در مورد آن نداشته باشند.

اندازه نمونه برای قوت آماری

جهت تعمیم نتایج به یک جمعیت بزرگ تر، اندازه نمونه باید به اندازه کافی بزرگ باشد.

تعداد افراد در گروه دلفی یه قدرت آماری وابسته نیست. بلکه متناسب با پویایی گروه برای رسیدن به اجماع می باشد. ادبیات 10 تا 18 خبره را در یک پانل دلفی توصیه می کند.

پاسخ گویی فردی در مقابل گروهی     

محققان میانگین پاسخ های افراد را به عنوان میانگین پاسخ برای نمونه برای تعمیم به جمعیت در نظر می گیرند.

مطالعات نشان داده اند که در سؤال هایی که به قضاوت متخصص نیازمندند میانگین پاسخ های افراد نامرغوب تر از میانگین تولید شده به وسیله فرایندهای تصمیم گروهی است و روش دلفی این نامرغوبی ار تحمل می کند.

قابلبت اعتماد و بازنگری پاسخ

محققان با پیش آزمایش و آزمایش مجدد از قابلیت اعتماد آزمایش و آزمایش مجدد اطمینان حاصل می یابند

به دلیل انتظار محققان از پاسخ دهندگان پاسخ ها مرورد می شوند در این صورت قابلیت اعتماد آزمایش و آطزمایش مجدد مطرح نیست

اعتبار ساخت

با استفاده از تحقیق و پیش آزمایش از اعتبار ساخت اطمینان حاصل می شود تفسیر و طبقه بندی محققان از متغیر ها را اعتبار سنجی کند

ناشناس بودن

پاسخ دهندگان نسبت به هم و نسبت به محقق ناشناس اند

پاسخ دهندگان نسبت به هم نشناس ولی برای محقق شناس اند

موارد بدون پاسخ

برای اطمینان از این که نمونه، نماینده جمعیت است احتاال اریبی عدم پاسخ محاسبه می شود

احتمال عدم پاسخ بسیار پایین است

غنی بودن داده ها

غنی بودن داده به شکل و عمق سؤال ها و احتمال پیگیری آن وابسته است

به دلیل تکرارهای چندگانه و مرور پاسخ ها، از داده های غنی تری برخوردارند.

تعداد مراحل مورد نیاز

پس از چندین مرحله بررسی، متخصصان در مورد یک موضوع به اجماع می رسند.      

با یک مرحله بررسی، همه نظرات پوشش داده می شوند.

لزوم انعطاف پذیری

خبرگان برای رسیدن به میانگین نظرات دیگران،

نظرات خود را تغییر می دهند. در غیر این صورت ممکن است حذف شوند.    

عقاید همه خبرگان محترم است و درجه عضویت متفاوتی برای هر اجماع محتمل در نظر گرفته می شود.

هزینه و زمان

نیازمند صرف زمان و هزینه بالایی است و ابهام فرایند قابل حذف نیست.       

نیاز به صرف زمان و هزینه بالا ندارد و ابهام فرایند حذف خواهد گردید.

مزایای دلفی

دلفی روشی ارزان، چندکاره، عینی، بدون تهدید و آسان برای شناسایی و فهمیدن است (18 و 22) و با استفاده گسترده از نظرات، اجماع قوی و مستحکم از نظرات، بخصوص در موارد عدم وضوح و کمبود شواهد تجربی، ارائه می دهد (4و 14) با آن که هزینه و زمان مورد نیاز برای دلفی با توجه به هدف، ابزار و تعداد شرکت کنندگان است، ولی در بعضی منابع هزینه بردار ذکر گردیده است .

انعطاف پذیری زیاد رویکرد، کاربرد در دیسیپلین های مختلف، بکارگیری رویکردهای ارتباطی مختلف و امکان استفاده در سطح جغرافیایی وسیع، عدم نیاز به آموزش مصاحبه گران، گمنامی، ارائه بحث های باز،شناسایی و فهم زیربنای موضوع از مزایای دیگر دلفی است ( 7،5 و 37) از دیگر فواید، کسب اجماع در گرو ه های مخالف ، اعتبار محتوی و طراحی برنامه ها با حمایت نسبی شرکت کنندگان است(18 و 34)و بخصوص عدم نفوذ عقاید و شخصیت افراد خاص در نظرات گروه ، آزادی از هرگو نه فشار، تسهیل درستکاری اعضا ی پانل و ارائه دید بی طرفانه همراه با صداقت در بیان ایده ها و گزینه ها امکان پذیر است(31،4 و 47)

همچنین بازخورد بین راندها محرک ایده های جدید و موجب گسترش دانش شده که خود موجب نوآوری بیشتر و آموزش شرکت کنندگان می گردد( 8).  این تکنیک از هدررفتن زمان و انرژی برای تصمیمات نامربوط یا مغرضانه جلوگیری می کند چراکه پیش بینی های دلفی با یک روش تحلیلی و نظا مدار صورت می گیرد (4و 31)

محدودیت های دلفی

از مهم ترین محدودیت های این تکنیک ، نیازمندی به تلاش و کار زیاد، سیر آهسته و وقت گیربودن آن است ( 4و 30 ) از نظر روش شناسی نیز دارای نقیصه مهمی بوده که ممکن است عملاً آن را بی اعتبار سازد، چنان که دلفی در اصل کوشش نموده تا با نزدیک کردن مصنوعی عقاید متخصصان به یکدیگر از توزیع آماری اطراف میانه استفاده نماید (7و 32 ) به عبارتی ممکن است اجماع ظاهری یا فشار برای همنوایی با رتبه بندی رخ دهد و یا بازخورد توافقات گروه بر نظرات پانلیست ها تأثیر بگذارد( 18 و 34)

همچنین تکنیک دلفی تنها مرحله آغازینی است که صرفا برای کسب اجماع می کوشد و این اجماع ضرورتاً دقیق ترین نظر نیست ( 17 ) و ممکن است نتیجه، شناسایی یکسری بجای عناوین خاص اطلاعاتی (general) عبارات عمومی باشد. چرا که در دلفی فرض، برابری شرکت کنندگان از دانش و تجربه است، اما در عمل این فرض ممکن است صحیح نباشد. بخصوص در موضوعات خاص معمولاً توزیع متخصصین نابرابر بوده و بعضی از متخصصین دارای دانش عمیق در مورد موضوع بوده، در حالی که سایر پانلیست ها دانش زیاد در مورد موضوع داشته باشند .بنابراین، افرادی که دانش عمیق نداشته قادر به تعیین موضوعات بسیار مهم نیستند و نتیجه یکسری عبارات کلی یا عمومی خواهد بود ( 4). از طرف دیگر ، تورش منبع اطلاعات و تجانس زیاد متخصصان همراه با احتمال چولگی اطلاعات است(19).  خصوصیت بازگویی یا تکرار نیز می تواند محقق را قادر به شک لدهی پاسخ ها یا نظرات نماید (4) از محدودیت های دیگر ، فقدان محرک ها و انگیزه ناشی از حمایت و نظر موافق سایر اعضا و رویارویی چهره به چهره است ( 2و 17) کمبود تعهد و التزام و پاسخ های عجولانه نیز در گمنامی ذکر گردیده است ( 21 ) که شاید فقط مختص دلفی نبوده و در تمام مطالعات با پرسشنامه های بدون نام اتفاق بیفتد (17). همچنین ریزش پانل متخصصین، احتمال دریافت میزان پایین پاسخ، خستگی از موضوع، عدم وجود معیار کلیدی و مشخص در تعریف متخصص، سطح اجماع و اندازه گروه ، تأثیر کم محققین بر توسعه ابزار تحقیق، احتمال طرح بیشتر رویدادهای مطلوب ، از سایر محدودیت ها است. (34،7 و 35)

پایایی و روایی

متأسفانه کنترل روایی و پایایی دلفی آسان نیست (43) چنان که دلفی به دلیل نداشتن شواهدی از پایایی شدیداً مورد انتقاد قرار گرفته است (7و 33) به عبارتی، اگر اطلاعات یا سؤالا ت مشابه به پانلیست ها داده شود، دستیابی به نتایج یکسان حتمی نیست ( 26 ) هرچند که کاربران دلفی، صحت تکنیک را تأئید نموده اند(17) این تکنیک در رابطه با روایی نیز مورد انتقاد قرار گرفته است، چنان که پژوهشگر بر توسعه مراحل پیمایش یا ابزار تأثیری نداشته که در روایی صوری تأثیر دارد (7)، با این وجود، اگر اعضا ی شرکت کننده در مطالعه، نماینده گروه یا حوزه دانش مورد نظر باشند، اعتبار محتوی تضمین می شود(6). البته شاید موارد بالا به همه تحقیقات کیفی وارد بوده و نباید دلفی را با رویکرد کمی (پوزیتویست) مورد قضاوت قرار داد و استفاده از معیارهای انتقا ل پذیری، اعتبارپذیری، کاربردپذیری و تأئید پذیری برای اعتبار و اعتماد نتایج صحیح تر باشد. (4) .

ملاحظات اخلاقی

دلفی از نظر ملاحظات اخلاقی مشابه تحقیقات پیمایشی یا پرسشنامه ای است. گمنامی شرکت کنندگان تا حد امکان باید حفظ شده و پاسخ های آنان بطور خاص و قابل شناسایی برای سایرین ارسال نگردد (4و35) اما تعیین اینکه چه افرادی پرسشنامه را تکمیل نموده، تمایل به بحث با سایرین داشته و آیا پانلیست ها به درستی یا بر  اساس نظر محقق پاسخ داده اند، غیر ممکن است (33 و 34)

پیشنهاداتی برای انجام بهتر دلفی

دلفی به عنوان یک روش یا ابزار حمایت کننده و توسعه دهنده مطالعات در نظر گرفته و داده ها با سایر ابزار و فنون تکمیل گردد (48)

موضوع مورد مطالعه باید مناسب بوده و پاسخ ها از  قبل مشخص نشده باشد (20 ) پانلیست ها از دیسیپلین های مختلف انتخاب شوند و  در هر رشته متخصص باشند (3و 22) از سؤالات محدودتر استفاده شود تا متخصصین با توجه به محدودیت زمانی از شرکت در مطالعه امتناع نکنند و برای متخصصین زمان کافی برای ت فکر عمیق در  نظر گرفته شود( 4و12) برای کاهش ریزش پانل، متخصص ین علاقمند انتخاب و از نظر تئوریکی توجیه شوند ، نامه های یادآوری ارسال  و محرک مالی و معنوی استفاده گردد (21) گروه تحقیق یا هماهنگی برای پاسخ گویی و روشن سازی هرگونه سؤال و ارائه اطلاعات در دسترس باشند (12و 49 ) و تا حد امکان، کمترین مداخله یا دستکاری را در فرایند  تحقیق انجام دهند. (8)

معیار رسیدن به اجماع، قبل از آغاز پروژه تعیین گردد و اجماع بر اساس نظرات پانلیست ها باشد و چنان که پذیرفتن اکثریت آرا جایگزینی برای نمایش یافته های  قابل اطمینان و بدون فشار برای اجماع است (17و 50) برای تعیین اعتبار یافته ها با چند نفر محقق و اهل دانش که در مطالعه شرکت نداشته اند مصاحبه شود (21) یک راند پیگیر یا ثانویه برای افزایش اعتبار یافته ها  انجام شود(7).

منابع :

تکنیک دلفی: ابزاری در تحقیق، فضل اله احمدی، خدیجه نصیریانی، پروانه اباذری، مجله ایرانی آموزش در علوم پزشکی