از آنجا كه ارزيابي كمي تحقيقات علمي دشوار است، بسياري از دانشگاه ها در حال حاضر تصميمات بودجه و تصدي را بر اساس ارزيابي ايمپكت فاكتور قرار داده اند، و يا پرستيژ مجلاتي كه يك دانشمند داده هاي خود را در آن منتشر مي كند. اين نوع ارزيابي ممكن است يك ابزار قابل اعتماد براي تعيين اهميت تحقيقات يك دانشمند خاص به نظر برسد، اما گزارش هاي متعددي وجود دارد كه نشان مي دهد خطرات ناشي از پر رنگ نشان دادن ايمپكت فاكتور يك ژورنال وجود دارد. نمونه اين ژورنالها آنهايي هستند كه مقاله هاي مروري متعددي چاپ مي كنند و در مقابل مقالات غير انگليسي جبهه مي گيرند و اين نكته حائز اهميت است كه در نظر گرفتن ايمپكت فاكتور به عنوان تنها عامل بررسي علمي يك مقاله صحيح به نظر نمي رسد. اما ايمپكت فاكتور چيست و چه كساني اين اعتبار سنجي را انجام مي دهند. Scopus و ISI نمايه‌هاي استنادي معتبر و شناخته شده اي هستند كه محققين بسياري براي بررسي پيش زمينه تحقيقات خود از آنها اطلاعات مي گيرند و در نهايت علومي كه ايجاد مي شوند را در آنها منتشر مي نمايند. اما تفاوت هاي اين دو پايگاه اطلاعاتي چيست؟ كداميك معتبرترند؟ آيا اطلاعاتي مربوط به ارجاع (citation)، در هردو سايت قابل بازيابي هستند؟ شاخص هاي اعتبارسنجي اين دو نمايه چيست؟ جز اين دو، پايگاه هاي اطلاعاتي ديگري نيز كاربري مشابه دارند؟
- Institute for Scientific Information=ISI
موسسه اطلاعات علمي (Institute for Scientific Information) مقالات و داده‌هاي ارجاع به حدود 6500 ژورنال انگليسي زبان در زمينه‌هاي پزشكي، تكنولوژي و علوم را هر ساله ارزيابي مي‌كند. اين موسسه تحت نظارت كمپاني تامسون رويترز آمريكايي فعاليت مي كند. طبق تعريف اين موسسه از خودش:" تامسون رويترز (ISI) وب سايت دانش (Web of Knowledge) امروزه پلت فرم برتر در پژوهش و يافتن اطلاعات علوم زيستي، علوم اجتماعي، هنر و علوم انساني است."
مهمترين شاخص اين پايگاه داده، فاكتور تاثير (impact factor=IF) است به مفهوم ميانگين ارجاعات سال اخير به آيتم‌هاي چاپ شده در يك ژورنال خاص در دو سال قبل. براي مثال فاكتور تاثير 1 به معناي آن است كه به صورت ميانگين به هر مقاله قابل ارجاع در ژورنال در دو سال قبل يكبار ارجاع داده شده است. نتايج اين بررسي هر ساله در جولاي به صورت آنلاين و روي سي دي در دسترس محققان قرار مي‌گيرد. (هم اكنون اين نتايج در وبسايت دانش در دسترس هستند.)
- SCOPUS
Scopus يكي از محصولات Elsevier است و براي دسترسي به اطلاعات كتابشناسي و مقاله هاي آن نياز به پرداخت هزينه و گرفتن اشتراك داريد. Scopus نيز سايتي جامع و دربرگيرنده اطلاعات موجود در حيطه علوم انساني، شيمي، زيست و ... است.
شاخصي كه Scopus از آن بهره مي برد، شاخص SCImago Journal & Country Rank (SJR) است. اين شاخص همانند فاكتور تاثير است اما اهميت يا پرستيژ يك ژورنال را نيز لحاظ مي‌كند. پرستيژ با استفاده از الگوريتم PageRank موتور جستجوي گوگل برآورد مي‌شود و دربرگيرنده ارزش علمي ژورنال ارجاع دهنده است. براي برآورد اين شاخص، از آناليز 3 ساله داده‌هاي ارجاع پايگاه داده Scopus از سال 1996 استفاده مي‌شود. نتايج اين شاخص هر ساله در نوامبر آپديت مي‌شوند.
- Scopus يا ISI؟
تفاوت اول اين دونمايه در پوشش مقالات است، در برخي بررسي ها پوشش كلي Scopus را 20 درصد بيشتر از ISI اعلام كرده اند، بررسي هاي ديگر نشان مي دهند كه تفاوت هاي پوشش دهي اين دو نمايه تفاوت هاي موضوعي هستند، مثلا در حوزه هنر، اجتماعي و انساني از نظر محتوا و هدف ISI برتري نسبي را از آن خود كرده اما در همين موضوعات براساس شاخص هاي مديريت و اعتبار پديدآوردندگان مقاله و يا اثر خاص Scopus برتري دارد. اما آنچه مسلم است Scopus به مقالاتي كه پيش از آغاز به كارش چاپ شده اند (1995) ايجاد شده اند دسترسي ندارد.
شاخص ديگري كه اين دو نمايه را در مقابل هم مي گذارد سهولت دسترسي و به روز بودن سيستم است كه در اين مورد Scopus بر ISI پيشي گرفته است. البته در اين زمينه خرده اي كه بر Scopus گرفته مي شود هزينه هاي اشتراك و بازيابي مقاله است.
همانطور كه ملاحظه كرديد، فاكتورهاي تاثيري كه دو نمايه از آن بهره مي برند متفاوت هستند. در محاسبه شاخص SJR كيفيت ارجاعات، ارجاع به خود، مدت زمان، آناليز نوع و تعداد مقالات را در نظر گرفته مي‌شود. از مهمترين نقدهاي وارده به شاخص IF مي‌توان به "عدم لحاظ كيفيت ارجاع"، "شامل شدن ارجاع به خود" و "آناليز تنها نشريات انگليسي زبان" اشاره كرد. درنتيجه IF تنها يك شاخص براي اعتبار سنجي است و هميشه مهمترين شاخص نيست و عوامل بسياري موجب ايجاد تعصب در مقدار واقعي اين شاخص مي‌شود. فاكتورهاي ديگري مانند Journal Rank، Article Influence و H-Index نيز بايد مورد توجه قرار گيرند. بايد به اعتبار علمي محققيني كه در ژورنال خاص مقاله چاپ مي‌كنند و اندازه جامعه مخاطب ژورنال توجه كرد.
پروفسور رنه گارد تفاوت عملكرد اين دو شاخص در بررسي ژورنالهاي مربوط به علوم اتمسفر را به صورت اين گراف در آورده است.
اين نمرات به طور معمول براي ارزيابي "پرستيژ" و يا "كيفيت" مجلات علمي استفاده مي شوند. اگر چه محاسبه براساس شاخص هاي متفاوتي انجام مي شود، گراف گارد نشان مي دهد كه ارتباط مناسبي بين دو مقدار وجود دارد و عموما نتايج بررسي شاخص هاي اين دو نمايه با هم برابري مي كند.
گروهي از محققين دانشگاه دوك شاخص هاي اعتبار سنجي اين دو گروه را در مورد علوم اكولوژي و محيط زيست بررسي كرده اند. نتايج اين مقايسه در جداولي به فرم زير ارائه شده اند:
علوم اكولوژي:
علوم محيط زيست:
نتايج اين بررسي نشان مي دهد، IF براي رتبه بندي و مقايسه مجلات علمي و براي تعيين اهميت ژورنالها براي جامعه علمي مفيد است. شاخص هاي رتبه بندي به طور كلي در سيستم هاي محاسبه اي يك پايگاه داده با سيستم نمايه ديگر تفاوت معني داري ندارند. دليل تفاوتهاي مشاهده شده در ميان اعتبارسنجي اين دو نمايه مجموعه اي از عناوين نمايه شده توسط اين دو پايگاه داده است كه گاهي ممكن است تعداد عناويني كه نمايه مي شوند درست نباشد و يا بعضي از ژورنالها فقط در يكي از پايگاه ها ثبت شده باشند. بايد در نظر داشت كه همه مجلات توسط شاخص هاي هردو نمايه بررسي نمي شوند و از سويي ممكن است در موضوعي خاص يكي از نمايه ها پوشش كمتري داشته باشد. به عنوان مثال پيشتر به ISI خرده مي گرفتند كه در مورد علوم انساني پوشش دهي كمتري نسبت به علومي نظير علوم زيستي دارد. براي مطالعه بيشتر لينك دانلود مقاله اخير در وبسايت گروه پژوهش و ترجمه آريا (آرت گروپ) و در اين لينك در دسترس است.
نكته مهمي كه از مقايسه اين دو نمايه حاصل مي شود اين است كه سيستمهاي ارجاع و بررسي هردو به يك صورت كار مي كنند و براي اعتبار سنجي يك ژورنال نياز به بررسي هر دو نمايه نيست.
با كمك هر دو نمايه مي توان به اطلاعات شاخص H نيز دست يافت.
در زمينه جستجوي ارجاعات هردو نمايه فعال هستند هرجند براساس اطلاعات جمع آوري شده از كاربران Scopus سيستمي واضح تر براي جستجو دارد. نمايه ديگري كه براي جستجوي ارجاعات كاربرد دارد IEEE Explore است كه ارجاعاتي را بازيابي مي كند كه در آن ذكر شده باشند.