Bilimde atıf, “etki değeri” ve diğer göstergeler

Bilimsel yayınlar ve türleri ⧫ Hakem denetimi ⧫ Atıflar ve “etki değeri”⧫ Atıflar yanıltabilir

Daha önceki iki yazıda bilimsel yayınların özelliklerinden ve hakem denetimli yayın sürecinden bahsetmiştim. Bilimsel makalelerin bazıları, daha iyi yöntemlerle, daha özenle yapılmış, daha nitelikli bilimsel çalışmaları tarif eder ve bilim camiasının daha çok ilgisini çeker. Hangi makalenin daha çok ilgi çektiğini öğrenmek isteyen bilim adamları, o makalenin “atıf” sayısına bakar. Bilimsel dergiler de yayınladıkları makalelerin atıf sayısına dayanan bir ölçek olan “etki değeri”ne göre değerlendirilirler. Bu yazıda bilimsel atıf kavramına, atıf sayısına dayandırılan bu göstergelere ve Türkiye biliminin bu göstergelere göre durumuna değiniyorum.

Atıf nedir? Nerelerde kullanılır?

Bir bilimsel makale, diğer bir bilimsel makaleyi kaynak olarak gösterince, o makaleye atıf yaptı diyoruz. Meselâ Şekil 1A’da kırmızı okun gösterdiği yerde ayraç içinde 19 sayısı var. Bu, orada bahsedilen bilginin 19 numaralı dipnottaki yayından alındığını belirtiyor. Şekil 1B’de ise 19 numaralı dipnottaki ayrıntıları görüyoruz. Bu ayrıntılar sırasıyla makalenin yazarlarını (M. Fliegauf, T. Benzing ve H. Omran), yılını (2007), başlığını (When cilia go bad: Cilia defects and ciliopathies), yayınlandığı derginin adını (Nature Reviews Molecular Cell Biology), makalenin yer aldığı cilt (8) ve sayfa (880-893) sayısını gösteriyor.

Şekil 1. (A) Bilimsel bir metnin içinde, 19 sayılı dipnotta ayrıntıları verilmiş makaleye atıf yapılmış (kırmızı ok). (B) Makalenin sonundaki 19 sayılı dipnotta, atıf verilen makalenin ayrıntıları görülüyor.

Atıflar neden verilir? Çünkü bilimsel makalelerde eğer bir bilgi için bizzat deneysel, gözlemsel kanıt göstermiyorsanız güvenilir bir kaynağı dayanak göstermeniz gerekir; atıflar da bunu sağlar. Atıflar sıklıkla şu hallerde verilir:

• Makalede anlatılan bilimsel çalışmaya zemin teşkil etmiş çalışmalar anılırken, bunları tarif eden özgün yayınlara atıf verilir.
• Çalışmada kullanılan yöntem daha önce geliştirmiş olanların ilgili makalesine atıf verilerek hem onların emeğine saygı gösterilir, hem de yöntem daha kısaca anlatılarak sayfadan tasarruf sağlanır. Daha fazla ayrıntı isteyenlere adres gösterilmiş olur.
• Tartışma kısmında bahsedilen, eleştirilen, doğrulanan, yanlışlanan makalelere de atıf verilir.
• Derleme makalelerinde tartışılan tüm çalışmalara atıf verilir. Bu tür makalelerin genelde gayet uzun bir atıf listesi olur.
• Yazışmalarda da tartışılan makalelere atıf verilir.

Kendine atıf: Atıf yapılan makaleler çoğunlukla başkalarının makaleleri olmakla birlikte yazarların kendi makaleleri de olabilir: Meselâ yazarlar daha önceki çalışmalarının devamı niteliğinde yeni çalışmalar yayınlıyorlarsa, daha önce kullandıkları yöntemi yeniden kullanmışlarsa ilgili makalelerine atıf yapmalıdırlar. Ancak zaman zaman bunu suistimal etmek isteyenler çıkar.

Atıf dizinleri ve “etki değeri” (“impact factor”)

Yukarıda gördüğümüz gibi bir makalenin atıf yaptığı diğer makaleler, makalenin sonunda bulunur. Peki bir makaleye atıf yapmış diğer makaleleri nasıl bulabiliriz? Bunun için bilimsel atıf dizinleri kullanılır. Bunlar arasında en çok kullanılan Bilim Atıf Dizini ve Toplumsal Bilimler Atıf Dizini adlı iki dizin, Thomson Reuters adlı şirketin ürünleridir ve erişebilmek için şirketin hizmetlerine abone bir akademik kütüphaneye başvurmak gerekir. Son yıllarda Scopus ve Google Scholar dizinleri bu şirketin ürünleriyle rekabete katılmıştır.

Tek bir makalenin etkisini anlamak için atıf sayısına bakılırken, bir derginin etkisini anlamak için yayınladığı makalelerin ortalama atıf sayısına bakılır. Bunun için, aynı şirket tarafından hesaplanan “etki değeri” (ED) (İng. impact factor) adlı bir gösterge kullanır. Bir derginin ED’si şu formüle göre hesaplanır:

Etki değerine yönelik eleştiriler

ED’nin kullanımına yönelik eleştiriler: ED, üniversite kütüphanelerinin hangi dergilere abone olması gerektiğine dair maliyet-yarar hesaplaması için icat edilmiş olsa da günümüzdeki kullanımı bunun çok ötesinde: Birçok akademisyen, değişik bilimsel çalışmaları mukayese etmek için, o çalışmaların yayınlandıkları dergilerin ED’sine bakıyor. Meselâ, birbirinden farklı sonuçlar vermiş iki ayrı araştırmadan hangisine güveneceğine karar veremeyen bir bilim adamı, daha yüksek ED’li dergide yayınlanmış çalışmanın daha nitelikli olduğunu varsayarak yalnızca onu dikkate alabiliyor. Veya bir akademik kadroya başvuran adayları değerlendiren bir bilim adamı, daha yüksek ED’li dergilerde yayın yapmış adayın daha başarılı olduğunu varsayarak bu adayı tavsiye edebiliyor.
Bu aslında istenmeyen bir durum çünkü ED, tek bir makalenin bilimsel önemine değil, bir derginin önemine yönelik geliştirilmiş bir gösterge: Ne tek bir çalışmanın ne de bir bilim adamının niteliği hakkında bilgi veriyor. Max Planck Enstitüsü’nden Kai Simons’un şu cümlesi bilim adamlarının tutumunu özetliyor: “İşe alma, akademik terfi ve araştırma bütçesi kurulları, bir derginin etki değerini, bir makaleyi okumadan değerlendirme için kullanışlı bir kestirme yol olarak kullanabilmektedir” (Simons, 2008).

Ancak, bilim adamları da okuyacakları çalışmaları nitelik açısından eleyecek bir süzgece ihtiyaç duyuyorlar çünkü bilimsel literatür öyle bir hızla genişliyor ki ilgili tüm çalışmaları okusalar kendi çalışmalarını yapmaya zamanları kalmaz. Bu nedenle ED hâlâ sıklıkla kullanılıyor, hâlâ bilim adamları makaleleri ED süzgecinden geçiriyor ve hâlâ kendi makalelerini yüksek ED’li dergilerde yayınlatmaya çalışıyor. Ama bir yandan da ED’nin yerine yeni değerlendirme yöntemleri geliştiriliyor ve deneniyor. Bu konuya hemen aşağıdaki başlıkta devam edeceğim, ama ED hakkındaki diğer eleştirilere değindikten sonra.

ED’nin hesaplanmasına yönelik eleştiriler: İlk olarak, ED’yi ticari amaç güden bir şirket hesaplıyor ve bu şirket ED’nin hesaplanması sürecini belirli oranda kapalı tutuyor. Meselâ ED formülündeki kesirin paydasındaki “atıf alabilir” toplam makale sayısının belirlenmesinde tutarsızlıklar olduğu daha önce tartışma konusu olmuştu. Ayrıca, yukarıda gördüğümüz gibi ED, atıf sayısına dayandırılarak hesaplanıyor. Bu da bir makalenin atıf sayısının o makalenin bilimsel değerini yansıttığı varsayımına dayanıyor, ancak bu varsayım doğru olmayabilir. Nobel ödülü alanlar dahil olmak üzere başarılı bilim adamlarının yayınlarına çok sayıda atıf aldıkları biliniyor ancak, bazı tartışmalı makalelerinatıf sayılarının -tartışmadan gelen atıflar nedeniyle- haksız yere yükseldiği de bir gerçek. Öte yandan, atıf almamış bir makalenin değersiz olduğunu iddia edemeyiz, özellikle de ED’nin yayından sonraki 2 yılın atıflarına göre hesaplandığını düşünürsek. Çünkü makalelerde yapılan bir inceleme, atıf alan makalelerin %98,5’inin iki yıldan eski olduğunu gösteriyor, yani makaleler yayınlandıktan iki sene sonra da atıf almaya devam ediyor. Dahası, atıf sayısına dayalı hesaplama yayıncılarca manipüle edilebiliyor. Meselâ, derleme makaleler daha çok atıf aldığından bazı dergiler bu türe ağırlık veriyor ve dergide yayınlanan çalışmaların niteliğini pek yükseltmeden derginin ED’sini artırabiliyorlar.

Diğer göstergeler

Bu eleştiriler ışığında, her bir bilimsel makalenin etkisini ölçmeye yarayacak göstergeler üzerinde çalışılıyor. Bunların bir kısmı, bilimsel dergi ve makalelerin artık büyük oranda sanal ortamda sunulmasından istifade ediyor. Bu durum yaygınlaşmadan önce, bir bilimsel makaleyi bulabilmek için akademik bir kütüphanenin arşivine gitmeniz, aradığınız derginin yerini bulup -tozlu- raflardan ilgili cildi indirip makalenin fotokopisini çekmeniz gerekirdi (Şekil 2A). Tabii ki bu durum bir makaleye kaç defa ulaşıldığını saymaya imkân vermiyordu. Ancak artık bilimsel makalelere kütüphaneye dahi gitmeden, üniversite yerleşkesindeki herhangi bir bilgisayardan ulaşmak mümkün hâle geldi (Şekil 2B). Bu da yayıncıya hangi makaleye ne zaman kaç defa tıklandığını gözleme şansı tanıdı (Şekil 2B, kırmızı ok). Bu durum her bir makalenin kaç kere görüntülendiğinin, indirilebildiğinin sayılabilmesini sağlıyorsa da, bu sayılar makalenin kaç kişi tarafından ne kadar incelendiğini ve tartışıldığını göstermiyor, çünkü makaleye tıklamak ile onu incelemek arasında fark var.

Şekil 2. (A) Bir akademik kütüphanenin arşivinden bilimsel dergi ciltleri. (B) Yalnızca Internet üzerinde yayın yapan PLoS One dergisinden bir makale görünümü. Yeşil okla gösterilen bölümden bu makaleye bir yorum yapıldığı, kırmızı okla gösterilen bölümden ise bu makalenin o âna kadar 443 kere görüntülenmiş olduğu anlaşılıyor.

Bazı yayıncılar internet sayfalarında bilimsel makalelere yorum yazma seçeneğini (Şekil 2B, yeşil ok) getirdi, ancak bu yorum özelliği bilim camiasında pek tutulmadı. Bu nedenle, makalelere getirilen yorum sayısı çok az ve bir makalenin ne kadar incelendiğine dair bir ölçüt olarak kullanılamıyor. Bu esnada atıf sayısı tabanlı yeni göstergeler de ortaya çıkıyor. Meselâ h-endeksi adlı gösterge, bilim insanlarının başarısını ölçme amacına yönelik olarak 2005 yılında önerildi. Bu göstergeye göre bir bilim insanı, en az h adet atıf almış h adet makale yayınlamışsa, o bilim insanının göstergesi h’dir. Bu gösterge, bilim insanları kadar üniversitelerin, hattâ ülkelerin bilimsel etkinliğini değerlendirmek için kullanılıyor. Atıflara dayalı diğer bir gösterge olan Eigenfactor ise, atıfları tahlil etmek için Google’ın internet sitelerini sıralamaya yarayan sistemine (PageRank) benzer bir mantık izliyor. Buna göre bir makaleye verilen her atıf aynı değerde sayılmıyor, daha yüksek atıflı dergilerden gelen atıfların etkisi de daha yüksek oluyor. Bu gösterge, ED gibi, bilim adamlarının etkinliğini değil, bilim dergilerinin etkisini hesaplamak için tasarlanmış.

Türkiye’nin atıf göstergelerindeki yeri

Acaba atıf sayıları mukayese edildiğinde, ülkemiz adresli bilimsel yayınların dünyadaki yeri nedir? Hacettepe Üniversitesi’nden Dr. Umut Al, bu sorunun cevabını, 1999-2009 arasındaki Türkiye kaynaklı yayınların “göreli atıf etkisi”ni (GAE) hesaplayarak incelemiş (Al, 2009, Şekil 3). GAE, bir ülkenin belirli bir alandaki yayınlarının ortalama atıf sayısını, yine o alandan tüm (yani tüm dünyadan) yayınların ortalama atıf sayısına bölerek hesaplanıyor. Eğer bu oran 1’den az ise, o ülkenin o alandaki ortalama atıf sayısı dünya ortalamasının altında, 1’den yüksek ise de dünya ortalamasının üstünde demek oluyor.

Şekil 3. Türkiye adresli yayınların bilim alanlarına göre GAE’leri. (Al, 2009‘dan uyarlanmıştır.)

Bu verilere bakıldığında bakıldığında ülkemizin her alanda 1’den düşük GAE’ye sahip olduğu, yani Türkiye kaynaklı bilimsel makalelerin ortalama atıf sayısının her alanda dünya ortalamasının altında kaldığı görülüyor (Şekil 3). Bu alanlardan dünya ortalamasına en yakını olan mühendisliği, ziraat ve yer bilimleri izliyor. En düşük GAE’ye sahip altı alanın yaşam bilimlerinden olduğu, ve özellikle ülkemizden dünya bilimsel literatürüne en yüksek katkı oranına (tüm makalelerin %2,215’i) sahip klinik tıp alanının en düşük GAE’ye sahip alanlardan biri olduğu göze çarpıyor. Türkiye’nin her alandaki düşük GAE değerlerini artırması, daha yenilikçi, atılıma yönelik, daha nitelikli bilimsel çalışmaları özendirmesi ile mümkün olabilir.

Sonuç

Bilimsel makalelerin, dergilerin değerlendirilmesinde en çok kullanılan göstergeler, atıf sayısı ve buna dayanan göstergelerdir. Daha çok atıf almış bilimsel makaleler ve daha yüksek etki değerine (ED) sahip dergiler daha nitelikli kabul edilmekle birlikte, bu göstergelerin sınırları da mevcuttur. Bu nedenle bilimsel çalışmaların, dergilerin ve bilim adamlarının değerlendirilmesine yönelik daha yeni nesnel ölçütler değerlendirilmektedir. Türkiye’nin yayınlarına gelen ortalama atıf sayısının, her bilim alanında dünya ortalamasının altında olması, ülkemizdeki bilimsel çalışmalarının niteliğinin artırılması gereğine işaret etmektedir.

Teşekkür

Hacettepe Üniversitesi’nden Dr. Umut Al’a, makalesindeki verileri kullanmama izin verdiği için teşekkür ederim.

Kaynaklar ve notlar

• U. Al, 2008. Türkiye’nin Bilimsel Yayın Politikası: Atıf Dizinlerine Dayalı Bibliyometrik Bir Yaklaşım. (Doktora tezi) Hacettepe Üniversitesi, Ankara.
• U. Al, 2009. Türkiye’nin göreli atıf etkisi üzerine bilimetrik bir çalışma. Bilgi Dünyası 10:231-244
• A. Fersht, 2009. The most influential journals: Impact Factor and Eigenfactor. Proc Natl Acad Sci USA 106:6883-6884
• V. Kumar, S. Upadhyay, B. Medhi, 2009. Impact of the impact factor in biomedical research: its use and misuse. Singapore Medical Journal 50:752
• Neylon C, Wu S, 2009. Article-level metrics and the evolution of scientific impact. PLoS Biology 7:e1000242
• PLoS Medicine Editors, 2006. The impact factor game. PLoS Medicine 3:e291
• Simons K, 2008. The misused impact factor. Science 322:165
• Şekil 1. Shah AS vd, 2008
• Şekil 2. Zak PJ vd, 2009
• Eski bir yazının elden geçirilmiş halidir.