Bilimde atıf, “etki değeri” ve diğer göstergeler

Daha önceki iki yazıda bilimsel yayınların özelliklerinden ve hakem denetimli yayın sürecinden bahsetmiştim. Bilimsel makalelerin bazıları, daha iyi yöntemlerle, daha özenle yapılmış, daha nitelikli bilimsel çalışmaları tarif eder ve bilim camiasının daha çok ilgisini çeker. Hangi makalenin daha çok ilgi çektiğini öğrenmek isteyen bilim adamları, o makalenin “atıf” sayısına bakar. Bilimsel dergiler de yayınladıkları makalelerin atıf sayısına dayanan bir ölçek olan “etki değeri”ne göre değerlendirilirler. Bu yazıda bilimsel atıf kavramına, atıf sayısına dayandırılan bu göstergelere ve Türkiye biliminin bu göstergelere göre durumuna değiniyorum.

Atıf nedir? Nerelerde kullanılır?

Bir bilimsel makale, diğer bir bilimsel makaleyi kaynak olarak gösterince, o makaleye atıf yaptı diyoruz. Meselâ Şekil 1A’da kırmızı okun gösterdiği yerde ayraç içinde 19 sayısı var. Bu, orada bahsedilen bilginin 19 numaralı dipnottaki yayından alındığını belirtiyor. Şekil 1B’de ise 19 numaralı dipnottaki ayrıntıları görüyoruz. Bu ayrıntılar sırasıyla makalenin yazarlarını (M. Fliegauf, T. Benzing ve H. Omran), yılını (2007), başlığını (When cilia go bad: Cilia defects and ciliopathies), yayınlandığı derginin adını (Nature Reviews Molecular Cell Biology), makalenin yer aldığı cilt (8) ve sayfa (880-893) sayısını gösteriyor.

atif-nedir-D01B-AF4F-377D

Şekil 1. (A) Bilimsel bir metnin içinde, 19 sayılı dipnotta ayrıntıları verilmiş makaleye atıf yapılmış (kırmızı ok). (B) Makalenin sonundaki 19 sayılı dipnotta, atıf verilen makalenin ayrıntıları görülüyor.

Atıflar neden verilir? Çünkü bilimsel makalelerde eğer bir bilgi için bizzat deneysel, gözlemsel kanıt göstermiyorsanız güvenilir bir kaynağı dayanak göstermeniz gerekir; atıflar da bunu sağlar. Atıflar sıklıkla şu hallerde verilir:

  • Makalede anlatılan bilimsel çalışmaya zemin teşkil etmiş çalışmalar anılırken, bunları tarif eden özgün yayınlara atıf verilir.
  • Çalışmada kullanılan yöntem daha önce geliştirmiş olanların ilgili makalesine atıf verilerek hem onların emeğine saygı gösterilir, hem de yöntem daha kısaca anlatılarak sayfadan tasarruf sağlanır. Daha fazla ayrıntı isteyenlere adres gösterilmiş olur.
  • Tartışma kısmında bahsedilen, eleştirilen, doğrulanan, yanlışlanan makalelere de atıf verilir.
  • Derleme makalelerinde tartışılan tüm çalışmalara atıf verilir. Bu tür makalelerin genelde gayet uzun bir atıf listesi olur.
  • Yazışmalarda da tartışılan makalelere atıf verilir.

Kendine atıf: Atıf yapılan makaleler çoğunlukla başkalarının makaleleri olmakla birlikte yazarların kendi makaleleri de olabilir: Meselâ yazarlar daha önceki çalışmalarının devamı niteliğinde yeni çalışmalar yayınlıyorlarsa, daha önce kullandıkları yöntemi yeniden kullanmışlarsa ilgili makalelerine atıf yapmalıdırlar. Ancak zaman zaman bunu suistimal etmek isteyenler çıkar.

Atıf dizinleri ve “etki değeri” (“impact factor”)

Yukarıda gördüğümüz gibi bir makalenin atıf yaptığı diğer makaleler, makalenin sonunda bulunur. Peki bir makaleye atıf yapmış diğer makaleleri nasıl bulabiliriz? Bunun için bilimsel atıf dizinleri kullanılır. Bunlar arasında en çok kullanılan Bilim Atıf Dizini ve Toplumsal Bilimler Atıf Dizini adlı iki dizin, Thomson Reuters adlı şirketin ürünleridir ve erişebilmek için şirketin hizmetlerine abone bir akademik kütüphaneye başvurmak gerekir. Son yıllarda Scopus ve Google Scholar dizinleri bu şirketin ürünleriyle rekabete katılmıştır.

Tek bir makalenin etkisini anlamak için atıf sayısına bakılırken, bir derginin etkisini anlamak için yayınladığı makalelerin ortalama atıf sayısına bakılır. Bunun için, aynı şirket tarafından hesaplanan “etki değeri” (ED) (İng. impact factor) adlı bir gösterge kullanır. Bir derginin ED’si şu formüle göre hesaplanır:

proxy-C09A-2B3B-5E6B

Etki değerine yönelik eleştiriler

ED’nin kullanımına yönelik eleştiriler: ED, üniversite kütüphanelerinin hangi dergilere abone olması gerektiğine dair maliyet-yarar hesaplaması için icat edilmiş olsa da günümüzdeki kullanımı bunun çok ötesinde: Birçok akademisyen, değişik bilimsel çalışmaları mukayese etmek için, o çalışmaların yayınlandıkları dergilerin ED’sine bakıyor. Meselâ, birbirinden farklı sonuçlar vermiş iki ayrı araştırmadan hangisine güveneceğine karar veremeyen bir bilim adamı, daha yüksek ED’li dergide yayınlanmış çalışmanın daha nitelikli olduğunu varsayarak yalnızca onu dikkate alabiliyor. Veya bir akademik kadroya başvuran adayları değerlendiren bir bilim adamı, daha yüksek ED’li dergilerde yayın yapmış adayın daha başarılı olduğunu varsayarak bu adayı tavsiye edebiliyor.
Bu aslında istenmeyen bir durum çünkü ED, tek bir makalenin bilimsel önemine değil, bir derginin önemine yönelik geliştirilmiş bir gösterge: Ne tek bir çalışmanın ne de bir bilim adamının niteliği hakkında bilgi veriyor. Max Planck Enstitüsü’nden Kai Simons’un şu cümlesi bilim adamlarının tutumunu özetliyor: “İşe alma, akademik terfi ve araştırma bütçesi kurulları, bir derginin etki değerini, bir makaleyi okumadan değerlendirme için kullanışlı bir kestirme yol olarak kullanabilmektedir” (Simons, 2008).

Ancak, bilim adamları da okuyacakları çalışmaları nitelik açısından eleyecek bir süzgece ihtiyaç duyuyorlar çünkü bilimsel literatür öyle bir hızla genişliyor ki ilgili tüm çalışmaları okusalar kendi çalışmalarını yapmaya zamanları kalmaz. Bu nedenle ED hâlâ sıklıkla kullanılıyor, hâlâ bilim adamları makaleleri ED süzgecinden geçiriyor ve hâlâ kendi makalelerini yüksek ED’li dergilerde yayınlatmaya çalışıyor. Ama bir yandan da ED’nin yerine yeni değerlendirme yöntemleri geliştiriliyor ve deneniyor. Bu konuya hemen aşağıdaki başlıkta devam edeceğim, ama ED hakkındaki diğer eleştirilere değindikten sonra.

ED’nin hesaplanmasına yönelik eleştiriler: İlk olarak, ED’yi ticari amaç güden bir şirket hesaplıyor ve bu şirket ED’nin hesaplanması sürecini belirli oranda kapalı tutuyor. Meselâ ED formülündeki kesirin paydasındaki “atıf alabilir” toplam makale sayısının belirlenmesinde tutarsızlıklar olduğu daha önce tartışma konusu olmuştu. Ayrıca, yukarıda gördüğümüz gibi ED, atıf sayısına dayandırılarak hesaplanıyor. Bu da bir makalenin atıf sayısının o makalenin bilimsel değerini yansıttığı varsayımına dayanıyor, ancak bu varsayım doğru olmayabilir. Nobel ödülü alanlar dahil olmak üzere başarılı bilim adamlarının yayınlarına çok sayıda atıf aldıkları biliniyor ancak, bazı tartışmalı makalelerinatıf sayılarının -tartışmadan gelen atıflar nedeniyle- haksız yere yükseldiği de bir gerçek. Öte yandan, atıf almamış bir makalenin değersiz olduğunu iddia edemeyiz, özellikle de ED’nin yayından sonraki 2 yılın atıflarına göre hesaplandığını düşünürsek. Çünkü makalelerde yapılan bir inceleme, atıf alan makalelerin %98,5’inin iki yıldan eski olduğunu gösteriyor, yani makaleler yayınlandıktan iki sene sonra da atıf almaya devam ediyor. Dahası, atıf sayısına dayalı hesaplama yayıncılarca manipüle edilebiliyor. Meselâ, derleme makaleler daha çok atıf aldığından bazı dergiler bu türe ağırlık veriyor ve dergide yayınlanan çalışmaların niteliğini pek yükseltmeden derginin ED’sini artırabiliyorlar.

Diğer göstergeler

Bu eleştiriler ışığında, her bir bilimsel makalenin etkisini ölçmeye yarayacak göstergeler üzerinde çalışılıyor. Bunların bir kısmı, bilimsel dergi ve makalelerin artık büyük oranda sanal ortamda sunulmasından istifade ediyor. Bu durum yaygınlaşmadan önce, bir bilimsel makaleyi bulabilmek için akademik bir kütüphanenin arşivine gitmeniz, aradığınız derginin yerini bulup -tozlu- raflardan ilgili cildi indirip makalenin fotokopisini çekmeniz gerekirdi (Şekil 2A). Tabii ki bu durum bir makaleye kaç defa ulaşıldığını saymaya imkân vermiyordu. Ancak artık bilimsel makalelere kütüphaneye dahi gitmeden, üniversite yerleşkesindeki herhangi bir bilgisayardan ulaşmak mümkün hâle geldi (Şekil 2B). Bu da yayıncıya hangi makaleye ne zaman kaç defa tıklandığını gözleme şansı tanıdı (Şekil 2B, kırmızı ok). Bu durum her bir makalenin kaç kere görüntülendiğinin, indirilebildiğinin sayılabilmesini sağlıyorsa da, bu sayılar makalenin kaç kişi tarafından ne kadar incelendiğini ve tartışıldığını göstermiyor, çünkü makaleye tıklamak ile onu incelemek arasında fark var.

Şekil 2. (A) Bir akademik kütüphanenin arşivinden bilimsel dergi ciltleri. (B) Yalnızca Internet üzerinde yayın yapan PLoS One dergisinden bir makale görünümü. Yeşil okla gösterilen bölümden bu makaleye bir yorum yapıldığı, kırmızı okla gösterilen bölümden ise bu makalenin o âna kadar 443 kere görüntülenmiş olduğu anlaşılıyor.

Şekil 2. (A) Bir akademik kütüphanenin arşivinden bilimsel dergi ciltleri. (B) Yalnızca Internet üzerinde yayın yapan PLoS One dergisinden bir makale görünümü. Yeşil okla gösterilen bölümden bu makaleye bir yorum yapıldığı, kırmızı okla gösterilen bölümden ise bu makalenin o âna kadar 443 kere görüntülenmiş olduğu anlaşılıyor.

Bazı yayıncılar internet sayfalarında bilimsel makalelere yorum yazma seçeneğini (Şekil 2B, yeşil ok) getirdi, ancak bu yorum özelliği bilim camiasında pek tutulmadı. Bu nedenle, makalelere getirilen yorum sayısı çok az ve bir makalenin ne kadar incelendiğine dair bir ölçüt olarak kullanılamıyor. Bu esnada atıf sayısı tabanlı yeni göstergeler de ortaya çıkıyor. Meselâ h-endeksi adlı gösterge, bilim insanlarının başarısını ölçme amacına yönelik olarak 2005 yılında önerildi. Bu göstergeye göre bir bilim insanı, en az h adet atıf almış h adet makale yayınlamışsa, o bilim insanının göstergesi h’dir. Bu gösterge, bilim insanları kadar üniversitelerin, hattâ ülkelerin bilimsel etkinliğini değerlendirmek için kullanılıyor. Atıflara dayalı diğer bir gösterge olan Eigenfactor ise, atıfları tahlil etmek için Google’ın internet sitelerini sıralamaya yarayan sistemine (PageRank) benzer bir mantık izliyor. Buna göre bir makaleye verilen her atıf aynı değerde sayılmıyor, daha yüksek atıflı dergilerden gelen atıfların etkisi de daha yüksek oluyor. Bu gösterge, ED gibi, bilim adamlarının etkinliğini değil, bilim dergilerinin etkisini hesaplamak için tasarlanmış.

Türkiye’nin atıf göstergelerindeki yeri

Acaba atıf sayıları mukayese edildiğinde, ülkemiz adresli bilimsel yayınların dünyadaki yeri nedir? Hacettepe Üniversitesi’nden Dr. Umut Al, bu sorunun cevabını, 1999-2009 arasındaki Türkiye kaynaklı yayınların “göreli atıf etkisi”ni (GAE) hesaplayarak incelemiş (Al, 2009, Şekil 3). GAE, bir ülkenin belirli bir alandaki yayınlarının ortalama atıf sayısını, yine o alandan tüm (yani tüm dünyadan) yayınların ortalama atıf sayısına bölerek hesaplanıyor. Eğer bu oran 1’den az ise, o ülkenin o alandaki ortalama atıf sayısı dünya ortalamasının altında, 1’den yüksek ise de dünya ortalamasının üstünde demek oluyor.

Şekil 3. Türkiye adresli yayınların bilim alanlarına göre GAE'leri. (Al, 2009'dan uyarlanmıştır.)

Şekil 3. Türkiye adresli yayınların bilim alanlarına göre GAE’leri. (Al, 2009‘dan uyarlanmıştır.)

Bu verilere bakıldığında bakıldığında ülkemizin her alanda 1’den düşük GAE’ye sahip olduğu, yani Türkiye kaynaklı bilimsel makalelerin ortalama atıf sayısının her alanda dünya ortalamasının altında kaldığı görülüyor (Şekil 3). Bu alanlardan dünya ortalamasına en yakını olan mühendisliği, ziraat ve yer bilimleri izliyor. En düşük GAE’ye sahip altı alanın yaşam bilimlerinden olduğu, ve özellikle ülkemizden dünya bilimsel literatürüne en yüksek katkı oranına (tüm makalelerin %2,215’i) sahip klinik tıp alanının en düşük GAE’ye sahip alanlardan biri olduğu göze çarpıyor. Türkiye’nin her alandaki düşük GAE değerlerini artırması, daha yenilikçi, atılıma yönelik, daha nitelikli bilimsel çalışmaları özendirmesi ile mümkün olabilir.

Sonuç

Bilimsel makalelerin, dergilerin değerlendirilmesinde en çok kullanılan göstergeler, atıf sayısı ve buna dayanan göstergelerdir. Daha çok atıf almış bilimsel makaleler ve daha yüksek etki değerine (ED) sahip dergiler daha nitelikli kabul edilmekle birlikte, bu göstergelerin sınırları da mevcuttur. Bu nedenle bilimsel çalışmaların, dergilerin ve bilim adamlarının değerlendirilmesine yönelik daha yeni nesnel ölçütler değerlendirilmektedir. Türkiye’nin yayınlarına gelen ortalama atıf sayısının, her bilim alanında dünya ortalamasının altında olması, ülkemizdeki bilimsel çalışmalarının niteliğinin artırılması gereğine işaret etmektedir.

Teşekkür

Hacettepe Üniversitesi’nden Dr. Umut Al’a, makalesindeki verileri kullanmama izin verdiği için teşekkür ederim.

Kaynaklar ve notlar

About Çağrı Yalgın

Helsinki Üniversitesi'nde mitokondri hastalıkları üzerine doktora sonrası araştırmacı olarak çalışıyor. Doktora: Saitama Üniversitesi ve RIKEN (Tokyo). Tıp eğitimi: Marmara Üniversitesi (İstanbul).

Bir Yanıt to “Bilimde atıf, “etki değeri” ve diğer göstergeler”

  1. Öncelikle değerli yazınız ve emeğiniz için teşekkür ederim. bir dahaki sefere SCI, SCIE ve SSCI gibi atıf kriterlerine değine bilir misiniz? Teşekkürler

    Beğen

Bir Yanıt Bırakın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Connecting to %s

%d blogcu bunu beğendi: