02 Şubat 2015 
Daha önceki bir yazıda, bilimsel makale türlerinden bahsetmiştik. Bu yazıda ise bilimsel makalelerin yayınlanmadan önce geçtiği denetim sürecini, yani “hakem denetimi”ni (İngilizcesiyle peer review ya da refereeing) özetliyor ve buna dair tartışmalara kısaca değiniyorum.
Hakem denetiminin ana hatları
Bir bilimsel makaleyi, makalede bahsedilen bilimsel çalışmayı yapanlar yazar ve bir bilimsel dergiye değerlendirilmek üzere gönderir. İngilizcede bu makale taslağına “manuscript” denir. Bu kelime Latincede el yazması anlamına gelse de günümüzde bilimsel makaleler çoğunlukla bilgisayarda yazılıp PDF gibi elektronik dosyalar şeklinde dergiye ulaştırılır.
Bundan sonra makale taslağı dergi editörlerinden birinin önüne gelir. Editör, ya makaleyi beğenmeyerek baştan reddeder, ya da eğer yayınlanabileceğini düşünüyorsa hakem denetiminden geçirmek üzere işleme koyar.
Editör, hakem denetimine alınacak bir makaleye iki “hakem” tayin eder. Hakemler, yazılan makalenin sahasında çokça yayın yapmış bilim insanlarından seçilir. Kabul ederlerse makale kendilerine gönderilir, cevapları beklenir.
Hakem bir makaleyi ne açıdan denetler? Denetim, makalede izah edilen bilimsel çalışmaların tasarımından teknik ayrıntılarına ve verilerin yorumlarına kadar her konuda olabilir. Meselâ, sözkonusu makale, bu derginin yayın alanındaki bir konuyu mu ele alıyor? Yapılan çalışma özgün mü, yoksa daha önceki çalışmaların az ya da çok bir tekrarından mı ibaret? Güncel bilime ne katıyor? Yapılan çalışmaların yöntemleri uygun mu ve yeterli niteliklere sahip mi? Elde edilen veriler birbiriyle uyumlu mu? Veriler uygun bir şekilde yorumlanmış mı, yoksa önemi abartılmış mı? Bütün bunlar açıkça ve anlaşılır bir şekilde anlatılmış mı? Gereken yerlerde daha önceki bilimsel çalışmalara uygun atıflar yapılmış mı? Hakemden bu eleştirilerin ışığında makalenin yayınlanıp yayınlanmayacağına dair bir yorum yapması beklenir.
Hakem bu açıdan dört şekilde karar verebilir: (1) Makale o hâliyle hemen yayınlanabilir. Bu, hemen hemen hiç gerçekleşmeyen bir durumdur. (2) Makale, belirli değişikliklerden geçirilerek yayınlanabilir. (3) Makale bu hâliyle yayınlanamaz, ancak ciddi değişikliklerle tekrar gönderilmesi tavsiye edilir. (4) Makale için umut yoktur, yayınlanamaz.
Her bir hakem makale hakkındaki görüşlerini ve kararını editöre ayrı ayrı yazılı olarak bildirir. Eğer değişiklikler öneriyorsa bunları açıkça yazarlar. Bu görüşlere dayanarak nihai karar verme hakkı editöre ait olmakla birlikte editör neredeyse her zaman hakemlerin görüşüne göre davranır. Hakemlerin yorumları birbirinden farklıysa, editör üçüncü bir hakemin görüşlerine başvurma ya da hakemlerin görüşlerini birbirlerine gönderip dolaylı yoldan tartışmalarını sağlama yoluna gidebilir.
Makale kabul edilsin ya da edilmesin, hakemlerin yorumlarıyla yazarlara, makalelerini geliştirmelerine yardımcı olacak, somut eleştiriler sağlaması beklenir. Makaleler, ancak hakemlerin istedikleri düzeltmeler ve eklemelerle yayına kabul edilir. Reddedilmiş makalelerin yazarları ise hakemlerin yorumlarından çalışmalarını ve makalelerini geliştirmek için istifade edebilir.
Hakemlerin kimliği
Yukarıda bahsettiğim üzere hakemler, editörce seçilir ve yazarların genelde bu seçimde söz hakkı yoktur. Ayrıca, hakemlerin makaleyi korkusuzca eleştirebilmelerini sağlamak için kimlikleri hem yazarlardan hem de okurlardan gizlenir. Ancak artık bu duruma bazı istisnalar getiriliyor:
Öncelikle, hakemler yazarlarla aynı alandan olacağından, yazarların rakipleri olabilir. Yazarlar –haklı olarak– hem rakiplerinin kendi yayınlarının kaderini belirlemesini istemezler, hem de, özellikle makalelerinde çok özgün ve önemli veriler veya yöntemler varsa, bunların yayından önce rakiplerince görülmesini tehlikeli bulabilirler. Bu nedenle artık birçok dergi, yazarlara en başta kimleri hakem olarak görmek istemediklerini belirtme hakkı tanıyor. Bazı dergiler ise yazarlara kimlerin makalelerine hakem olmasını istediklerini bile soruyor.
Son olarak, bazı dergiler yazarların hakemlerin kimliğini bilmeden hakemlerin yazarların kimliğini bilmesinin, hakemlere gereğinden çok avantaj sağladığını ve hakemlerin bunu suiistimal edebileceğini düşünüyor. Böyle düşünenlerin bir kısmı, hakemlerin kimliğini yazarlara, hattâ okurlara açıklamaya başladı. Diğer bazı dergiler ise hem hakemin hem de yazarların kimliğini birbirlerinden gizleme yöntemini tercih etti. Ancak, bilhassa kendi araştırma sahalarında kimin ne yaptığını iyi bilen hakemlerin, önlerine gelen makalelerin yazarlarını tahmin etmekte zorluk çekmedikleri biliniyor.
Bu değişik uygulamalar hâlâ azınlıkta, yani dergilerin çoğu hakemlerin kimliğini yazarlardan saklama ve yazarların kimliklerini açık tutma geleneğini sürdürüyor.
Eleştiriler
Tabii hakem sistemi mükemmel olmaktan uzak… Bunun için birçok araştırmacı ve yayıncı bu sistemin nasıl geliştirilebileceği konusunda araştırma yapıyor, kafa yoruyor.
İlk bakışta, denetim sürecinin bilimsel gelişmelerin bilim dünyasına duyurulmasını geciktirdiği görülüyor. Ancak hakem denetimi sayesinde yöntemsel açıdan kötü çalışmaların yayınlanmasının kısmen önlendiği, yayınlananların da daha nitelikli hâle geldiği düşünüldüğünden bilim insanları bu kalite kontrol sisteminden vazgeçmek istemiyor.
Aynı şey, hakem denetiminin getirdiği maliyet için de geçerli: Makaleler hakkında hakemlerle yazışmaların yapılması, bu yazışmaların kaydının tutulması ofis, iş gücü ve özel yazılımlar gerektirdiğinden yayın masrafını artırıyor. Ancak bu da yayın kalitesinin fiyatı olarak görülüyor.
Bunlardan daha önemlisi, bu denetim sürecinin, yeni fikirlere ne derece açık olduğu tartışması: Bu eleştiriyi getirenler, özellikle çok saygın dergilerin editörlerinin, bilim camiasındaki yerini güvenceye almış kişileri hakem olarak seçtiklerini ve bu kişilerin artık yeni fikirlere pek açık olmadıklarını belirtiyorlar. Bunu da yeni fikirlerin duyurulmasına ve kabulüne yönelik bir engel olarak görüyor. Buna katılmayanlar ise birbiriyle rekabet halinde çok sayıda bilimsel dergi olduğuna ve dolayısıyla verilerle iyi desteklenmiş olduğu müddetçe sıradışı, devrimsel bulgu ve fikirlerin yayınlanabileceği çok ortam olduğuna işaret ediyor.
Sonuç
Hakem denetlemesi, bilimsel dergilerde yayınlanacak çalışmalardan niteliksiz olanların ayıklanması, nitelikli olanların ise geliştirilmesi için kullanılan bir yöntemdir. Yayın sürecini yavaşlatmasına ve pahalandırmasına rağmen, daha doğru bilgiye ulaşım sağladığı için bilim insanlarınca tercih edilmekte ve desteklenmektedir. Ancak her sistem gibi geliştirilmeye ihtiyacı vardır ve bu yönde çalışmalar mevcuttur.
Kaynaklar ve notlar
- M. Mainguy, M. R. Motamedi, D. Mietchen, 2005.Peer review — the newcomers’ perpective.PLoS Biology 3:e326
- F. Rowland, 2002.The Peer Review Process: A Report to the JISC Scholarly Communications Group.
- T. Savaş, 2005. Dergi hakemliği üzerine. Cumhuriyet Bilim Teknik (934):20-21
- A. M. C. Şengör, 2000. Bilimde demokrasi. Cumhuriyet Bilim Teknik (701):5
- A. M. C. Şengör, 2000. Hakem sistemi ve yararları. Cumhuriyet Bilim Teknik (699):5
- R. K. Türker, 2003. Bilimsel yayınların değerlendirilme süreci. Cumhuriyet Bilim Teknik (836):12
- Wikipedia:Peer review (erişim tarihi: 1 Kasım 2009)
- Ana sayfa fotoğrafı: Flickr
- Eski bir yazının elden geçirilmiş halidir.
Yalansavar 
Merhaba,
“Bilimsel Yayınlar ve Türleri” makalenizi okumuştum. Devamı niteliğinde ki bu yazınızı çok geç farkettim.
Hakem sisteminin kusursuz olmadığını ama henüz güvenilir farklı bir alternatif de olmadığından şimdilik buna kanaat edildiğini belirtmişsiniz.
Üzerinde durmak istediğim bir kaç konu var;
Makalenin yayınlanıp yayınlanmama konusunda ki son söz hakkı editörde ise (ki editörler hakemlere uymakta) yine de editörün son sözü söyleyebileceği bir açık kapı bırakılmış olmuyor mu?
Örneğin bir editör belki de çok ses getireceğini düşündüğü (reddedilmiş) bir makaleyi yayınlamak isteyebilir ve bir başka hakem heyetine gönderip görüş isteyebilir.
Yani çalışmanın sonuçlarının ve izlenilen yöntemin doğrulanabilirliliği editörler tarafından geri plana atılabilir bir olgu olabilir mi? (son söz kendilerinde ise…)
Tam tersi de olabilir; ilk hakem heyetinden onay alan bir makaleyi “bazı baskılar” sonucu yayınlamayabilirler!
Bir diğer konu; hazırlanan makalelerde metodolojiyi ve teknik ayrıntıyı makalesine tam olarak yansıtmak istemeyen bilim insanlarının yazısı büyük ihtimalle hakem heyeti tarafından reddedilecek. Teknik ayrıntıyı verse yıllarca üzerinde çalıştığı projeyi altın tepsi de meslektaşlarına sunmuş olacak.
Belki de ticari ürüne dönüştürülecek bir araştırmanın süratle bazı firmalara servis edilmesi mümkün olabilir mi?
Hatta bazı araştırmalar varolan bir ticari ürünün sonu da olabilir ve hakem heyetlerinin takınacağı tavır burada son derece önemlidir.
Sizin de belirttiğiniz gibi sistem geliştirilmeye açık ama yerinde sayıyor gibi…
Bu işin oturmuş bir kuralı/kriteri yok gibi gözüküyor…
Tabii ki ana kurallar var ama hakem heyetleri çok fazla risk almak istemiyorlar sanırım… Sonuçta fiyasko ile sonuçlanabilecek bir makaleyi onaylayan hakemlerinde kredisi düşeceği ve bu işten maddi gelir sağlayamayacakları için riske girmemeleri ve kılı kırk yarmaları kendi açılarından doğal sanırım…
Nodel ödüllü Prof. Dr. Aziz Sancar, ABD’de katıldığı bir konferansta şunu söyledi; “Nobel’i aldıktan sonra iyi bir dergiye bir makale yolladım. Artık basarlar diyordum. Dört hakemden sekiz sayfa eleştiri geldi ve reddedildim” dedi.
Elbette ki Nobel ödülü almış bilim insanları da reddedilebilir (kurallar herkes için geçerli) ama önce reddeden bilim insanlarının sektörel ilişkileri iyi irdelenmeli diye düşünüyorum.
Sizin de belirttiğiniz gibi şu an en iyi sistem “hakem heyeti” gibi gözüküyor ama bunun altın standart olmadığı da kesin… Evet teknik prosedüre uymayan makalelerin ayıklanması hakem heyeti sayesinde oluyor ama yıllarca üzerinde çalışılmış araştırmaların da bir çırpıda elle tutulur sebepler gösterilmeksizin harcandığı kesin…
Asıl soru; “Hakem heyeti tüm aratırmanın en ince ayrıntısına kadar vakıf olmalı mı? Diğer bir değişle “Amaç/Yöntem/Sonuç” zincirinde ki “yöntem” bölümü makalede hangi seviyede ele alınmalı? Bunların bir kriteri yok.
Sonuç olarak bu sisteme uyulması zorunlu ama aynı zaman da ciddi bir “rant” boyutu da olduğu kesin.
Çok ender ele alınan bir konuyu detaylıca incelediğiniz için teşekkür ederim.
Yazılarınızı zevkle takip ediyorum.
Saygılar.
BeğenBeğen