Mühendislik Değerlendirme Kurulu’nun (MÜDEK) Oluşturulması

Bülent E. Platin

Editörler: Mustafa Tokyay, Fevzi Gümrah ve Çağdaş Şimşek, Öncü ve Önder: ODTÜ'nün Kuruluşunun 50. Yılında Mühendislik Fakültesi, 2006, sayfa 39-48. (pdf)

Mühendislik Değerlendirme Kurulu'nun (MÜDEK) kuruluşu her ne kadar Ocak 2001'de ilk toplantısını yapan Mühendislik Dekanları Konseyi'ne (MDK) dayansa da, kavramsal kökleri ülkemizdeki Accreditation Board for Engineering and Technology, Inc. (ABET) değerlendirmelerine kadar uzanmaktadır.

Hatırlayabildiğim kadarı ile ODTÜ mühendislik lisans programlarının ABET tarafından değerlendirilmesi fikri ilk kez 1990'lı yılların başlarında, o sıralar Mühendislik Fakültesi Dekanı olarak görev yapmakta olan Prof. Dr. Suha Sevük tarafından gündeme getirilmişti. Ekim 1992'de Prof. Dr. Tuncay Birand'ın Dekanlık görevini dervalması ile başlatılan çekirdek program çalışmaları sonucunda yeniden yapılandırılan mühendislik lisans programlarının dış değerlendirmeye tabi tutulma gereksiniminden yola çıkılarak, 1994 yılında Kimya Mühendisliği ve Maden Mühendisliği programlarının ABET tarafından değerlendirmesi ile ülkemizde bir ilk gerçekleştirilmiştir. Bu gelişmeler bu kitapta yer alan ve Prof. Dr. Tuncay Birand tarafından kaleme alınan "ODTÜ Mühendislik Fakültesinde Akreditasyon Etkinliklerinin Başlangıcının ve ABET Değerlendirme Sürecinin Öyküsü" başlıklı yazıda ayrıntılı olarak aktarılmıştır.

Bunu izleyen yıllarda, ODTÜ Mühendislik Fakültesi'nin diğer lisans programları yanında ülkenin diğer bazı önde gelen üniversitelerinin (Bilkent Üniversitesi – 1995, Boğaziçi Üniversitesi – 1999, İstanbul Teknik Üniversitesi – 2004)* ve Kuzey Kıbrıs Türk Cumhuriyeti'ndeki Doğu Akdeniz Üniversitesi'nin (2005)* çoğu ya da tüm mühendislik lisans programları için ABET değerlendirmesi almaları ve bunu halen sürdürmeleri, ODTÜ Mühendislik Fakültesi'nin bu alanda ne kadar önemli bir öncülük yapmış olduğunun açık göstergesidir.

2006 yılı itibari ile ODTÜ'nün de içinde bulunduğu bu beş üniversitede ABET değerlendirmesi almış olan programların sayısı 44'dür. Diğer taraftan, ikinci öğretim programlarını da sayarsak 2005 yılı itibari ile ülkemizdeki mühendislik lisans programlarının sayısı ise 550'ye yakındır. ABET değerlendirmelerinin üniversitelerimize getirdiği ağır maddi külfet, bu değerlendirmelerin İngilizce dilinde hazırlanmış belgelerle yapılma zorunluluğu ve yukarıda verilen program sayılarıyla ortaya çıkan operasyonel ölçek farkı gibi nedenler mühendislik programlarının ulusal bir düzenleme ile değerlendirilmesi fikrinin daha 1990'lı yılların ortalarında ortaya atılmasına ve kavramsal düzeyde de olsa gelişmesine yol açmıştır. Tabii bu doğrultudaki en büyük cesaret, ODTÜ'nün başı çektiği ve diğer üniversitelerin katılımı ile yayılan ABET değerlendirmeleri aracılığı ile akreditasyon konusunda edinilen kavramsal altyapıdan ve uygulama deneyiminden alınmıştır.

İşte bu noktada, o zamanki ODTÜ Mühendislik Fakültesi Dekanı olan Prof. Dr. Yıldırım Üçtuğ'un girişimleri ile bir sivil toplum insiyatifi olarak kurulan Mühendislik Dekanları Konseyi'nin MÜDEK'in oluşumuna doğru atılan adımlarda önemli bir lokomotif rolünü üstlendiğini görüyoruz. Ülkemizde ve KKTC'deki devlet ve vakıf üniversitelerindeki mühendislik ve mühendislik–mimarlık fakültelerinin dekanlarından oluşan MDK, ilk toplantısını 19 Ocak 2001'de ODTÜ Kültür ve Kongre Merkezi’nde (ODTÜ–KKM) yaptı. MDK'ın bu kuruluş toplantısında, bir dizi öncelikli konuda çalışma yapılması gündeme alındı ve bunlar için birer çalışma grubu kuruldu. Ülkemizdeki mühendislik programlarının değerlendirilmesi de bu öncelikli konulardan birisiydi. 1992–1997 yılları arasında akademik işlerden sorumlu Dekan Yardımcılığı yaptığım ODTÜ Mühendislik Fakültesi'nin ABET değerlendirmesi deneyimlerini taşımak üzere benden bu çalışma grubunda bulunmam istendiğinde, bu görevi seve seve kabul ettim. Boğaziçi Üniversitesi Mühendislik Fakültesi Dekanı Prof. Dr. Ali Rıza Kaylan'ın koordinatörlüğünü yaptığı Mühendislik Programlarını Değerlendirme Grubu'nda (MPDG) benden başka Bilkent Üniversitesi Mühendislik Fakültesi Dekanı Prof. Dr. Mehmet Baray, İTÜ Kimya–Metalurji Fakültesi Dekanı Prof. Dr. Hasancan Okutan, Çukurova Üniversitesi Mühendislik ve Mimarlık Fakültesi'nden Prof. Dr. Orhan Aksoğan ve Dokuz Eylül Üniversitesi Mühendislik Fakültesi'nden Prof. Dr. Fikret Kargı bulunmaktaydı. Ancak, Prof. Dr. Yıldırım Üçtuğ da MPDG toplantılarının hemen tümüne MDK Genel Sekreteri olarak katıldı, cesaret verici ve ufuk açıcı yaklaşımı ile çalışmaları yönlendirdi, aktif katkıda bulundu.

MPDG tarafından yapılan ön çalışmalar, çeşitli ülkelerdeki mühendislik eğitimini değerlendiren sistemlerinin incelenmesi ve bir yandan çağdaş gelişim eğilimlerine diğer yandan ülkemiz koşullarına en uygun olacak ulusal bir sistemin temel özelliklerinin saptanması üzerinde yoğunlaştı. İlk bulgular ve öneriler 19–20 Haziran 2001 tarihlerinde ODTÜ'de uluslararası katılımla düzenlenen "Mühendislik Eğitimi Seminer"inde ve bu etkinliğe paralel olarak yürütülen MDK 2. Toplantısı'nda sunuldu. MDK Genel Kurulu da

• MDK bünyesinde yürütülmek üzere,
• sağlanması gereken asgari kriterler önceden tespit edilerek,
• gönüllü katılım esasına dayanan,
• programların değerlendirilmesine yönelik,
• bir özdeğerlendirme ve takiben bir saha ziyaretini kapsayacak biçimde,
• finansmanı üniversitelerce karşılanmak üzere

Gerek çalışma grubunun etkinlikleri sırasında gerekse ülkedeki eğitim ve mühendislik çevrelerinde yukarıda sıralanan temel özelliklerden en fazla tartışılanı ve eleştirileni bu sistemin MDK bünyesinde kurulması oldu. MDK'nın kendi ürettiği hizmetin yine kendisi tarafından akredite edilmesi anlamına gelen bu özellikten kısa zamanda vazgeçildi ve hatta bu tür bir bağlantıyı önleyecek düzenlemeler getirme yoluna gidildi. İşte bu nedenle, bugün MDK üyesi dekanlar aktif dekanlık görev sürelerince ne MÜDEK üyesi ne de MÜDEK program değerlendirici olarak görev yapabiliyorlar. Ayrıca, MÜDEK tarafından yürütülen program değerlendirmelerinde ve alınan yetkinlik kararlarında MDK'nın hiç bir etkisi bulunmamakta.

MPDG çalışmalarına geri dönersek; 2001 yılının ikinci yarısında MDK'nın beklentileri doğrultusunda yürütülen çalışmaların ilk bölümünde, çeşitli ülkelerde bulunan mühendislik eğitimi değerlendirmesi sistemlerinin ayrıntılı incelenmesi ve bu sistemlerin ülkemiz koşullarına uygunluk değerlendirmesi yapıldı. 19 Haziran 1999 tarihli Bologna Deklarasyonu'nda "Benzer ölçütler ve yöntemlerin geliştirilmesi amacıyla yükseköğretimde kalite güvencesi alanında Avrupa işbirliğinin teşvik edilmesi" şeklinde yer alan ifade, mühendislik eğitiminin akreditasyonu konusunda Avrupa ülkelerinde gözlenen dağınıklığın, karmaşanın ve uyumsuzluğun bir kanıtı olarak değerlendirildi. Diğer taraftan, 1932'den bu yana A.B.D.'de mühendislik programlarını akredite eden bir kuruluş olan ABET'in 1990'lı yıllarda geliştirdiği, bir süredir deneme değerlendirmelerini yaptığı, 2000 yılında başlayan ve yalnızca bir kaç yıl sürecek geçiş döneminde üniversitelere eski değerlendirme sisteminin yanında bir seçenek olarak sunduğu yeni Engineering Criteria 2000 (EC2000) değerlendirme sistemi incelendi. Toplam kalite temeline dayalı ve mühendislik programlarında sürekli iyileştirmeyi öngören bir yaklaşım ile daha önceki ABET değerlendirme sisteminden önemli farklılık gösteren EC2000 sisteminin ülkemizdeki mühendislik eğitiminde kalite güvencesi sağlamak üzere bir model olarak kullanılabileceğine karar verildi. O tarihlerde, mühendislik eğitimindeki akreditasyon sistemlerini yeni kurmakta ya da yeniden yapılandırmakta olan Almanya (ASIIN – Board of the Accreditation Agency for Study Programs in Engineering, Informatics, Natural Sciences and Mathematics), Rusya (RAAE – Russian Association for Engineering Education) ve Japonya (JABEE – Japan Accreditation Board for Engineering Education) gibi ülkelerin ABET'in uygulamaya başladığı bu yeni sistemden yoğun bir şekilde esinlendikleri görüldü. ODTÜ Mühendislik Fakültesi'nin 1990'lı yıllarda ABET değerlendirmesi almış olan altı programından sonra, bu değerlendirmeyi almak üzere o tarihlerde hazırlık yapan geri kalan yedi programı için Türkiye'de ilk kez EC2000 sisteminin uygulanacak olması bir başka olumlu gelişme olarak kayda geçti. ODTÜ, Bilkent Üniversitesi ve Boğaziçi Üniversiteleri'nin mühendislik programlarının ABET değerlendirmesinden geçme sürecine yine o tarihlerde İTÜ'nün de EC2000 sistemi çerçevesinde hazırlanmakta olmasıyla, artık mühendislik alanında ülkemizde önde gelen bu üniversitelerimizde ABET tarzı program değerlendirmesi deneyimi edinmiş ciddi sayıda bir öğretim kadrosunun oluşmakta olduğu sonucuna varıldı. Böyle bir alt yapıya sahip insan kaynağı, kurulması öngörülen sistemin can damarını oluşturacaktı.

Tüm yukarıda sayılan gözlem ve değerlendirmeler MPDG çalışmalarını kesin bir noktaya getirmişti. O da oluşturulacak ulusal değerlendirme sisteminin, ABET'in 70 yıllık deneyim ve birikimine dayanan etkinliği kanıtlanmış yöntemlerini, paydaş katılımına dayalı bir kalite güvence yaklaşımını ve EC2000 benzeri değerlendirme ölçütlerini kullanan bir sistem olmasıydı. Ama sonradan görüldü ki, MPDG'nin üzerinde en fazla emek harcamak zorunda kalacağı ve işin başından beri aşırı dikkatli olunması gerektiğinin bilincinde olunan, kurulacak sistemin uygulayacağı yöntemler ve değerlendirme ölçütlerinden çok bu sistemin yönetim ve temsil yapısıydı. Burada yapılacak stratejik bir hata, çalışmayan, çalışsa da kabul görmeyen, kabul görse de işe yaramayan, yani ölü doğmuş bir sistem oluşumuna yol açacaktı. Zaten yurt dışındaki örneklere bakıldığında, farklı ülkelerdeki farklı sistemler arasındaki en büyük ayrışmanın bu noktada ortaya çıktığı görülüyordu. Burada, bir taraftan akreditasyon sistemlerindeki evrensel doğrulardan ödün verilmezken, diğer yandan çağdaş gelişmelere ve iyileştirmelere açık, ancak ülke gerçeklerini göz ardı etmeyen bir temsil ve yönetim modelinin oluşturulması gerekiyordu. Bence MPDG bu konuda çok önemli bir görevi başarılı bir şekilde yerine getirdi. Çünkü, aradan yalnızca beş yıl gibi kısa bir süre geçmiş olmasına rağmen ortada MÜDEK gibi saygın, güvenilir, hizmeti talep edilir, yalnız ulusal değil uluslararası alanda da tanınan bir oluşum bulunmakta, hem de henüz tüzel bir kişiliği olmadan.

Şimdi yine MPDG çalışmalarına dönmek istiyorum. 2001 yılının Ağustos ayında değerlendirme ölçüt ve yöntemleri konusunda karar verdikten sonra yapılan ilk kapsamlı iş ABET'in ana tüzüğünden başlayarak program değerlendiricilerinin uyması gereken etik kurallara kadar ne kadar belgesi varsa tümünün Türkçe'ye çevrisinin MPDG üyelerince yapılmasıydı. Bu yapılırken iki temel amaç güdülüyordu. Birincisi, oluşturulacak sistem için üzerinde çalışılacak yazılı bir belgeler kümesi oluşturulması, ikincisi ve belki de daha önemlisi böyle bir organizasyonun kurgusunu tüm ayrıntıları ile keşfedilmesiydi. ABET değerlendirmelerinden geçmiş programlarda bu değerlendirmelerin hazırlıkları ile yakından ilgilenmiş çok deneyimli arkadaşlar vardı. Ama burada itiraf etmek gerekir ki, bizler masanın hep "değerlendirilen" tarafında yer almıştık ve hiç masanın "değerlendiren" tarafında oturmamıştık. Bu gerçeği önümüze koyduğumuzda anladık ki, kendi sistemimizi ne kadar dilediğimiz gibi ve kendimize göre mükemmel kurgularsak kurgulayalım, eninde sonunda bu işi bizzat gerçekleştiren deneyimli değerlendiricilerden uzman desteği alarak bir kalibrasyon çalışması gerekecekti. Bu da, 2003 yılının başında MÜDEK'in ilk etkinliği olarak yapılan bir çalıştay ile gerçekleşti,ki bunun ayrıntısına daha ileride gireceğim.

Akreditasyon alanındaki çağdaş anlayış, yaklaşımlar, çeşitli ülkelerdeki uygulamalar ve bu konu üzerinde MPDG'da yapılanan görüşmeler bizi, mühendislik eğitimini değerlendirme amaçlı bir kuruluşun yapılanma modelinin vazgeçilmez iki özelliğinin

• devlet ve üniversite yönetimlerinden bağımsız ve
• bir sivil toplum kuruluşu

Yapılanma modeli için milli komite, vakıf, dernek, şirket ve bir başka kuruluşun altında işlev görme gibi seçenekler tartışıldı. Henüz işin başında iken, sonradan gerekecek değişiklik ve iyileştirmelere direnç gösterecek kemikleşmiş bir yapılanmanın uygun bir yaklaşım olmadığı görüşü baskın çıktı. Bunun yerine, tüm çevrelerce tanınana, güven ve saygınlık kazanana kadar tüzel kişilikten geçici bir süre fedakarlık edilerek, MDK Yürütme Komitesi desteği altında, olabildiğince basit, esnek, kendini geliştirebilen ve hiçbir yasal düzenleme gerektirmeyen bir yapılanmanın başlangıç için en uygun model olacağına karar verildi. Bu kararın sonucu olarak, MÜDEK'in sürekli, en sıklıkla ve belki de tek sorgulandığı konu tüzel kişiliğinin bulunmaması olmuştur. Bu sorgulama, tüm operasyonlarını yasal düzenlemelerle yürütmekte olan üniversitelerimizden bağımsız bir sivil toplum yapılanmasına gelmesi beklenen en doğal ve baştan beri tahmin edilen bir tepkiydi. Ancak, MÜDEK etkinlikleri devreye girip, MÜDEK değerlendirmelerindeki ciddiyet, yansızlık, güven, gönüllülük gibi unsurlar yanında, bu değerlendirmelerin ülkedeki üniversite sisteminin üst kademelerinden getirilen zorlamadan çok dileyen üniversitelere mühendislik programlarının iyileştirilmesinde yol gösteren bir araç olduğu anlaşılınca, bu kuşku ve tedirginlik içeren tepkiler bizzat üniversite ve fakülte yönetimlerinin sağduyulu yaklaşımları ile herhangi bir sorun yaratmadan ortadan kalktı.

Mühendislik eğitimini ilgilendiren çeşitli paydaşların kurulacak bu sistemdeki temsili, özellikle üniversite çevrelerince arzulanan, ancak yine bu çevrelerden kaynaklanan nedenlerle en fazla duyarlılık isteyen konulardan biriydi. Avrupa'daki bazı uygulamalardan da esinlenerek, akademik ve akademik olmayan kesimlerin eşit ağırlıklı temsilinin uygun bir ara yol olacağı düşünüldü. Akademik olmayan kesim olarak ilk akla gelen, mühendislik alanındaki meslek örgütü olan Türk Mühendis ve Mimar Odaları Birliği (TMMOB) oluşturulacak sistem içinde mutlaka temsil edilmeliydi. Bu sistemin mühendislik programlarının kalitesini geliştirme ve sürekli iyileştirme işlevinin olması öngörüldüğünden, Türkiye Kalite Derneği'nin (KalDer) katkılarını sağlayacak bir temsilin iyi bir fikir olduğu düşünüldü. Temsilci alınması için düşünülen Üniversitelerarası Kurul, Devlet Planlama Teşkilatı, Türkiye Bilimsel ve Teknik Araştırma Kurumu (TÜBİTAK), Türkiye Odalar ve Borsalar Birliği (TOBB), Türk Sanayicileri ve İşadamları Derneği, çeşitli sanayi ve ticaret odaları, çeşitli sendikalar gibi tüm diğer kurum, kuruluş ve dernekler, bazıları ile olası çıkar çatışması, bazılarının alternatif kardeş kuruluşlarının bulunması, bazılarının yeterince geniş tabanlı olmamaları ve benzeri nedenlerle sisteme dahil edilmedi. Ancak, akademik olmayan kesimin TMMOB ve KalDer dışındaki diğer üyelerinin temsil işlevlerini kurumsal temsilci kimlikleri yerine bireysel kimlikleri ile görmeleri daha pratik bir çözüm olarak benimsendi.

Bütün bunlardan sonra, sıra oluşturulacak kurulun üye sayısının saptanmasına gelmişti. Olabildiğince basit ve esnek yapılanma koşulu, üye sayısı az, ancak üzerinde her kesimin birleşebileceği güvenilir bireylerden oluşan, uyumlu ve hızlı karar verip uygulayan bir yapılanma gerektiriyordu. İlk başta, kurulun yedi üyeden oluşması ve en az dört üyenin üniversitelerde idari görevi olmayan öğretim üyelerinden seçilmesi görüşü benimsendi. Ancak, akademik ve akademik olmayan kesimlerin eşit ağırlıklı temsili ilkesi öne çıkınca, kurulun dördü üniversite temsilcisi, biri TMMOB temsilcisi, biri KalDer temsilcisi, ikisi sanayi temsilcisi olmak üzere sekiz kişiden oluşturulmasına karar verildi. Bu kurula ilk önceleri "Mühendislik Akreditasyon Kurulu (MAK)" adı verildi. Ancak, daha işin başındayken ve ortada herhangi bir tüzel kişilik bulunmazken, dolayısı ile alınacak yetkinlik kararlarının da resmi bir kimliği yokken, "akreditasyon" betimlemesinin sorgulanabileceği ya da itici olabileceği düşünüldü ve kurul son kuruluş aşamasında "Mühendislik Değerlendirme Kurulu (MÜDEK)" adıyla oluşturuldu. Kuruluş sırasında yapılan değişikliklerden bir diğeri de, üniversite temsilcisi üyelerin idari görevi olmayan öğretim üyelerinden seçilmesinin getireceği aşırı kısıtlama göz önünde tutularak yalnızca MDK üyesi dekanların MÜDEK üyesi ya da değerlendiricisi olamayacağı kuralının getirilmesi olmuştur. Ancak, bu kural uygulamada Rektör ve Rektör Yardımcıları için de kullanıldı ve halen de kullanılmakta.

Yürütülen uzun ve zahmetli çalışmalardan sonra tüm MÜDEK operasyonlarının temel özelliklerinin tanımlandığı "MÜDEK Çalışma Esasları" belgesinin ilk taslağı MPDG'nin 7 Aralık 2001 tarihinde yaptığı toplantıda görüşüldü. Bu nedenle, 7 Aralık 2001 tarihini MÜDEK açısından önemli bir kilometre taşı olarak görüyorum. Bu taslağa göre, MÜDEK üyelerinin görev süreleri iki yıl olarak öngörülmüştü ve ardarda üç dönemden daha uzun kesintisiz görev yapamıyorlardı. Böylece, kişilerin yıllarca aynı konumda görev yapması yerine yeni üyelerle sürekli bir değişim ve daha geniş bir tabana yayılım sağlanması hedeflenmişti. Ancak, kurumsal yönetim hafızasının sürekliliğini sağlamak için de, başkan yardımcılığı görevini üstlenen üyenin bir sonraki dönemin başkanı olması, başkanın da bir sonraki dönemde "eski başkan" sıfatı ile üyeliğinin sürmesi düzenlemesi getirildi. Yeni dönem üye ve başkan yardımcısı adaylarının, eski başkanın başkanlığında ve başkan, başkan yardımcısı ve MDK genel sekreterinden oluşan Aday Belirleme Komitesi (ABK) tarafından MÜDEK'e gelen öneriler ya da ABK'nın kendi bulduğu adlar arasından saptanıp karar verilmek üzere MÜDEK'e sunulması öngörülüyordu. MÜDEK kararı onay için MDK Yürütme Kurulu'na sunuluyordu. Üye yenilenmesi, kurumsal ve sektörel temsil ile mühendislik disiplinlerine göre dengeli dağılımı öngörüyordu. Program değerlendirme işlevini ise mühendislik programlarının değerlendirmesi için MÜDEK'e başvurmuş her fakülte için kurulmuş değerlendirme takımları yürütecekti. Bu takımlar, değerlendirilecek programların ilgili olduğu mühendislik disiplininde uzmanlaşmış en az birer değerlendirici ile mutlaka MÜDEK üyeliği yapmış ya da yapmakta olan bir başkandan oluşmaktaydı. Yeni MÜDEK üyelerinin ve yeni MÜDEK değerlendiricilerinin mutlaka bir MÜDEK eğitiminden geçmiş olmaları öngörülüyordu. Değerlendirme başvurusunda bulunan üniversiteler, her program için belli bir formatta özdeğerlendirme raporu hazırlayacaklar ve MÜDEK'e sunacaklardı. Bu raporlar değerlendirme takımlarınca incelenecek, başvuran üniversiteye takımca bir ziyaret yapılacak ve her program daha önceden saptanmış olan değerlendirme ölçütleri kullanılarak değerlendirilecekti. Bu değerlendirmeler MÜDEK tarafından incelenerek sonuçlandırılacak ve sonuç MÜDEK tarafından ilgili üniversiteye bildirilecekti. Değerlendirmeler sırasında değerlendirme takımının ve MÜDEK üyelerinin edindiği bilgi ve belgelerde gizlilik ilkesine uyulması MÜDEK'in daha sonra geliştirilecek etik kurallarının ilk girdilerindendi. MÜDEK'in hem kavramsal hem de gerçek anlamda oluşumunun her aşamasında bir sorun olarak ortaya konulan değerlendirme etkinlerinin mali boyutu ile ilgili olarak, önce üniversitelerin değerlendirilmesini istediği her program için belli bir ödeme yapması öngörülmüş, ancak MÜDEK'in kurulmasından sonra bu düzenleme değerlendirme takımının yapacağı ziyaretle ilgili her türlü masrafın ilgili üniversite tarafından karşılanması şeklinde değiştirilmiştir ve halen de bu şekilde uygulanmaktadır.

Özellikle "MÜDEK Çalışma Esasları" belgesi taslağı ile kurgusu belirlenen sistem, 11-12 Ocak 2002 tarihlerinde Adana Çukurova Üniversitesi'nde yapılan ve gündeminin ana maddesi akreditasyon sistemi olan MDK 3. Toplantısı'nda Genel Sekreter Prof. Dr. Yıldırım Üçtuğ tarafından sunuldu ve MDK tarafından benimsendi. Benim de katıldığım ve önerilen sistem hakkında açıklamalarda bulunduğum bu toplantıda MDK, MPDG çalışmalarının sürdürülmesini, sistemin tüm ayrıntıları ile oluşturulmasını ve bir sonraki MDK toplantısına sistemin kurulması için ayrıntılı önerinin getirilmesi isteğini ortaya koydu.

MDK 3. Toplantısı'nı izleyen 4 aylık sürede, MPDG ve MDK Yürütme Kurulu ortak çalışmalar yürüttü. Bu çalışmalarda, öncelikle önerilen sistemin ayrıntıları üzerinde duruldu ve tereddütlü bazı konular açıklığa kavuşturuldu. Daha sonra, programlarının MÜDEK tarafından değerlendirmesi için gönüllü olan fakülteler ve bunların programlarının mühendislik disiplinlerine göre dağılımı incelendi ve böylece ilk değerlendirme döneminde MÜDEK'in başa çıkması gereken değerlendirme yükü belirlendi. Daha önceden MDK üyesi Dekanlar aracılığı ile öğretim üyelerine yapılan MÜDEK bünyesinde görev alma çağrısına yanıt veren gönüllü öğretim üyeleri listesi de gözönünde tutularak MÜDEK'in üniversite temsilcilerinin adayları belirlendi, TMMOB ve KalDer ile temasa geçilerek MÜDEK temsilcilerinin belirlenmesi istendi ve sanayiden sektör temsilcisi olarak görev yapacak MÜDEK üyesi adaylar belirlendi.

MPDG’nin bu çalışmaları, 24–25 Mayıs 2002 tarihinde Lefkoşa Yakın Doğu Üniversitesi'de yapılan MDK 4. Toplantısı'nda mühendislik dekanlarına sunuldu. Mühendislik Dekanları Konseyi de, MÜDEK kısa adıyla bir Mühendislik Değerlendirme Kurulu oluşturulmasına ve etkinliklerini MÜDEK Çalışma Esasları (MÇE) ve MÜDEK Değerlendirme Ölçütleri belgelerine çerçevesinde yürütmesine karar verdi. MÇE'nin geçici maddesine göre, MDK Yürütme Kurulu MÜDEK üyelerinden dört üniversite temsilcisinden birine benim, diğerlerine İTÜ Kimya Mühendisliği Bölümü öğretim üyesi Prof Dr. Ayşe Erdem-Şenatalar'ın, o sıralar TÜSSİDE Müdürlüğü görevini yürütmekte olan Marmara Üniversitesi Endüstri Mühendisliği Bölümü öğretim üyesi Prof. Dr. Nüket Yetiş'in ve Çukurova Üniversitesi Elektrik–Elektronik Mühendisliği Bölümü öğretim üyesi Prof. Dr. Hamit Serbest'in, iki sanayi temsilciliğine de uzun yıllar Arçelik Ar–Ge Merkezi Müdürlüğü yaptıktan sonra Arçelik Teknoloji Koordinatörlüğü'nden emekli olan Refik Üreyen'in ve Payzın Danışmanlık Ltd. Şti. sahibi olan Doç. Dr. Erbil Payzın'ın getirilmesini uygun gördü. TMMOB, temsilci olarak TMMOB'de İkinci Başkan görevini yapmakta olan İstanbul Üniversitesi Jeofizik Mühendisliği Bölümü öğretim üyelerinden Doç. Dr. Oğuz Gündoğdu'yu, KalDer de temsilcisi olarak KalDer İcra Kurulu Üyesi ve Ödül Sekreteri Dr. Aydın Kosova'yı saptamıştı.

Üyeleri belli olduktan sonra ilk toplantısını 05 Temmuz 2002 tarihinde yapan MÜDEK, Çalışma Esasları'nın geçici maddesine göre atanmak üzere Başkanlık için benim, bir sonraki dönem başkanlığını otomatik devralacak Başkan Yardımcılığı için de Prof. Dr Ayşe Erdem-Şenatalar'ın MDK Yürütme Kurulu'na önerilmesine karar verdi ve bu öneri 13–14 Aralık 2002 tarihlerinde Konya Selçuk Üniversitesi'nde yapılan MDK 5. Toplantısı sırasında MDK Yürütme Kurulu tarafından benimsendi.

MDK 5. Toplantısı'na kadar geçen süre içinde çalışmalarını yoğun bir şekilde sürdüren MÜDEK, temel işlevleri olarak tanımlanan

• Mühendislik programlarının değerlendirilmesi,
• Değerlendiricilerin seçimi ve eğitimi,
• Program yöneticilerinin ve öğretim üyelerinin program değerlendirmesi konusunda bilgilendirilmesi ve eğitimi,
• Değerlendirme ölçütlerinin gözden geçirilmesi ve yenilenmesi

Bu hazırlıkların arasında en kritik olanı 2003–2004 değerlendirme döneminde başlayacak değerlendirmelerde program değerlendiricisi olarak görev yapacakların seçimi ve eğitimiydi. Bu dönemdeki program değerlendiricilerinin seçiminde, kendi fakülte ve bölümlerinde yapılan ABET değerlendirme çalışmalarında görev yapmış öğretim üyelerinden yararlanılması stratejik bir yaklaşım olarak benimsendi. Ancak değerlendirici adaylarının eğitiminin, kendi üyeleri bile bu tür bir eğitimden geçmemiş olan MÜDEK tarafından verilmesi mümkün değildi. Bunun üzerine hem MÜDEK üyelerinin eğitimini hem de değerlendirici adaylarının eğitimini gerçekleştirmek için bir çalıştay düzenlenmesine ve çalıştay eğiticilerini sağlamak üzere ABET ve ABET'te temsil edilen çeşitli meslek kuruluşları ile temasa geçilmesine karar verildi. Oldukça uzun ve zahmetli uğraşlar sonunda uzun yıllar ABET program değerlendiriciliği, daha sonra ABET'te American Society of Mechanical Engineers (ASME) adlı meslek örgütünün temsilcisi olarak Mühendislik Akreditasyon Komisyonu ve Eğitim Komisyonu üyeliklerini yapmış, EC2000 sisteminin geliştirme çalışmalarında aktif rol oynamış ve bu tür çalıştayları yürütmede deneyimli iki öğretim üyesi (Prof. Dr. Thomas Bowman – Florida Institute of Technology ve Prof. Dr. Bassem Armaly – University of Missouri-Rolla) bulundu. Bu gelişmeye paralel olarak, program değerlendiricilerinin eğitimi konusundaki kendi alt yapımı geliştirmek üzere, gerek mesleki nedenlerle gerekse o sıralar başkanı olduğum ASME Türkiye Şubesi'ni temsil etmek üzere katıldığım 17–22 Kasım 2002 tarihlerinde A.B.D.'nin New Orleans kentinde yapılan "ASME International Mechanical Engineering Congress & Exposition" sırasında düzenlenen bir gün süreli "ASME/ABET EC2000 Preparedness Workshop"ına katıldım. Bu toplantıda, yukarıda adı geçen iki öğretim üyesi ile de görüşme ve Türkiye'de yapılacak çalıştayın ayrıntılarını planlama fırsatını buldum. Sonuç olarak, MÜDEK'in ilk etkinliği olan bu çalıştay 17–18 Ocak 2003 tarihlerinde 28 katılımcı ile İstanbul'da Koç Üniversitesi salonlarında gerçekleşti. 1 A.B.D. dolarının 1.650.000 TL olduğu bir ortamda, çalıştay giderlerini karşılamak için TÜBİTAK, Arçelik A.Ş. ve TMMOB'dan maddi destek alındı, çalıştay dokümanlarını TÜSSİDE bastı, Kütahya Porselen A.Ş. konuk çalıştay yürütücülerinin hediyelerini üstlendi. Katılımcıların sekizi MÜDEK üyesi, geri kalan 22'si çeşitli üniversitelerden (ODTÜ, Bilkent Üniversitesi, İTÜ, Boğaziçi Üniversitesi ve Marmara Üniversitesi) ve Arçelik A.Ş.'den davet edilmiş MÜDEK program değerlendirici adaylarıydı. Üniversitelerden olan değerlendirici adaylarının ortak özellikleri, hizmet vermiş ya da vermekte oldukları birimlerin ABET değerlendirmesi hazırlıklarına fiilen katılmış olmalarıydı. Çalıştayın en önemli katkılarından birisi, ABET'in EC2000 sistemini model alarak kurguladığımız MÜDEK sisteminin deneyimli uzmanlar aracılığıyla doğrulanması, kalibrasyonu, kavramsal çerçevesinin iyice oturtularak bazı ince ayarlarının yapılmasıydı. Bu çalıştayda eğitilen katılımcıların çok önemli bir kısmı daha sonra gerçekleştirilen MÜDEK değerlendirici eğitimi çalıştaylarına da katıldıktan sonra MÜDEK program değerlendiricisi olarak başarıyla görev yaptılar. Bu çalıştay, aynı zamanda MÜDEK'in kendi değerlendirici eğitimi çalıştaylarını tasarlamasına ve geliştirmesine de büyük katkıda bulundu. Bu nedenle, Prof. Dr. Thomas Bowman ve Prof. Dr. Bassem Armaly'nin emeklerini şükranla anıyorum.

2002 yılının ikinci yarısındaki MÜDEK çalışmalarına dönersek, bunların arasında "MÜDEK Çalışma Esasları" ve "MÜDEK Değerlendirme Ölçütleri" belgeleri yanında, "MÜDEK Özdeğerlendirme Raporu", "MÜDEK Değerlendirme Kılavuzu" ve "MÜDEK Program Değerlendiricisi Raporu" gibi belgelerin gözden geçirilmesi, tutarsızlıkların giderilmesi ve dil birliğinin sağlanması önemli bir yer aldı. MÇE'de önerilen değişiklikler MDK onayı ile devreye girdi. Daha sonra bu belgelere "MÜDEK Etik Kuralları" ve "MÜDEK Değerlendirme Takımı Üyelerinin Değerlendirilmesi" belgeleri de eklendi. Aslında bu etkinlikler her zaman burada anlatıldığı gibi pek rahat gitmeyebiliyordu. Örneğin, MÇE'de yer alan program değerlendiricilerinin profesör unvanlı olması zorunluluğunun kaldırılması Konya Selçuk Üniversitesi'nde yapılan MDK 5. Toplantısı'nda hiç beklenmedik bir biçimde uzayan tartışmalara yol açtı ve ancak oy çokluğu ile kabul gördü.

Konya Selçuk Üniversitesi'nde yapılan MDK 5. Toplantısı'nda MÜDEK Başkanı olarak yaptığım MÜDEK'in kuruluşundan beri yapılan çalışmaları ve planlanan etkinliklerin hazırlıklarını özetleyen sunum MDK üyelerince büyük ilgiyle izlendi ve birçok dekan söz alarak, bu kadar kısa zaman diliminde gerçekleştirilenler için bana ve MÜDEK üyelerine teşekkür ettiler; MÜDEK'e verecekleri desteği ve MÜDEK değerlendirmelerini sabırsızlıkla beklediklerini dile getirdiler. Bu bir anlamda, MÜDEK tarafından yürütülen ilk çalışmaların kabul gördüğünün ve planlanmakta olan etkinliklere olan beklentilerin bir işaretiydi. Bu sunum, aynı zamanda bir geleneği de başlattı ve yılda iki kez yapılan MDK toplantılarında yapılan sunumlar ile son altı aydaki MÜDEK gelişmeleri dekanlarla paylaşıldı, onların kaygı, görüş, beklenti ve önerileri birinci elden öğrenildi. Yılda iki kez de olsa, MÜDEK ve dekanlar arasında gerçekleştirilen bu yakın temas, bir taraftan karşılıklı güven ve saygıyı pekiştirirken diğer taraftan bireysel tanışıklık aracılığıyla karşılıklı içten davranışların gelişmesine yardımcı oldu. Bence bu olumlu etkileşim, daha sonra gerçekleştirilecek MÜDEK çalıştaylarına dekanlarca verilen inanılmaz desteğin temel kaynağını oluşturdu. Bu destek, hem çalıştaylara katılımcı göndermek, hem de katılımcılara en az düzeyde yük olacak şekilde çalıştay ev sahipliğini üstlenmek şeklinde ortaya çıktı ve halen de artarak sürmekte.

2002 yılının ikinci yarısında yapılan bir diğer çalışma, Yükseköğretim Kurulu ve Üniversitelerarası Kurul ile dirsek temasının başlatılmasıydı; ancak bu girişim çeşitli nedenlerle somut sonuçlar vermedi. Bu konu hem MDK üyelerinin hem de üniversite öğretim üyelerinin üzerinde hassaslıkla durduğu bir konu olma niteliğini daha ilk günlerden beri korudu. Bazı dekanların ve öğretim üyelerinin şüpheci ve tedirgin yaklaşımlarını yansıtan "YÖK bu işe ne diyor?" sorgulamaları ile hep karşılaşıldı. Bu tür sorgulamalarda MÜDEK'in takındığı tavır ve yanıt hep "MÜDEK zorunlu denetim görevini üstlenmiş bir devlet kuruşu değildir. Önemli olan MÜDEK değerlendirmeleri için YÖK'ün ne dediği değil, üniversitelerin kendi mühendislik programlarını geliştirmek ve iyileştirmek için MÜDEK değerlendirmelerini bir araç olarak görmeleri ve bu değerlendirmeleri MÜDEK'ten gönüllü olarak talep etmeleridir." şeklinde oldu. MÜDEK'in resmi YÖK belgelerine ilk girişi, 19–20 Mayıs 2005 tarihlerinde Norveç'in Bergen kentinde toplanan Avrupa Yüksek Eğitim Bakanları Konferansı'nda sunulan ve YÖK tarafından Türkiye için hazırlanmış olan 2004–2005 Ulusal Rapor'un "Kalite Güvence" bölümünde MÜDEK'in kuruluşuna ve etkinliklerine yer verilmesi ile oldu ve bu durum akademik çevreleri oldukça rahatlattı. Bu bilginin 20–21 Mayıs 2005 tarihlerinde Bursa Uludağ Üniversitesi'nde yapılan MDK 10. Toplantısı'nda Prof. Dr. Ayşe Erdem-Şenatalar'ın MÜDEK Başkanı olarak yaptığı sunumda verilmesi üzerine salondan yükselen hararetli ve uzun alkışı bugün gibi hatırlıyorum. YÖK'ün 20 Eylül 2005 tarihli Resmi Gazete'de yayınlanarak yürürlüğe giren "Yükseköğretim Kurumlarında Akademik Değerlendirme ve Kalite Geliştirme Yönetmeliği", bu yönetmelikte tanımlanan "bağımsız dış değerlendirme süreci" ve bu yönetmelik gereği kurulan "Yükseköğretim Akademik Değerlendirme ve Kalite Geliştirme Komisyonu (YÖDEK)", MÜDEK'in ne kadar doğru bir yaklaşımla kurulduğunu ve ne kadar sağlıklı bir gelişme içinde olduğunu bir kez daha ortaya koydu. YÖDEK'in kuruluşundan itibaren başlayan MÜDEK–YÖDEK dirsek teması çok olumlu bir şekilde sürmektedir. MÜDEK'in tüzel kişilik kazanmasının beklendiği 2006 yılı içinde YÖDEK'ten "Kalite Değerlendirme Tescil Belgesi" alması da hedeflenmektedir.

MÜDEK değerlendirmeleri 2003–2004 döneminde başladı. Bu dönem için niyet bildiren üniversitelerin ve programların yüksek sayısı (sırasıyla 10 ve 28) bizlerde tam bir şok yaratmıştı. Daha işin başındayken bu kadar büyük ve geniş yelpazeli bir değerlendirme operasyonunu yürütmek olanaksızdı. Ancak zaman içinde, MÜDEK değerlendirmelerindeki temel felsefenin ve beklentinin niyet bildiren üniversitelerin ilgili birimlerince tam kavranamadığı ve/veya bu işlemin aşırı basit olarak algılandığı ortaya çıktı. Sonuçta, bu ilk değerlendirme döneminde yalnızca iki üniversite mühendislik programları arasından MÜDEK değerlendirmesine gerçekten hazırlanmış olan toplam yedi programı için başvuru yaptı. Üç değerlendirme dönemini geride bıraktığımız 2006 yılı itibariyle, altı üniversitenin 11 değişik mühendislik disiplininde toplam 31 programı MÜDEK değerlendirmesinden geçmiş durumdadır. 2006–2007 değerlendirme döneminde MÜDEK değerlendirmesi için dört üniversitenin beş fakültesinden 29 mühendislik programı için niyet bildirildi. Ama yine biliyoruz ki, gerçek sayılar başvurunun son günü olan 01 Ağustos 2006 tarihinde ortaya çıkacak.

MÜDEK 2003–2004 dönemindeki değerlendirmelerini yürütmek ve daha sonraki yıllarda yapılacak değerlendirmelerin değerlendirici gereksinimini de kısmen karşılayacak bir değerlendirici havuzu oluşturmak için bir değerlendirici eğitimi çalıştayı tasarladı ve kendi yürüttüğü ilk değerlendirici eğitimi çalıştayını 12 Eylül 2003 tarihinde İstanbul'da Boğaziçi Üniversitesi Mühendislik Fakültesi'nde gerçekleştirdi. Bu çalıştay, aynı zamanda akreditasyon alt yapısı olmayan MÜDEK üyelerinin eğitimi işlevini de gördü. Benzer çalıştaylar 2004 ve 2005 yıllarında içeriği ve yöntemleri geliştirilerek aynı mekanda tekrarlandı. 2006 yılı başı itibariyle, MÜDEK'in 14 değişik mühendislik disiplininde 47'si üniversitelerden olmak üzere toplam 60 eğitilmiş program değerlendiricisinden oluşan bir değerlendirici havuzu bulunmaktadır. Bu çalıştaylara verdiği destek için Boğaziçi Üniversitesi Mühendislik Fakültesi Dekanı Prof. Dr. Ali Rıza Kaylan'a teşekkür etmek istiyorum. Eylül 2006'da da yapılacak değerlendirici eğitimi çalıştayı ile bu havuzun 90 değerlendiriciye genişletilmesi planlanmaktadır.

MÜDEK eğitim çalıştayları yalnız değerlendiricilerin eğitimine yönelik kalmadı. İlki 13 Şubat 2004 tarihinde ODTÜ–KKM'nde gerçekleştirilen ve Mayıs 2006 itibari ile sayısı sekizi bulan eğitim çalıştaylarında, mühendislik programlarını MÜDEK değerlendirmesinden geçirmek isteyen 44 üniversiteden yarısı yönetici (Dekan, Dekan Yardımcısı, Bölüm Başkanı, Bölüm Başkan Yardımcısı)konumunda olan yaklaşık 200 öğretim üyesine MÜDEK ve değerlendirmeleri konusunda eğitim verildi. Bu çalıştayların katılımcıları artık kendi fakültelerinde ve bölümlerinde, mühendislik programlarının sürekli iyileştirme çalışmalarını daha bilinçli bir şekilde yürütüyorlar, eğitimde kalite güvence kavramının önemini yayıyorlar ve bu programları MÜDEK değerlendirmelerine hazırlıyorlar. Bu çalıştaylardan ikisi KalDer tarafından her yıl düzenlenen Ulusal Kalite Kongresi kapsamında, diğerleri ise ODTÜ, Bilkent Üniversitesi, Hacettepe Üniversitesi, TOBB Ekonomi ve Ticaret Üniversitesi, Gaziantep Üniversitesi ve Başkent Üniversitesi'nde yapıldı. Bu çalıştaylara verdikleri destekler için bu üniversitelerin Mühendislik Fakültelerinin yönetimlerine teşekkür etmek istiyorum.

MÜDEK çalıştaylara ek olarak, gerek ulusal gerekse uluslararası düzeyde çeşitli toplantılarda bildiriler sunarak ya da kuruluşların çağrısı üzerine sunum yaparak mühendislik eğitiminde kalite güvence kavramını yaymakta, kendini ve etkinliklerini tanıtmaktadır. Bu tür sunumların sayısı Mayıs 2006 itibari ile 23'ü bulmuştur. MÜDEK belgeleri, sunumları ve çalıştayları gibi bir çok kaynağa oldukça zengin içerikli bir web sayfasından (http://mudek.me.metu.edu.tr) ulaşılabilmektedir. Bu web sayfasının oluşturulması ve güncelleştirilmesi için 2002 yılından beri kendi web sunucusunun kullanımına izin vererek MÜDEK'e katkıda bulunduğu için ODTÜ Makina Mühendisliği Bölümü yönetimine teşekkür ediyorum.

Son olarak, MÜDEK'in Ekim 2004'ten beri içinde bulunduğu bir Avrupa Birliği projesi ve devamından söz etmek istiyorum. Bologna Süreci ile tanımlanan "Avrupa Yükseköğretim Alanı (EHEA)"nın gerçekleşmesine katkıda bulunmak üzere çeşitli ülkelerden mühendislik, eğitimi ve kalite alanlarında 14 ortak ile Temmuz 2004'te başlatılan "Accreditation of European Engineering Programmes and Graduates (EUR–ACE)" adlı Socrates projesinin yürütücüleri ile İstanbul'da 21–23 Ekim 2004 tarihlerinde yapılan Conference of European Schools of Advanced Engineering Education and Research (CESAER) yıllık toplantısında o zamanki İTÜ Rektörü Prof. Dr. Gülsün Sağlamer aracılığı ile tanışıldı ve MÜDEK bu projenin etkinliklerine katılmak üzere davet edildi. Bu projenin temel amacı mühendislik eğitiminin akreditasyonu için bir Avrupa sistemi oluşturmaktı. 31 Mart 2006'da sona eren bu projenin ana çıktıları olarak tanımlanan

• A1: EUR–ACE Framework Standards for the Accreditation of Engineering Programmes (including a Template for Publication of Results)
• C1: Commentary on document A1
• A2: Organization and Management of the EUR–ACE Accreditation System: A Proposal
• A3: Financial plan for establishing and running the EUR–ACE Accreditation System

EUR–ACE projesinin öngördüğü EUR–ACE akreditasyon sistemini başlatmak ve yürütmek üzere European Network for Accreditation of Engineering Education (ENAEE) Şubat 2006'da Belçika’da kuruldu. ENAEE’nin 30 Mart 2006'da yapılan ilk genel kurulunda, EUR–ACE sisteminin uygulaması için Avrupa Komisyonu'nun "DG EAC 01/06 – Higher Education Reform (Lisbon Strategy and Bologna Process)" proje çağrısına uyularak iki yıllık bir proje teklifi daha verilmesine karar verildi. MÜDEK'in 20 Nisan 2006'da teslim edilen bu proje teklifinin 18 resmi ortağından birisi olmasından büyük onur ve keyif duyuyorum.

MÜDEK'in yakın gelecekteki dış gündemini şöyle sıralamak istiyorum:

• MÜDEK'in bir sivil toplum kuruluşu olarak tüzel kişilik kazanması
• MÜDEK'in mühendislik programlarına yönelik bir akreditasyon kuruluşu olarak ulusal düzeyde YÖDEK tarafından resmen tanınması
• MÜDEK'in ENAEE üyesi olması ve EUR–ACE etiketli akreditasyon verir hale gelmesi
• ABET ve diğer "Washington Accord" kuruluşlarıyla karşılıklı tanınma anlaşması imzalanması

Ülkemizde mühendislik eğitiminde kalite standartlarının oluşturulması ve ulusal bir kalite güvence sisteminin kurulmasında yalnızca 5 yıllık bir geçmişi olan bir oluşumun hikayesini aktarmaya çalıştım. Yer kısıtlaması nedeniyle bazı çok önemli gelişmeleri ya aktaramadım ya da üzerinde yeterli ayrıntıda duramadım. Bu hikayede hafızamın kurbanı olarak atladığım bazı kurumlar ve kişiler varsa beni bağışlasınlar.

Bu yazımda aktardığım bütün güzel gelişmeleri ODTÜ Mühendislik Fakültesi'nin öncülüğü ve önderliğine borçlu olduğumuzu düşünüyorum. MÜDEK çalışmalarında desteklerini hiç bir zaman esirgemeyen Fakültemizin dekanları Prof. Dr. Yıldırım Üçtuğ ve Prof. Dr. Mustafa Tokyay'a, sonsuz teşekkürler.

MÜDEK'in oluşumunda ve bugünkü konuma gelmesinde büyük katkıları olan ve kendilerini mühendislik eğitiminin gelişmesine adamış tüm gönüllü yol arkadaşlarıma sesleniyorum: İyi ki varsınız!

Mayıs 2006, ODTÜ, Ankara

_________________________________
* İlk program değerlendirmeleri parantez içinde verilen yıllarda yapılmıştır.