Apa Arti Suatu ‘Ranking’?

Minggu ini, saya napak tilas ke tempat di mana saya pernah kuliah dulu di Perancis. Saya ingin menunjukkan ke Istri dan putra putri saya. Dulu sebelum Pandemi Covid, saya pernah menunjukkan kepada mereka tempat sekolah SD, SMP dan SMA saya. Nah, tahun ini giliran saya menunjukkan tempat tempat di mana saya kuliah dulu.

Pagi ini, saya menunjukkan tempat dimana saya dulu mengambil tugas akhir saya, yaitu University Strasbourg 1 (University Louis Pasteur) di Strasbourg. Ketika sampai di Universitas ini, keadaan sepi (maklum hari minggu), tidak ada mahasiswa yang lalu lalang. Alih alih istri dan anak-anak terkesan dengan kampusnya, mereka cuma komen: “Kok jelek amat ya?? Bangunannya tidak ada yang baru seperti kampus-kampus di Inggris, University of Warwick atau tidak tua, antik seperti University of Oxford atau Cambridge?”

Kemudian istri saya bertanya, “Ranking QS nya berapa? Apakah lebih tinggi dari Bristol, Universitas tempat saya mengajar yang saat ini ranking QS nya 51?”. Saya jawab: “Nggak tau”. Istri saya sontak langsung membuka handphone-nya dan nanya Chat GPT. “Eh ternyata cuman ranking 420” jawab dia sendiri.

Saya tertegun. Awalnya saya tidak percaya karena setahu saya University of Strasbourg itu memiliki banyak pemenang Nobel Prize-nya. Tapi setelah saya liat handphone-nya, ternyata benar. University of Strasbourg itu cuma ranking 420 di World QS Ranking. Iya, ranking 420 di dunia!

Setelah kami balik menuju hotel, saya bergegas untuk mengecek ke Wikipedia, dan ternyata Universitas Strasbourg yang didirikan tahun 1538 itu punya: 18 Nobel Prize winners di berbagai bidang, dan yang paling banyak dalam bidang Kimia. Misalnya Baeyer, Paul Ehrlich, Hoffman, Fischer yang namanya bisa diasosiasikan ke suatu reaksi kimia. Mereka semua dapat Nobel Prize ketika bekerja di Strasbourg. Yang paling terkini dapat Nobel Prize aja tahun 2016. Hal ini menunjukkan bahwa reputasi Universitas ini di bidang Kimia tidak hanya terjadi di masa lalu saja, melainkan hingga saat ini.

Universitas ini bukan saja berprestasi di bidang Kimia saja., namun juga Fisika. Bahkan, di bidang Matematika, universitas ini telah menghasilkan 2 Field Medal Winners dan 1 Abel Winner (keduanya setara dengan Nobel). Bahkan sekolah politik yang paling bergengsi di Perancis – ENA – berpindah kampusnya dari Paris dan bergabung dengan University of Strasbourg. FYI, Louis Pasteur saja lulusan Strasbourg.

Namun ini semua tidak ada artinya bagi orang orang kebanyakan seperti istri saya. Baginya, kampus ini rangking QS dunianya rendah. Ilustrasi sederhananya adalah,

Mosok ITB aja yang ranking QS dunianya bisa ranking 282, sedangkan UGM bisa ranking 224 dan UI (yang pernah terseret kasus pemberian gelar PhD ke seorang Politisi yang dinilai oleh banyak pihak kontroversial) saja rankingnya 189″.

Bagi kebanyakan orang, ini artinya UGM, ITB, UI jauh lebih bagus dari University of Strasbourg. Padahal saya tahu, minimal ada 2 Professor UI itu S3-nya dari jurusan Kimia di Strasbourg. Saya langsung ngebatin, “Apa sih artinya ranking itu? Untuk apa sih awalnya?” Sudah tentu saya tidak bisa menjawab pertanyaan diatas untuk semua ranking yang ada.

Saya akan mencoba menjawabnya berdasarkan bidang penelitian dan pekerjaan saya di dunia akademis. Ketika saya bekerja di Cranfield University – karena bidang ilmu saya adalah Science & Technology Policy – saya mulai terlibat dengan penelitian ‘merangking’ universitas di UK berdasarkan performa riset mereka dengan berbagai instrumen pengukur.

Dari hasil pengukuran ini kami mengambil kesimpulan: “Tidak ada satupun dataset (e.g. publikasi dan paten), metode pengukuran (e.g. number citation dan h-index) yang bisa meranking secara fair suatu institusi”. Ranking masih bisa dipertanggung jawabkan bila itu terjadi per bidang studi dan dalam satu negara. Bila perbandingannya diperluas ke tingkat dunia, maka hasilnya akan rancu. Singkatnya, ranking hanya bisa digunakan untuk merangking si “terukur” yang berada dalam konteks “budaya atau situasi” yang sama.

Dan yang paling penting dari itu semua adalah ranking itu hanya berguna untuk mengukur suatu tujuan yang spesifik dan sempit yang berguna bagi yang melakukan pengukuran itu sendiri. Misalnya, untuk membantu Kementrian Dikti di Inggris untuk mengalokasikan dana penelitian ke berbagai universitas sesuai dengan Ranking Research Excellence Framework (REF). Jika REF-nya tinggi, maka mendapat dana alokasi penelitian yang lebih tinggi pula daripada yg REF-nya rendah.

Namun demikian, Ranking REF ini tidak bisa digunakan untuk menyimpulkan bahwa yang Ranking REF-nya tinggi berarti reputasi riset dari universitas itu lebih tinggi dari yang Ranking REF-nya rendah. REF tidak diperuntukkan untuk mengukur “reputasi riset” saja, karena konsep “reputasi” adalah suatu konsep yang majemuk dan subjektif tergantung kepada siapa yang mengartikannya. REF hanya mengukur secara sempit rata-rata kualitas output yang dihasilkan peneliti aktif di suatu universitas yang minimum mempunyai jumlah peneliti tertentu dalam 5 tahun terakhir. Hal ini bukan ukuran reputasi penelitian karena reputasi penelitian itu bisa macam-macam.

Lagi pula Ranking REF itu hanya berguna bagi ‘Dikti’-nya Inggris untuk melakukan tugas Strategic Planning-nya. Bukan untuk diartikan yang macam-macam oleh pihak ketiga atau keempat yang mempunyai prasangka yg bukan-bukan kepada Ranking REF yang dibuat ‘Dikti’-nya UK.

Lantas bagaimana dengan lembaga pe-ranking universitas-universitas seperti, Academic Ranking of World Universities (ARWU), QS World University Rankings, Times Higher Education (THE), dsb. yang membandingkan universitas-universitas di dunia? Nah, di sini masalahnya!

Pertama, maksud dari pengukuran tersebut tidak jelas. Untuk apa? Hal ini tidak ada yang bisa menjawab. Apakah untuk suatu strategic planning badan pendidikan tinggi dunia seperti UNESCO untuk mengalokasikan dana bantuan pendidikan? or what? Yang jelas semua metode yang saya sebutkan diatas itu didukung oleh suatu perusahaan publikasi seperti koran dsb. Jelaslah tujuan utamanya adalah untuk menjual ‘koran’-nya.

Kedua, metode pengukurannya juga semau maunya yang membuat pengukuran. Karena tidak jelas untuk apa, maka apapun diukur, digabungkan (riset, student satisfaction, dsb.) sehingga jelas-jelas melanggar aturan yang saya sebutkan di atas – pengukuran itu harus spesifik.

Ketiga, institusi yang sedang diukur, karena mengetahui memiliki ‘kepentingan’ tersendiri, mereka berusaha mempengaruhi hasil akhir pengukuran. Bukan rahasia lagi bila banyak universitas yang berusaha menyuap para kenalan mereka di LN untuk menyebut universitas tersebut di QS, misalnya, dengan iming-iming yang macem-macem. Universitas yang masa bodoh seperti University of Strasbourg yang kena getahnya.

Keempat, pihak ketiga – si pembeli dan pembaca berita – kemudian mengartikan dengan berbagai penafsirannya terhadap ranking universitas yang dia baca.

Bisa dibayangkan kredibilitas suatu ranking yang dihasilkan oleh ‘si pengukur’ yang tidak mengetahui ukuran ini untuk apa, menggunakan metode pengukuran yang ‘gado-gado‘, apa aja dicampur, mengukur si terukur yang bisa “memainkan” metode pengukuran dan berusaha dimengertikan oleh pihak ketiga yang mempunyai motif tersendiri.

Bisa dimengerti bila ada institusi yang seharusnya (ranking-nya) diatas tapi di bawah atau sebaliknya. Bila demikian, “Apa sebetulnya arti sebuah ranking universitas berdasarkan pengukuran THE, QS, ARWU dsb?”. Jawabannya: “Tidak ada”. Itu semua hanya akal-akalan penjual berita untuk memenuhi hasrat “kebanggan” seorang pembaca yang tidak mengerti apa yang dia baca atau konsumsi.

Apakah ada hubungannya antara universitas yang ranking QS nya tinggi dengan kemungkinan universitas ini telah menghasilkan suatu yang lebih lebih berguna bagi ilmu pengetahuan, masyarakat dan para alumninya sendiri dari pada universitas yang rangking QS nya lebih rendah? Jawabannya tidak.

Bila ada lembaga pemberi beasiswa yang membatasi si pelamar untuk hanya boleh mendaftar ke kampus-kampus yang ranking QS nya tinggi tinggi saja, tanpa melihat apa sebenarnya apa yang ingin dipelajari oleh pelamar beasiswa itu sendiri dan kenapa universitas tertentu yang punya bidang itu saja, maka si pemberi beasiswa itu dipenuhi oleh orang orang yang masa bodoh terhadap tujuan utama mereka memberikan beasiswa.

Oleh: Surya Mahdi (Lecturer in Strategy, University of Bristol Business School)

Pemikiran dan Refleksi Diaspora Nahdlatul Ulama (PR Di NU) merupakan ruang bagi gagasan, refleksi, dan kontribusi intelektual dari diaspora Nahdliyyin. Platform ini menyatukan wawasan yang berakar pada keahlian masing-masing para diaspora NU yang menawarkan perspektif tentang Islam yang berlandaskan Indonesia sebagai masyarakat yang dinamis, dan tentang nilai-nilai Nahdlatul Ulama yang tetap relevan di dunia saat ini. Fokus “PR Di NU” adalah isu-isu mendesak abad ke-21, terutama di bidang Science, Technology, Engineering, dan Mathematics (STEM). Tema-tema seperti etika Islam dalam kecerdasan buatan, keberlanjutan lingkungan, kesehatan digital, energi, dan transformasi sosial berfungsi sebagai gerbang untuk memperkaya percakapan global melalui lensa Ahlussunnah wal Jama’ah. (Editor Utama: Efri Arsyad Rizal)