My graduate research builds models that try to predict the course of neurological disease from clinical and imaging data. The first time one of them worked — quietly outperforming the simple baselines, sorting patients into trajectories with unsettling accuracy — I felt less triumph than unease. I could see that it was right. I could not see why. And a prediction a clinician cannot interrogate is not a clinical tool. It is an oracle, and medicine has spent a century learning not to trust oracles.
01The black-box problem is a clinical problem
A modern neural network is a black box in a precise sense: it maps inputs to outputs through millions of learned parameters, and the rule it has discovered is distributed across all of them in a form no one wrote and no one can simply read off. It works without being understood. For a film recommendation that is fine. For a decision about whether to escalate someone's care, "the model says so" is not an answer a responsible clinician can give a patient — or accept from a machine.
The danger is not only opacity; it is confident wrongness. A model can reach the right answer for a reason that will betray it later — keying off a scanner artefact instead of a biomarker, off the hospital a scan came from instead of the disease. It passes every test on the data it has seen and fails the first patient who differs in the way that mattered. Without a way to see what the model is actually using, you cannot tell a robust predictor from a lucky one that has memorised the wrong thing. In a clinic that distinction is the difference between help and harm.
A prediction you cannot interrogate is not knowledge. It is a rumour with a confidence score.
02What interpretability actually attempts
This is the problem a field called mechanistic interpretability has taken up: not merely to observe that a network is accurate, but to reverse-engineer the computation inside it — to find the internal features it has learned, the circuits that combine them, and the human-legible concepts those circuits encode. The ambition is to turn a learned black box into something you can read, the way an anatomist turns an opaque body into named structures with understood functions. It is slow, partial, often humbling work. But the goal is exactly the one medicine should demand of any model it lets near a patient: not just what it predicts, but by virtue of what.
There is a beauty in the symmetry that drew me to it. Interpretability researchers face an artificial network of millions of units and ask how a behaviour emerges from the interaction of parts none of which "contains" the behaviour alone. This is, almost word for word, the question neuroscience has always asked of the brain — and the question I ask in the clinic of a patient whose recovery is the emergent product of countless interacting systems. The tools differ. The epistemic posture is identical: distrust the output until you can name the mechanism.
03What it returns to rehabilitation
Rehabilitation is moving, rightly, toward data: predicting who will respond, personalising dose, flagging the patient quietly failing to progress. I want those tools. But I want them built by people who treat interpretability as a requirement, not a luxury — and the discipline imposes habits worth importing wholesale into clinical practice, with or without a model in the room.
It insists you separate prediction from explanation: a variable that forecasts an outcome is not thereby a cause you can treat, and confusing the two is how a clinic ends up "treating" a number. It insists you find the mechanism behind the correlation before you act on it, because a correlation with an unknown cause is precisely the artefact-keying failure waiting to happen at the bedside. And it insists on humility proportional to opacity: the less you can explain why something works, the more cautiously you should deploy it on a person who cannot afford your being confidently wrong.
These are not new virtues. They are the oldest ones in evidence-based practice, restated in the vocabulary of a field that had to relearn them the hard way when its own creations grew too complex to read. I find that reassuring. The deepest thing I take from interpretability back into the treatment room is not a technique but a stance — the refusal to accept a result I cannot account for, whether it comes from a neural network or a nervous system. In both cases the work is the same: to keep asking, patiently, not just whether it works, but why.
Lisansüstü araştırmam, nörolojik hastalığın seyrini klinik ve görüntüleme verisinden tahmin etmeye çalışan modeller kuruyor. Bunlardan biri ilk kez işlediğinde — basit temel modelleri sessizce geride bırakıp hastaları rahatsız edici bir isabetle yörüngelere ayırdığında — zaferden çok bir tedirginlik hissettim. Doğru olduğunu görebiliyordum. Nedenini göremiyordum. Ve bir klinisyenin sorgulayamadığı bir tahmin klinik bir araç değildir. Bir kâhindir; tıp ise bir yüzyılını kâhinlere güvenmemeyi öğrenerek geçirdi.
01Kara kutu sorunu klinik bir sorundur
Modern bir sinir ağı tam anlamıyla bir kara kutudur: girdileri milyonlarca öğrenilmiş parametre üzerinden çıktılara eşler ve keşfettiği kural, kimsenin yazmadığı ve kimsenin öylece okuyamayacağı bir biçimde hepsine dağılmıştır. Anlaşılmadan işler. Bir film önerisi için bu sorun değil. Birinin bakımını yükseltip yükseltmemeye dair bir karar için, "model öyle diyor" sorumlu bir klinisyenin bir hastaya verebileceği — ya da bir makineden kabul edebileceği — bir yanıt değildir.
Tehlike yalnızca opaklık değildir; kendinden emin yanlışlıktır. Bir model, doğru yanıta onu sonradan ele verecek bir nedenle ulaşabilir — bir biyobelirteç yerine bir tarayıcı artefaktına, hastalık yerine taramanın geldiği hastaneye kilitlenerek. Gördüğü veride her testi geçer ve önemli olan biçimde farklılaşan ilk hastada başarısız olur. Modelin gerçekte neyi kullandığını görmenin bir yolu olmadan, sağlam bir tahmin ediciyi, yanlış şeyi ezberlemiş şanslı birinden ayıramazsınız. Bir klinikte bu ayrım, yardım ile zarar arasındaki farktır.
Sorgulayamadığınız bir tahmin bilgi değildir. Güven puanı olan bir söylentidir.
02Yorumlanabilirlik gerçekte neyi dener?
Mekanistik yorumlanabilirlik denen bir alanın üstlendiği sorun budur: bir ağın yalnızca isabetli olduğunu gözlemlemek değil, içindeki hesaplamayı tersine mühendislikle çözmek — öğrendiği iç özellikleri, onları birleştiren devreleri ve bu devrelerin kodladığı insanca okunabilir kavramları bulmak. Hedef, öğrenilmiş bir kara kutuyu, bir anatomistin opak bir bedeni işlevi anlaşılmış adlı yapılara çevirdiği gibi, okuyabileceğiniz bir şeye çevirmektir. Yavaş, kısmi, çoğu zaman alçaltıcı bir iştir. Ama amaç tam da tıbbın, bir hastanın yanına yaklaştırdığı her modelden talep etmesi gereken amaçtır: yalnızca ne tahmin ettiği değil, neyin sayesinde ettiği.
Beni ona çeken simetride bir güzellik var. Yorumlanabilirlik araştırmacıları milyonlarca birimden oluşan yapay bir ağla karşı karşıya kalır ve bir davranışın, hiçbiri o davranışı tek başına "içermeyen" parçaların etkileşiminden nasıl doğduğunu sorar. Bu, neredeyse kelimesi kelimesine, sinirbilimin beyne her zaman sorduğu soru — ve iyileşmesi, sayısız etkileşen sistemin ortaya çıkan ürünü olan bir hastaya klinikte sorduğum soru. Araçlar farklıdır. Epistemik duruş aynıdır: mekanizmayı adlandırabilene dek çıktıya güvenme.
03Rehabilitasyona ne geri verir?
Rehabilitasyon, haklı olarak, veriye doğru ilerliyor: kimin yanıt vereceğini tahmin etmek, dozu kişiselleştirmek, sessizce ilerleyemeyen hastayı işaretlemek. Bu araçları istiyorum. Ama onları, yorumlanabilirliği bir lüks değil bir gereklilik olarak gören insanların kurmasını istiyorum — ve bu disiplin, odada bir model olsun olmasın, klinik pratiğe toptan ithal edilmeye değer alışkanlıklar dayatır.
Tahmini açıklamadan ayırmayı şart koşar: bir sonucu öngören bir değişken, bu yüzden tedavi edebileceğiniz bir neden değildir ve ikisini karıştırmak, bir kliniğin bir sayıyı "tedavi etmeye" başlamasının yoludur. Harekete geçmeden önce korelasyonun ardındaki mekanizmayı bulmayı şart koşar; çünkü nedeni bilinmeyen bir korelasyon, başucunda olmayı bekleyen tam da o artefakta-kilitlenme başarısızlığıdır. Ve opaklıkla orantılı alçakgönüllülüğü şart koşar: bir şeyin neden işlediğini ne kadar az açıklayabiliyorsanız, kendinden emin yanlışlığınızı kaldıramayacak bir kişiye onu o kadar temkinli uygulamalısınız.
Bunlar yeni erdemler değil. Kanıta dayalı pratiğin en eski erdemleri; kendi yaratımları okunamayacak kadar karmaşıklaştığında onları zor yoldan yeniden öğrenmek zorunda kalan bir alanın söz dağarcığıyla yeniden ifade edilmiş hâlleri. Bunu güven verici buluyorum. Yorumlanabilirlikten tedavi odasına geri taşıdığım en derin şey bir teknik değil, bir duruş — ister bir sinir ağından ister bir sinir sisteminden gelsin, hesabını veremediğim bir sonucu kabul etmeyi reddetmek. Her iki durumda da iş aynıdır: yalnızca işleyip işlemediğini değil, neden işlediğini de sabırla sormayı sürdürmek.
- The mechanistic-interpretability research program on features and circuits in neural networks (Olah and colleagues; the broader interpretability literature).Sinir ağlarında özellikler ve devreler üzerine mekanistik yorumlanabilirlik araştırma programı (Olah ve meslektaşları; daha geniş yorumlanabilirlik yazını).
- Critiques of shortcut learning and dataset bias in clinical machine learning, and the prediction-versus-causation distinction.Klinik makine öğreniminde kestirme-öğrenme ve veri kümesi yanlılığı eleştirileri ve tahmin-nedensellik ayrımı.
- Marr's levels of analysis as a frame for asking what computation a system performs, in brains and in machines alike.Beyinlerde ve makinelerde bir sistemin hangi hesaplamayı yaptığını sormak için bir çerçeve olarak Marr'ın analiz düzeyleri.