Ich glaube, ich habe Stefans Kahneman-Bemerkung im Gespräch anders verstanden. Den Homo oeconomicus sehe ich in den gelesenen Texten jedenfalls nicht als den fehlenden Schlüssel. Die Rationalisten haben ihre eigenen Konstrukte dafür, was Rationalität sein soll. Dass sie einfach ein ökonomisches Modell versehentlich für eine psychologische Beschreibung halten, erklärt mir das noch nicht.
Ich habe Stefan so verstanden: Menschen können über die Zeit vernünftig werden, indem sie ihre ersten Schlüsse noch einmal überprüfen. Wir reagieren zunächst mit den Vorstellungen und Denkmustern, die wir gerade haben. Später können wir Erfahrungen vergleichen, Abstand gewinnen und auch die Voraussetzungen unseres Denkens verändern. In der Sprache der KI könnte man das mit Inferenz und späterem Training vergleichen: Erst wenden wir unser vorhandenes Modell an, später lernen wir daran weiter.
So habe ich auch sein Beispiel mit dem Precht-Podcast verstanden. Nach der Kahneman-Lektüre will man erst einmal sein ganzes Denken optimieren. Drei Tage später begegnet einem eine andere Perspektive, und man merkt, dass es auch gute Gründe gibt, sein Leben zu genießen. Stefan sagt ausdrücklich, dass einem das einleuchtet, weil es wahr ist. Diese spätere Begegnung erlaubt einem, den vorher übernommenen Anspruch noch einmal zu überprüfen.
Bei Yudkowskys Texten beschreibe ich dann einen möglichen Weg, diese Prüfung zu umgehen: Du bist damit beschäftigt, herauszufinden, was er dir mit seiner Geschichte über Äpfel und Orangen sagen will. Während du die Argumentation nachvollziehst, übernimmst du womöglich schon seine Vorgaben dafür, was eine gute Entscheidung ist. Ob du diese Vorgaben überhaupt teilst, hast du bis dahin noch gar nicht geprüft.
Das kann stundenlang dauern. Man kann sehr konzentriert innerhalb eines vorgegebenen Gedankengebäudes nachdenken, ohne dessen Voraussetzungen anzusehen. Wenn jede Erfahrung zur nächsten Übung in derselben Rationalitätslehre wird und aus dem besseren Denken eine Mission, kann einem genau die Gelegenheit zur Reflexion verloren gehen. Hält man Menschen lange genug in so einem Rahmen, kann man ihnen ziemlich viel Quatsch beibringen, solange er darin konsistent erscheint.
Deinen Einwand gegen die „einzige wahre Rationalität“ teile ich. Bei Stefans Bemerkung habe ich aber vor allem diesen Mechanismus gehört: wie man Menschen ein Denkschema beibringen kann, während sie glauben, gerade das selbstständige Denken zu üben. Mit dem Hinweis auf den Homo oeconomicus ist das für mich noch nicht erklärt.