Am 6. Dezember 1932 verließen die Einsteins Caputh, um nach Pasadena zu reisen, wo Einstein zwei Monate lang Gastvorlesungen am California Institute of Technology hielt. Als er das Haus abschloss, soll er zu Elsa gesagt haben, sie solle noch einmal einen letzten Blick darauf werfen, da sie es nie wieder sehen würde. Die Anekdote, die zuerst in einer frühen Biographie Einsteins erschien, ist jedoch nicht belegt und widerspricht auch seinem Verhalten. Nur zwei Wochen zuvor hatte Einstein eine größere Summe für den Kauf eines benachbarten Grundstücks mit dazugehörigem Gartenhaus ausgegeben; und kurz bevor Hitler im Januar 1933 die Macht ergriff, hatte Einstein noch an die Preußische Akademie geschrieben, um Fragen seines Gehalts für das kommende Jahr zu klären. Doch wurde die Geschichte wahrscheinlich deshalb so oft erzählt, weil sie so gut zu seinem politisches Gespür passte. Einstein war schon seit längerem besorgt über die Entwicklungen innerhalb der deutschen Politik. Im Jahre 1921 äußerte er einem Freund gegenüber die Vermutung, dass ihm nur noch zehn Jahre in diesem Land bleiben würden; als die Nazis 1931 ihre ersten großen parlamentarischen Erfolge errangen und die antisemitische Stimmung in Berlin zunahm, wollte er der Akademie seinen Austritt erklären. Den Brief schickte er zwar nie ab, doch blieb seine Haltung in den nächsten zwei Jahre äußerst gespalten. Der Idealist in ihm wollte an seinem Idyll in Caputh und allem, was es symbolisierte, festhalten; der Realist war sich alles andere als im Unklaren darüber, dass die Nazis eine immanente Gefahr darstellten und er unmöglich in Deutschland bleiben konnte. Dies war ein Dilemma, dem sich nicht nur Einstein gegenübersah. Auch Lion Feuchtwanger und Bertolt Brecht hatten sich z.B. kurz vor 1933 in Berlin Häuser gekauft und verloren sie bald darauf wieder.
Als Hindenburg nach dem Reichstagsbrand am 28. Februar 1933 die politischen und bürgerlichen Grundrechte außer Kraft setzte, zögerte Einstein nicht länger. In einem Land ohne Bürgerrechte, ohne Toleranz und ohne Gleichheit aller vor dem Gesetz wollte er nicht leben. Falls es noch weiterer Argumente bedurft hätte, so erhielt er sie, als er sich in New York wieder nach Europa einschiffen wollte. Das Schiffsradio meldete, dass die Nazis eine Razzia in Einsteins Haus in Caputh durchgeführt hätten – auf der Suche nach einem Waffenlager, das angeblich von russischen Agitatoren dort versteckt worden war.. Der Bericht stellte sich später als falsch heraus, doch Einsteins erste Reaktion darauf ist bemerkenswert: „Mein Sommerhaus wurde in der Vergangenheit oft durch die Anwesenheit von Gästen geehrt. Sie waren alle willkommen. Keiner hatte einen Grund einzubrechen.“
Bei seiner Ankunft am 28. März in Antwerpen, gab Einstein umgehend seine deutsche Staatsbürgerschaft auf. In seiner Austrittserklärung an die Preußische Akademie der Wissenschaften versicherte er der Institution seine Dankbarkeit und ihren Mitgliedern seine Zuneigung, bemerkte jedoch, dass er „die durch [s]eine Stellung bedingte Abhängigkeit von der Preußischen Regierung … unter den gegenwärtigen Umständen als untragbar“ empfinde. Leider antwortete die Akademie nicht mit dem gleichen Taktgefühl. Am 1. April, dem ersten Tag des landesweiten „Judenboykotts“, ließ die Akademie mitteilen, dass es keinen Grund gebe, den Austritt Einsteins, der an „der Greuelhetze“ im Ausland teilgenommen habe, zu bedauern. Einstein protestierte schriftlich bei seinem Kollegen Max Planck. In New York hatte Einstein zwar diplomatischen Druck auf Hitlers Regierung befürwortet, warnte jedoch vor allgemeiner anti-deutscher Agitation. Doch Planck war nicht zu überzeugen. Er hatte bereits Wochen vorher Ursache und Wirkung verwechselt, als er Einstein wissen ließ, dass dessen unverblümte Kritik in Amerika die Lage der Juden in Deutschland verschlechtere. Im Mai, also im selben Monat, in dem die Nazis in Berlin 20.000 Bücher (darunter auch die Schriften Einsteins) verbrannten, sagte Planck laut einem Sitzungsprotokoll der Akademie, „daß Herr Einstein selber durch sein politisches Verhalten sein Verbleiben in der Akademie unmöglich gemacht“ habe. Es gab wenig, was Einstein im Zusammenhang mit Hitlers Machtergreifung mehr überraschte als die Art und Weise, in der deutsche Intellektuelle auf sie reagierten. Im August erzählte er einem Kollegen, dass er sein Geburtsland wohl nicht wiedersehen werde. Er sollte Recht behalten.