In erster Ehe war Rudolf Kayser mit Ilse Einstein, einer Stieftochter von Albert Einsein verheiratet. Nicht zuletzt aus dieser Beziehung entstand auch zu Einstein selbst eine enge Bindung, die weit über das familiäre Verhältnis hinausging und auch noch Bestand hatte, als Ilse Kayser nach zehnjähriger Ehe bereits jung infolge einer Krankheit 1934 in Frankreich verstarb. Kayser verfasste eine Biografie Einsteins, die unter dem Pseudonym Anton Reiser 1930 nur in Englisch publiziert wurde.

Schon seit seiner Studienzeit widmete sich Kayser literarischen Versuchen. Zu  seinen ersten wichtigen Veröffentlichungen gehörte die Novelle Moses' Tod, die 1921 in der expressionistischen Reihe Der jüngste Tag beim Kurt Wolff Verlag erschien. Von größerer Bedeutung waren jedoch seine Herausgeberschaften wie z.B. die expressionsitische Lyrikanthologie Verkündigung (1921), seine philosophiegeschichtlichen Abhandlungen, etwa die seinerzeit stark beachtete Biografie über Baruch Spinoza, und auch seine literaturkritschen Beiträge, insbesondere in der Zeitschrift Die Neue Rundschau.

In seiner Funktion als Chefredakteur an der Neuen Rundschau war Kayser an anflussreicher Position für den deutschsprachigen Literturbetrieb, was sich u.a. in seiner teils intensiven Korrespondenz mit zeitgenössischen Autoren wiederspiegelt. Im Nachlass sind zahlreiche Briefe u.a. von Gerhart Hauptmann, Hermann Hesse, Oskar Loerke, Heinrich und Thomas Mann sowie Stefan Zweig zu finden, mit denen Kayser oft auch noch nach 1932 in Kontakt blieb.

Als Schwiegersohn des bei den Nationalsozialisten verhassten Albert Einstein, als Jude und als liberal orientierter Literaturkritiker blieb Kayser nach dem Januar 1933 kaum eine andere Wahl als die Emigration. Zunächst floh er nach den Niederlanden,  doch nach dem Tod seiner ersten Frau Ilse wandte sich Kayser 1935 nach den USA, wo er ein zweites Mal heiratete und als Dozent für Literaturgeschichte und Philosophie an einigen Colleges und schließlich an der Brandeis University als Professor tätig war. Anfang der 1960er Jahre besuchte er Israel und verfasste darüber einen Text, der lediglich privat veröffentlicht wurde. Im Februar 1964 erlag er mit 74 Jahren in seiner New Yorker Wohnung einem Herzleiden.

Schon seit dem Todesjahr stand der Direktor der damaligen Jewish National and University Library, Curt David Wormann, mit der Witwe Kaysers, Eva Kayser, in Kontakt und konnte bald die Übergabe des Nachlasses an die Bibliothek mit ihr vereinbaren. Zur Übersendung der Materialien kam es jedoch erst im Jahr 2000 nach Eva Kaysers Tod. Seit kurzem sind alle Materialien erfasst und der Nachlass steht Interessierten zur Nutzung zur Verfügung.