Im März 1986 trat Walter Rusterholz als Stadtpräsident zurück. Im selben Jahr halfen er und seine Frau Ruth noch bei der Gründung der «Aktiven Senioren» mit. Im Herbst 1986 beendete er seine berufliche Tätigkeit. Die Freude, jetzt füreinander viel Zeit zu haben und noch gemeinsame Pläne verwirklichen zu können, währte jedoch nicht lange. Eine unheilbare Krankheit ereilte seine Gattin. Am 9. März 1987 verlor er sie, einen Tag später starb auch ihre Mutter; die beiden wurden miteinander beerdigt.
Der weitere Weg führte Walter Rusterholz oft durchs dunkle Tal der Einsamkeit und der Tränen. Gastfreundschaft bei den Familien seiner Kinder, gemeinsame Ferien, vor allem aber seine Enkelkinder, mit denen ihn ein besonders herzliches Verhältnis verband, vermochten ihn etwas aufzuheitern.
Wichtig war in jener Zeit für ihn auch sein Hund «Chicco», ein unglaublich vitales und lebenslustiges Tier. Die gemeinsamen Wanderungen über Stock und Stein halfen Walter Rusterholz ebenfalls, seine Trauer etwas zu verarbeiten.
In seiner Nachbarin Verena Spüler fand Walter Rusterholz wiederum eine Lebenspartnerin. In intensiven Gesprächen und gemeinsam besuchten Kursen kamen sie einander näher und feierten im November 1990 Hochzeit. Miteinander unternahmen sie zahlreiche Reisen. Kreta, Griechenland mit einer Besteigung des Olymp, Budapest, Petersburg, aber auch Jemen und Ägypten mit einer Fahrt auf dem Nildampfer begeisterten Walter Rusterholz. Er war tief beeindruckt von all den Naturschönheiten und konnte staunen über die gewaltigen, von Menschen erschaffenen Kunstwerke.
Gerne nahm Walter Rusterholz an den Zusammenkünften des «Stöckli», der Vereinigung der ehemaligen Gemeinde- und Stadträte, teil und freute sich auf die Abende im Kegelclub. Das Zusammensein und die Gemeinschaft mit ehemaligen Weggefährten und guten Freunden bedeutete ihm viel. Er war nicht der aktive Unterhalter und Spassmacher, doch war ihm ein gesunder Humor eigen. Wie konnte er doch als stiller Geniesser in der Runde sitzen, die Tabakpfeife im Mundwinkel, vergnügt schmunzeln und da und dort einen witzigen Spruch platzieren.
Im Jahre 1999 wurde auch bei Walter Rusterholz eine unheilbare Krankheit entdeckt. Arztbesuche, Chemotherapien und Bestrahlungen konnten sein Leiden etwas lindern, eine Heilung aber war nicht möglich.
Im Sommer 2000 erfolgte noch der Umzug nach Jona (SG). Mit der Zeit zog sich Walter Rusterholz immer mehr zurück und setzte sich mit seiner schweren Krankheit auseinander. Man hörte ihn nie klagen. Es war sein Wille und sein erklärtes Ziel, sein Leben so lange wie möglich selbständig zu meistern und zu gestalten. Seine Frau Verena half ihm dabei, bis die Pflege über ihre Kräfte ging. Seine letzten Tage verbrachte Walter Rusterholz im Spital Wädenswil, wo er am Sonntagmorgen, 27. Mai 2001 einschlafen und für immer heimgehen durfte.