Letztendlich aber wurde dieses Gebäude mit dem Charakter des Übergangs 23 Jahre lang genutzt und erhielt mehrfach Erweiterungsbauten. Die Parteivorsitzenden Kurt Schumacher (bis 1952), Erich Ollenhauer (bis 1963) und Willy Brandt (bis 1987) lenkten von hier aus die Partei. Nach dem Tod von Erich Ollenhauer erhielt das Haus 1964 den offiziellen Namen „Erich-Ollenhauer-Haus“ (kurz: EOH). Das Gebäude wurde trotz Anbauten allerdings für die enorm gestiegenen Aufgaben viel zu klein. Willy Brandt fasst die Situation nach 1972 aus sozialdemokratischer Sicht knapp zusammen: „Die SPD ist inzwischen zur stärksten politischen Kraft in der Bundesrepublik Deutschland herangewachsen. Sie stellt den Bundeskanzler und die größte Fraktion im Deutschen Bundestag. Die Aufgaben des Parteivorstandes haben sich vervielfacht.“ Die Sozialdemokraten beschließen Anfang 1974, an gleicher Stelle ein neues EOH zu errichten. Die alte Baracke wurde abgebaut und in den Jahren 1974/75 nach 16 Monaten Bauzeit ein neues EOH fertig gestellt und bezogen. Auch dieses Haus behielt den liebevollen inoffiziellen Zweitnamen „Baracke“. Das war auch beabsichtigt. „Wir wollten … die gewachsene Atmosphäre der ‚Baracke’ erhalten und auf den Neubau übertragen.“ (so der Architekt Fritz Novotny). Es lehnt sich in der Architektursprache an den Ursprungsholzbau an und es entstand kein auf Repräsentation zielendes zehnstöckiges Hochhaus, wie beispielsweise im Fall der gegenüberliegenden, 1971 bezogenen Bonner Parteizentrale der CDU-Bundespartei.

Insgesamt arbeitet der SPD-Parteivorstand 48 Jahre lang in beiden Bonner „Baracken“. Nach der Deutschen Einheit zog die Parteiführung 1999 nach Berlin in das neu gebaute Willy-Brandt-Haus. Ins EOH zogen Mieter ein, das Gebäude von 1974/75 in Bonn blieb bestehen.