Das Kinderheim St. Josef wurde von der religiösen Vereinigung „Vom guten Hirten“ gegründet.1912 wurde ein 72 Ar großes Grundstück gekauft und Architekt Lindner aus Stuttgart  beauftragt Pläne für das Kinderheim zu entwerfen. Breits im August 1912 begann man mit dem Bau und am 30.Juni 1914 konnten die Schwestern aus dem Kloster Heiligenbronn einziehen. Gleich am nächsten Tag trafen die ersten Kinder aus dem Paulusstift in Stuttgart ein. Anfänglich hatte man Platz für 60 Kinder. 1926 wurde das Heim vergrößert und nun beherbergte es  200 Kinder. Als 1943 das Stuttgarter Kinderkrankenhaus, „Olgaspitäle“ hierher verlegt wurde, mussten die Schwestern und Kinder ausziehen. Teilweise fanden die Kinder in privaten Haushalten Unterkunft, beziehungsweise zogen sie und die Schwestern nach Baindt bei Ravensburg um dort eine neue Bleibe zu finden. Nach dem Krieg 1946, das Olgaspital war ausgezogen, kehrten die Schwestern zurück und konnten ihre Arbeit fortsetzen. Das Gebäude musste in den 2020er Jahren einem Neubau weichen und befindet sich heute an gleicher Stelle auf dem Gelände des „Quatier für Generationen“ des Samariterstiftes.