In 1952 had de Jozefschool zelf de lokalen op de eerste verdieping nodig en diende de Paulus met verkenners en welpen te vertrekken.
De verkenners vonden tijdelijk onderdak bij groente- en fruitgroothandel Smets aan de Sloterbeekstraat en kwamen vervolgens in de blokhut terecht.
De welpen kwamen eerst op de zolder van het patronaat en vervolgens ook in de blokhut.
De blokhut was veel te klein voor al die groepen, bovendien was het er ‘s winters erg koud. Mede hierdoor werd medio 1954 de welpenhorde opgeheven.

Een en ander leidde tot groot verlies van de leden.
In 1955 telde de groep nog amper 30 leden.
Op 29 december 1957 sloeg het noodlot toe. Die nacht brandde de blokhut tot de grond toe af.
De verkenners werden daarna o. a. ondergebracht in de zaal van het patronaat.