Šilutės etnografinio muziejaus įkūrimas Po H. Šojaus mirties 1937 m. dvarą ir jame įkurtą muziejų paveldėjo anūkas Verneris Šojus. Priartėjus karo frontui, 1944 m. rudenį jis su šeima pasitraukė į Vakarus, palikęs dvarą likimo valiai. Antrojo pasaulinio karo pabaigoje (1944 m. spalio 9 d.) Šilutę užėmę Raudonosios armijos daliniai apsistojo dvare, daugelis muziejaus eksponatų dingo arba buvo sunaudoti „karo reikmėms“. Frontui pasitraukus, Šilutės vykdomojo komiteto pirmininku buvo paskirtas klaipėdiškis Horstas Toleikis. Jis 1945 m. vasario 19 d. pavedė savo pusbroliui