Šilutės Hugo Šojaus muziejaus įkūrimo pradžią reikėtų sieti su 1889 m., kuomet Šilokarčemos dvarą įsigijo Hugo Šojus. Jau anksčiau antikvarines vertybes, iškasenas kaupęs dvarininkas Šilutės dvaro rūmų dviejuose kambariuose įkūrė privatų muziejų, kuriame buvo sukaupta ir eksponuojama lituanistikos, etnografijos ir archeologijos kolekcija. Dvarininko įkurtame muziejuje būta tokių eksponatų, kurių neturėjo nė vienas kitas Lietuvos muziejus.

Šojus bendravo su Karaliaučiaus universiteto profesoriumi Adalbertu Becenbergeriu (Bezzenberger), kuris paskatino domėtis priešistorės radiniais ir lietuvių etnografiniais daiktais. Nors pats dvarininkas archeologinių kasinėjimų neatliko, kuriant muziejų, kaupiant archeologinius radinius aktyviai dalyvavo jo vyriausias sūnus Erikas Šojus.

Labai svarbią vietą muziejuje užėmė etnografijos rinkinys. Gausiausias buvo XVIII–XIX a. baldų, įvairių buities rakandų, darbo įrankių, moteriškų bei vyriškų drabužių, audinių, aprangos detalių ir apšvietimo prietaisų (sietynų) rinkinys. Apie šią ir kitas kolekcijas dr. J. Basanavičius, žurnalistas A. Dėdelė rašo 1924–1928 m. laikraščiuose „Lietuva“. Viename straipsnyje minima, kad, lankydamasis Klaipėdos krašte, Respublikos prezidentas K. Grinius užsuko į Šojų muziejų, kuriame labai domėjosi turtingu etnografiniu rinkiniu.

Be archeologijos ir etnografinio rinkinio H. Šojus turėjo sukaupęs vertingą knygų, dokumentų kolekciją. Tai 1591 m. išleisti J. Bretkūno „Postilės“ du tomai, V. Kojelavičiaus 1650 m. lotyniška „Lietuvos istorija“, 1684 m. išėjusi Ch. Hartknocho „Prūsijos istorija“, J. Laukio (S. Daukanto) 1845 m. išleistas „Būdas senovės lietuvių, kalnėnų ir žemaičių“ ir kitos knygos.

Šojų šeima buvo sukaupusi ir itin vertingą augalų rinkinį. Augalai rinkti 1850–1912 metais. Šiandien tai yra seniausias išlikęs XIX a. pabaigos ir XX a. pradžios augalų rinkinys iš Prūsų Lietuvos.

Muziejaus kolekcijų vertingumą ir svarbą pabrėžia tai, kad muziejuje lankėsi žymūs to meto Vokietijos ir Lietuvos kultūros bei politikos veikėjai: Vokietijos kronpricas Joachimas, Karaliaučiaus universiteto rektorius A. Becenbergeris, Rytų Prūsijos provincijos vyr. prezidentas P. Moltkė, J. Basanavičius, prof. E. Volteris, Lietuvos prezidentas K. Grinius, ministras pirmininkas E. Galvanauskas, Klaipėdos krašto gubernatorius A. Merkys ir kt.

Būdamas įsitikinęs, kad niekas geriau nežino jo muziejaus rinkinių, ekskursijas po muziejų savo svečiams, netgi tapęs visiškai aklas, vesdavo pats H. Šojus.

Po H. Šojaus mirties 1937 m. dvarą ir jame įkurtą muziejų paveldėjo anūkas Verneris Šojus. Priartėjus karo frontui, 1944 m. rudenį jis su šeima pasitraukė į vakarus. Antrojo pasaulinio karo pabaigoje Šilutę užėmę Raudonosios armijos daliniai apsistojo dvare, daugelis muziejaus eksponatų dingo arba buvo sunaudoti „karo reikmėms“.

Frontui pasitraukus, Martynas Toleikis, muziejaus vyriausiasis preparatorius, savo pranešime rašė: „[…] Per praėjusio karo audras tas muziejus buvo labai nukentėjęs. Didelė dalis eksponatų buvo suversta ant grindų ir sumaišyta su šiukšlėmis. Tad prisiėjo pirma atsargiai ir nuodugniai peržiūrėti visą, kas ant grindų suversta, ir tinkamus muziejui daiktus ir popierius nuvalyti.“ 1945 m. rugsėjo mėn. muziejus buvo perduotas Lietuvos mokslų akademijos žinion, o pati vertingiausia dvarininko sukaupto archyvo dalis (dokumentai, spaudiniai) iš kuriamo Šilutės muziejaus buvo perduoti Lietuvos mokslų akademijos bibliotekai ir Nacionalinei M. Mažvydo bibliotekai.

Dar 1929 m. į pasiūlymą perduoti dvaro kolekciją steigiamam Tautos muziejui Kaune H. Šojus yra atsakęs, kad jo muziejus neįsivaizduojamas be dvaro. Taigi, didžiuojamės, jog dvarininko noras išpildytas, ir muziejinė veikla iki šiol tęsiama dvare.