Nuotr.: © norviliskiu-pilis.lt
Teigiama, kad pilį seno dvaro vietoje XVII a. pradžioje pastatė turtingas Rytprūsių pirklys Vaitiekus Šorcas, įsimylėjęs ir vedęs vietos grafaitę Daratą Zienovičiūtę. Būtent dėl jos, kaip teigiama pasakojimuose, pirklys bei karys iš Marienburgo ir likęs Didžiojoje Lietuvos Kunigaikštystėje.
1834 m. buvo pastatytos kareivinės. Kareiviai įsikūrė ir senajame vienuolyno pastate, ten išbuvo iki XX a. pradžios. 1904 m. vienuolynas ir rusų kariuomenės pastatytos 2 aukštų kareivinės perėjo iš Karo ministerijos žinios Žemės ūkio ministerijai ir buvo atiduotas mergaičių žemės ūkio mokyklai. Prasidėjus Pirmajam pasauliniam karui mokykla užsidarė.
