Падизе использовали средневековое здание монастыря, но, разумеется, не целиком, только части северного и восточного крыла в качестве господского дома мызы до 1766 года. А вот 4 мая этого года здание охватил сильнейший пожар. Вот как описывает его владелец мызы Томас фон Рамм в семейной хронике: «Поскольку дул сильный ветер, огонь за несколько минут распространился по всему большому замку, который я всего десять лет назад полностью отстроил, украсил наилучшими гипсовыми потолками, южную сторону дополнил новым крылом. Обе конюшни, амбар и в нем 400 бочек зерна, малый дом на дне рва, баня, пивоварня и четыре коровника – раз, и мы оказались без всего этого… Я спасся, выпрыгнув в окно, когда вокруг все уже пожирало пламя. Моя жена чуть не погибла, но спаслась, отделавшись ранами, Это был самый жуткий пожар, который только можно представить. Даже моя любимая собака Фаворит, и та погибла в огне”.
