История сохранила многочисленные упоминания о том, что Коссовский дворец был построен удивительным образом — так, что каждый год два с половиной дня солнце освещало одну из комнат целиком. В один из этих дней, по традиции, праздновали так называемый «день комнаты». Владельцы замка, большие любители светских увеселений, велели празднично украшать комнату и проводили там время с гостями за обедами, танцами и беседами.Каждая комната была предназначена для какого-то определенного занятия. Так, грандиозный Парадный Белый зал использовался во время великолепных балов и приемов. Зеркальный зал был отведен под большую столовую. Стены и потолок здесь были украшены сотнями привезенных из Италии зеркал. В Черном зале, отделанном драгоценным черным мрамором, мужчины играли в карты, а дам сюда не пускали ни под каком предлогом. В Розовом – музицировали и слушали приглашенным оперных певцов. если на втором этаже в одной из комнат восточного крыла, встав на подоконник, кто-нибудь громко хлопал в ладоши или ударял по стене, своды здания по всему дворцу начинали издавать мелодичный звон, который не затихал по несколько минут. Исследователи так и не выяснили, благодаря чему строители и инженеры добились такого эффекта, а теперь, после обрушения крыши, это вряд ли когда-нибудь станет возможным.К тому же хозяева усадьбы были людьми передовых взглядов и уже в те времена провели водяное отопление. Воду подогревали в больших котлах в подвале, и кипяток, поднимаясь по трубам, обогревал весь дворец, так что камины в комнатах выполняли скорее декоративную функцию.
Дворец окружал прекрасный парк, где росли более 150 видов экзотических растений, а для самых редких и прихотливых экземпляров была устроена оранжерея. Парковые дорожки украсили мраморными статуями, повсюду устроили отрытые террасы, на которых расположили несколько фонтанов. Неподалеку находилась фамильная часовня.
За сказочный образ и роскошь дворец графов Пусловских или Коссовский замок еще называли «рыцарской грезой».