Из истории известно, что до постройки замка Морозова на этом месте стоял конный цирк Карла Маркуса Гинне. В 1892 году деревянная часть здания цирка сгорела, скорее всего это был умышленный поджог недругов.
Средств на восстановление не нашлось, и участок вместе с сохранившимися постройками выставили на продажу. Его приобрела Варвара Алексеевна Морозова, владение которой располагалось по соседству, но вскоре переписала участок на своего сына — Арсения. Отметим, что дом Варвары Алексеевны можно видеть и сегодня — это дом №14.
В начале 1890-х годов Арсений Морозов совершал совместное путешествие со своим другом Виктором Мазыриным, по Испании и Португалии. На обоих тогда, неизгладимое впечатление произвел португальский дворец Пена в Синтре, построенный в середине XIX века.
Вдохновившись его архитектурой Морозов решил построить нечто похожее неподалеку от Московского Кремля. На участке, подаренном матерью к 25-летию, вскоре вырос необычный дом-замок.
Уже во время строительства здание терпело всевозможную и невозможную критику. Лев Толстой в романе «Воскресенье» высказался по этому поводу так: «строительство глупого ненужного дворца какому-то глупому и ненужному человеку».
Однако Арсений был увлечен идеей и более того, чтобы особняк не показался скучным, каждый зал он отделал в разном стиле: ампир, барокко, китайская и арабская комнаты, мавританский стиль…
По завершении проекта, Арсений пригласил в гости мать, которая, после осмотра сказала хозяину свою самую знаменитую фразу: «Раньше одна я знала, что ты дурак, а теперь и вся Москва». Но Арсению Морозову, недолго было суждено жить в роскоши экзотического дома. По глупейшей истории, в 1908 году, он на спор прострелил себе ногу, стремясь доказать, что человек в состоянии вытерпеть любую боль. Началось заражение крови, от которого он скончался через три дня в возрасте 35 лет. Такая история.
Сегодня этот особняк, воспринимавшийся современниками как нелепица и стыд, является объектом культурного наследия РФ.