Усадьба "Успенское", название которой связано с расположенным неподалеку Успенским монастырем, была построена в 1780-х гг. генерал-поручиком Романом Никифоровичем Томиловым, известным военным топографом. Его сын Алексей в 1816-1817 гг. перестроил усадьбу по собственному проекту, пристроив к деревянному дому каменный флигель (его называют "дом Шварца"). Во флигеле А. Р. Томилов хранил свое богатейшее собрание живописи и графики, в том числе крупнейшую в России коллекцию рисунков и офортов Рембрандта. В "Успенское" любили приезжать многие русские художники, в том числе О. А. Кипренский, И. К. Айвазовский, Н. К. Рерих, Б. М. Кустодиев. В 1918 г., после конфискации усадьбы у ее последних владельцев Е. Г. и А. В. Шварц, более 6000 рисунков и полотен были переданы Русскому музею.

Музею принадлежит только каменный флигель «Дом Шварца», экспозиций в нём нет, здесь располагаются фонды.