Николай Рябушинский – знаменитая фигура. Человек любил и умел жить с размахом. Самый непутевый из 8 знаменитых братьев и транжира, промотавший свое немалое состояние еще до революции. Спасая свои фабрики от кутилы-братца, а заодно и остатки его состояния, братья даже установили над ним опеку на 5 лет, в течение которых он не имел права распоряжаться своей частью наследства. Но вместе с тем Николай был меценат и коллекционер, обладавший неплохим для дилетанта художественным вкусом. Создатель журнала «Золотое руно» (считается, что именно это предприятие в итоге и разорило его окончательно) и инициатор выставки «Голубая роза». 

"Черный лебедь" был постороен уже после того, как "Николаша" остепенился, продал свои паи отцовских фабрик братьям, и опека над ним была снята. Вокруг виллы ходила бездна слухов, инициировал которые сам Николай Павлович, он умел эпатировать охочую до сплетен публику. 

За строгим фасадом виллы скрывался изысканный интерьер: причудливая мебель, изготовленная по специальному заказу, с маркой в виде черного лебедя, обтянутая парчой и шелком и пропитанная ароматными курениями прекрасная роспись, выполненная художником Павлом Кузнецовым. Та же эмблема черного лебедя была изображена на салфетках, посуде, столовом серебре, на бокалах и рюмках из тончайшего венецианского стекла, сделанных в Италии по заказу хозяина виллы… Дорожки виллы были засажены пальмами, орхидеями и другими экзотическими растениями. Били фонтаны. Между деревьями величественно гуляли павлины и фазаны, а на цепи у собачьей конуры сидел леопард. У входа в сад был воздвигнут мраморный саркофаг, увенчанный бронзовой фигурой быка, – здесь должны были покоиться останки хозяина после его смерти. 

На вилле устраивались роскошные экзотические приемы. Ходили слухи о каких-то афинских ночах с голыми актрисами. Но также у гостей была возможность полюбоваться великолепной художественной коллекцией Николая Рябушинского, в которую входили драгоценные фарфоровые вазы, фигурки драконов с устрашаюшими мордами, привезенные хозяином с Майорки, отравленные стрелы дикарей с Новой Гвинеи. И, разумеется, коллекция картин, как старых мастеров, так и молодых художников, и икон, которые после революции перейдут в залы Третьяковки. 

В 1911 году из-за проблем с финансами Рябушинский, распродал часть своей коллекции с аукциона. Николаю Павловичу удалось впоследствии за рубежом выкупить некоторые свои картины. Картины русских мастеров начала XX века он решил сохранить. Но в поместье "Чёрный лебедь", где они хранились, в 1915 г. случился пожар, который уничтожил многие полотна великих российских живописцев. В конце концов денежные дела Николая Павловича окончательно расстроились. Подкосило "расточительного братца" и увлечение карточной игрой. Вторым владельцем виллы стал уже известный нам Леон Манташев. По слухам, он выиграл у Рябушинского "Черного лебедя" в карты, за одну ночь. На здании и сегодня имеется вензель Леона Манташева - ЛМ, аналогичный тому, что расположен на гербе его конюшен. 

После революции здание «Черного Лебедя» было занято районным ЧК. В доме была обнаружена коллекция икон Николая Рябушинского, которая пополнила экспозицию Третьяковской галереи.