В 1776 году он обвенчался со своей юной кузиной Екатериной Николаевной Зиновьевой (об этом его романе мы ещё поговорим). На момент свадьбы невесте было всего тринадцать лет. Синод возмутился и даже настаивал на разводе, но Екатерина это решение не утвердила, более того: наградила его супругу орденом св. Екатерины и сделала её статс-дамой.

Увы, счастья у Орловых не было: жена его заболела чахоткой и в 1782 году умерла. От горя он повредился рассудком и спустя год тоже умер. Екатерина, узнав о его кончине, не просто расстроилось, она слегла от горя, и придворный лекарь даже был вынужден пустить ей кровь, хотя обычно императрица редко пользовалась его услугами, предпочитая «бабкины средства». Всё же Орлов был отцом двух её детей: сына Алексея Бобринского (1762–1813) и дочери Натальи Алексеевой (1758–1808), в замужестве Буксгевден.

При графах Орловых в саду было построено несколько деревянных беседок и два каменных павильона. Сохранились Летний и обгоревший в 2003 году Ванный домики у Елисаветинского пруда и грот. Сохранились и декоративные мостики через пруды. Среди них особо примечателен трёхпролётный каменный арочный мост. Считается, что если влюблённые пройдут по нему, взявшись за руки, и поцелуются, то будут они жить вместе долго и счастливо до самой смерти. На некоторых кирпичах арочного моста можно заметить клеймо «Н. Я», что означает, что они изготавливались неподалёку — в Черёмушках, где владельцем кирпичных заводов был Николай Васильевич Якунчиков.

После смерти Орлова имение досталось его дочери, но та была слишком религиозна и мало заботилась о земном. Имение пришло в упадок и стало приютом для кочевых цыган.

В начале XIX века почти все усадьбы были куплены дворцовым ведомством. Центром ансамбля стал особняк Демидова, а название всему парку досталось от имения князя Трубецкого — Нескучное. Часть земель пошла для строительства больниц — 1-й Градской и Голицынской (в их бывшей усадьбе), а также Мещанского училища. А другую часть Николай I преподнёс своей жене, которую очень любил, назвав в её честь центральный дворец Александрийским (царицу звали Александрой Фёдоровной). Довольная царица принялась за обустройство: приказала соорудить корпуса для фрейлин, для кавалеров, чайные домики и манеж.

Сейчас в здании дворца располагается Президиум РАН (Ленинский проспект, 14), а в здании Орловского конного манежа — Минералогический музей РАН. Каменные парадные ворота Нескучного дворца украшены скульптурными группами, символизирующими изобилие (скульптор — Витали, 1846 г.).

Перед дворцом стоит фонтан, тоже работы Витали. Это часть московского водопровода — один из водоразборных фонтанов: он «переехал» сюда в 1936 году с Лубянской площади.

Напротив дворцовых помещений, на другой стороне Ленинского проспекта, расположен целый комплекс зданий, напоминающих дворец. Когда-то они были Медведниковской и Рахмановской богадельнями и больницей. После революции 1917 года весь комплекс стал Пятой Градской больницей, а с 1992 года — больницей, носящей имя святителя Алексия, митрополита Московского, и недавно полностью переданной Русской православной церкви.

Купцы Медведниковы перебрались в Москву из Иркутска. Они вели оптовую торговлю с Китаем и Аляской: ввозили из Поднебесной чай и ткани, обменивали у индейцев-алеутов разные материалы на меха и золото. Там купцы считались известными благотворителями: в Иркутске ими были устроены сиротопитательное заведение (приют) и банк, проценты из которого шли на поддержание этого детского приюта.

К 1850-м годам супруги Александра Ксенофонтовна и Иван Логгинович Медведниковы перебрались в Москву. В 1884 году Иван Медведников умер, а его вдова все средства стала употреблять на добрые дела: выстроила в Иркутске больницу, близ Звенигорода открыла приют для престарелого духовенства и церковь Казанской иконы Божией Матери — там и похоронили Александру Ксенофонтовну. По её завещанию всё состояние — более 5 миллионов рублей — должно было быть истрачено на благотворительность в Москве и в Иркутске. Построено было много, в частности, гимназия в Староконюшенном переулке, действующая и поныне. Больница и богадельня напротив Нескучного предназначались для лиц «христианского вероисповедания, без различия звания, пола, возраста».

Открылась больница в 1903 году.

Архитектор Сергей Соловьёв придерживался древнерусского стиля, он придал фасадам декор псковских храмов. Над входами были укреплены мозаичные изображения св.

Георгия Победоносца — покровителя Москвы. Мозаики выполнили ученики Строгановского училища. Они же изготовили резные металлические детали — флагодержатели, кронштейны водостоков и карнизов, кресты. Керамические плитки и диски для оформления стен были выполнены на знаменитом гончарном заводе Саввы Мамонтова «Абрамцево».

В 1908 году известные брат с сестрой Иван и Агния Рахмановы, купцы-старообрядцы, в память о своих сёстрах Александре и Эмилии и по их воле оставили Москве капитал в 133 тысячи рублей для строительства богадельни «для эпилептиков и идиотов», «к какому бы вероисповеданию они ни принадлежали». Двухэтажное здание было возведено также С. Соловьёвым в 1908–1909 годах рядом с медведниковской богадельней и имело отдельный вход.

Купцы Рахмановы занимались торговлей хлебом, лесом, пряжей. Слава благотворителей закрепилась за этой семьёй ещё с конца XVIII века: на средства Рахмановых были построены старообрядческая школа, дом бесплатных квартир, приют.

Содержание 60 больных в этой богадельне обходилось в 15 тысяч рублей в год (т. е. по 250 рублей на человека). Это было очень много! Больных хорошо кормили, присматривали за ними квалифицированные медицинские сёстры. Больные получали на обеды и ужины чечевичную кашу, щи, борщи, жаркое, варенец, сыр, овощи. Утром пили молоко или кисель, ели каши.

После революции богадельни были ликвидированы, а их помещения отданы под 5-ю Градскую больницу. Часовни и храмы закрыли и частично разрушили.

Но в 1992 году правительство Москвы передало больничный комплекс Московской патриархии. Ныне оба храма — Святителя Алексея и Тихвинской иконы — действуют.

За Нескучным садом на Андреевской набережной — Андреевский монастырь. Он был основан в XVI веке в честь великомученика Андрея Стратилата — героического римского военачальника, погибшего из-за козней завистников. Эта обитель, наряду с Новодевичьим, Донским и Свято-Даниловым монастырями-сторожами, образовывала южное защитное кольцо Москвы.

Сейчас монастырь не действует, хотя уцелевшие строения вернули церкви: здесь патриаршее подворье, а в помещениях бывшей богадельни — Синодальная библиотека. Из архитектурных памятников до нас дошли две церкви конца XVII века, колокольня середины XVIII века и корпуса богадельни.

Ещё одно имение — «Мамонова дача» — находится в непосредственной близости от Андреевского монастыря. Несмотря на то что сам дом выстроил князь Долгорукий, а затем его перестроил князь Юсупов, закрепилось за поместьем название по имени самого экстравагантного владельца — сумасшедшего графа Матвея Александровича Дмитриева-Мамонова, масона, розенкрейцера, пытавшегося учредить в России собственный орден. Здесь он жил тридцать лет и умер в 1863 году от страшных ожогов, уронив огонь из трубки на облитое одеколоном платье — то ли случайно, то ли нарочно… После этого имение перешло к одному из его дальних родственников.