Выйдя в отставку, граф Орлов-Чесменский жил большей частью в своем дворце в Москве, в Нескучном саду, изредка выезжая за границу и в Петербург. Ему последовали и другие братья, и ряд их домов составил в Москве целую новую улицу, представляющую редкое сочетание красот природы с прелестями вымысла, вкуса, богатства и ума. «Благодаря своему богатству, азиатской роскоши, к которой Орлов питал слабость, а главное, благодаря своим чисто русским народным вкусам он не мог не сделаться в Москве самым популярным человеком. Орлов делал много добра, старался быть доступным, оказывал покровительство людям, к нему обращавшимся».

Дом Алексея Орлова, по словам С. Ушакова, «был храмом любви Отечества, открытою галереею невинных веселостей, пристанью достоинства и дарований, убежищем от злополучия и нищеты. Благотворения графа никогда не переставали изливаться на всех прибегающих к нему. Он полагал первейшим своим удовольствием даже предупреждать просьбы ищущих его покровительства, но при всем столь редком достоинстве души, заслуживающем всякие похвалы, он старался делать благодеяния как можно скрытнее, имея... неизменным правилом своим обыкновение не казаться, а быть добрым. Впрочем, слава добрых его дел не могла быть неизвестна, соотечественники его с удовольствием передают о ней потомству своему».

Орлов-Чесменский, будучи русским человеком, любил все отечественные обряды, нравы и веселости. Бойцы, борцы, силачи, песельники, плясуны, скакуны, ездоки на лошадях — все, что только означало мужество, силу, твердость, достоинство и искусство русское, стекалось в дом его.

В 1782 году Алексей Орлов уведомлял императрицу о намерении вступить в брак с двадцатилетней Авдотьей Николаевной Лопухиной и получил собственноручное письмо Екатерины II 28 августа 1782 года: «Граф Алексей Григорьевич. Письмо ваше от 19 апреля я приняла из рук братца вашего, князя Орлова. Он вам сообщит и мой ответ на ваше предложение, и не осталось мне, окромя того, что желать вам всякого счастья и благополучия в принятом вами намерении. Остаюсь, впрочем, к вам с отличным доброжелательством. Екатерина».

Свадьба была торжественно отпразднована в селе Остров 6 мая 1782 года. 2 мая 1785 года у Алексея Орлова родилась дочь Анна. Посвящая свое время супруге и дочери, граф не забывал и своих прежних развлечений. Каждый год зимою, еженедельно по воскресеньям, устраивал он «лошадиный бег», куда съезжались не только жители Москвы, но и дворяне других губерний. В летнее время Москва была обязана ему учрежденною перед домом его скачкою на лошадях и прогулкой в Английском саду. «Одним словом, — пишет С. Ушаков, большой поклонник чесменского героя, — граф Алексей Григорьевич был не только почтеннейшим и наилюбезнейшим русским боярином, но и душою, соединяющею российских дворян, сердцем общественных веселостей, нравов и обычаев, надеждою несчастного, кошельком бедного, посохом хромого, глазом ослепшего, покоищем израненного воина и врачом больного гражданина».

Погрузившись в хозяйственные дела, он увлекся своим конным заводом, который скоро приобрел заслуженную известность. На собственном конном заводе граф вывел знаменитую до сих пор породу орловских рысаков. Она была получена в результате смешения арабской и английской скаковых лошадей с кровью голландской, датской и мекленбургской пород. Главными достоинствами этой породы лошадей являются быстрота, энергия и сила, а также правильность и плавность движения.

«Заслуга графа Орлова-Чесменского, — сообщает «Сборник биографий кавалергардов», — не в том, что он был охотником и любителем лошадей — такие есть всегда и везде, — а в том, что он создал тип русской рысистой и верховой лошади. Не говоря о том, что русское коннозаводство обязано ему улучшением всей массы лошадей в России».

Семейная жизнь Орлова продолжалась недолго. 20 августа 1786 года Авдотья Николаевна умерла.

Дочь Анна, рано оставшаяся сиротой, нашла в Орлове нежно любившего ее отца. Попечения и заботы о дочери сделались целью его жизни. Отношения к ней отца отличались необыкновенной нежностью и страстною привязанностью к «ненаглядной» дочери. «Привлекательная собой, развитая сильно физически, гр. Анна Алексеевна была богато одаренной натурой, человеком с необыкновенно добрым, отзывчивым сердцем, унаследованным ею от матери». В молодости она имела много женихов (кн. Барятинский, Куракин, гр. Салтыков, Н.М. Каменский, кн. П.А. Зубов и др.). По свидетельству гр. А.Д. Блудовой, Орлова нежно любила графа Каменского, вскоре умершего, и осталась верна этой любви всю жизнь. Чрезвычайно религиозная, она в щедрой благотворительности нашла цель своей жизни.

В конце июня 1787 года императрица Екатерина в последний раз была в Москве по возвращении из Крыма и из Коломенского приехала под Донской монастырь и лично посетила чесменского героя.

В 1787 году Орлову представилась возможность вернуться на службу. Началась вторая русско-турецкая война, и возникла идея снова отправить эскадру в Средиземное море. Императрица послала собственноручное письмо 21 октября 1787 года к графу Алексею Орлову: «Любя пользу империи, при подписании знатного морского вооружения нельзя, чтоб не пришли мне на ум имя и деяния Алексея Григорьевича Орлова-Чесменского и брата его, графа Федора Григорьевича Орлова. Кому не известно, что они впервые морскими нашими силами врагу имени христианского нанесли страх, трепет и сильные удары, паче же разорением флота его при Чесме посреди морей, до того российскому орлу неизвестных; что народная доверенность тамо их встречала; что за ними по следам шла победа? Неоспоримая правда, что имя ваше прибавит моему морскому вооружению еще вес и меру в ужас врагу, во ободрение своим, кои под вами достигли до побед и награждений».

В дружеском письме не повелевается, но спрашивается запросто: «Во-первых, склонен ли граф Алексей Григорьевич Орлов-Чесменский взять охотно паки команду над флотом, когда я ему поручу и сей (то есть флот. — В.Ш.) придет в Архипелаг, куда адмирал Грейг его приведет и с ним останется?

Второе, граф Федор Григорьевич Орлов поедет ли с ним? Буде вы решитеся ехать, то можете паки ехать в Италию и оттуда отправиться во флот. Третье, адмирал Грейг сам все вооружение приведет в самое лучшее и надежнейшее состояние, и сие вооружение сильнее прежнего и готовится к началу будущей весны. О сем описав к вам дружески, пребываю к вам, как всегда, весьма доброжелательна. Екатерина».

Граф отказался, сославшись на болезнь, от начальствования над флотом, на его место был назначен генерал-поручик И.А. Заборовский.

Императрица осталась недовольна решением, принятым Орловым. И тем не менее, считая чесменского героя «неслужащим лицом», Екатерина вспомнила о нем — в июле 1790 года она по случаю победы, одержанной русским флотом над шведским, писала: «Граф Алексей Григорьевич! Божией премудрости хвалу воздав за чудеса его, во-первых, когда при Ревеле адмирал Чичагов с десятью линейными кораблями отражал 28 неприятельских, из коих один взял, а другой сами шведы, посадя на мель, сожгли. Потом тот же адмирал, имев в своей команде много оставшихся во флоте учеников ваших, у коих в свежей еще памяти храбрости Чесменского победителя, в Выборгской бухте совершенную победу одержав над шведским корабельным и гребным флотами, о которой доныне еще не все трофеи известны, ибо ежедневно приводятся, и приведена еще сего дня галера, о которой никто не знал. Тогда нельзя не обратить взор с благородным сердцем на того, кто таковых побед у нас на море открыл свету впервые.