Выйдя в отставку, Федор Григорьевич успешно занимался предпринимательством, завел крупные стекольные заводы, приобрел в Москве у Демидовых особняк, будущий Майский (Александринский) дворец, который завещал племяннице Анне Алексеевне.

Заботами графа был разбит и украшен беседками и купальнями сад, вскоре ставший одним из красивейших мест Москвы, восхищавшим его посетителей. «Очень красив сад Орлова – расположенный на склоне, он изрезан бесчисленными дорожками, холмиками, лужайками и обрывами; разнообразие беседок и купален радует глаз, – писала Катрин Вильмот в Англию. – Между прочим, в парковой архитектуре используется березовая кора: вы и представить себе не можете, как это замечательно выглядит – как будто летние домики и беседки возведены рукой самой природы».

Граф Федор, единственный из братьев, никогда не был женат, но часто и бурно влюблялся и оставил множество внебрачных детей, семеро из которых по просьбе самого графа указом Екатерины II были возведены во дворянство.

Бронзовая доска над могилой графа в Отраде гласила: «Граф Федор Григорьевич Орлов. Из пяти братьев по старшинству четвертой. Родился 8 февраля 1741 года, скончался в Москве 17-го Мая 1796 года, 55 лет к сокрушению друзей и сожалению всех честных людей. Служил 40 лет, был генерал-аншеф, действительный камергер, орденов Российских святяго Александра Невскаго и святаго великомученика и победоносца Георгия, большаго креста, втораго класса, кавалер. Находился в разных сражениях: в Семилетнюю войну против Прусаков, потом под предводительством брата своего большаго Алексея Григорьевича Орлова-Чесменского во флоте действующем в Архипелаге против Турок, сделал высадку в Греческой провинции Морее, с горстью людей взял несколько крепостей».

Граф Владимир Григорьевич Орлов хлопотами братьев избежал тяжкой военной службы и, несмотря на слабое здоровье, дожил до 88 лет. В военную службу Владимир был зачислен в 1758 г. – на смотре в Московской губернской канцелярии недоросль; отпущен домой. До 1763 г. он жил в Москве и в родовом сельце Люткине Бежецкого уезда – уже тогда русские дворяне завели традицию родовое гнездо оставлять в распоряжение младшего брата, что резко контрастировало с европейскими правилами дворянского майората. А в 1763 г. Владимир был представлен государыне и направлен учиться за границу. В 1766 г. он окончил Лейпцигский университет, в котором впоследствии обучался его племянник, Алексей Бобринской, и был назначен первым директором императорской Академии Наук. Выйдя в отставку в чине камергера и генерал-поручика в 1774 г., граф построил близ села Семеновского Серпуховского уезда кирпичную усадьбу в английском стиле. Поселился в своей Отраде. Очень много читал, занимался живописью, регулярно трудился над улучшением обширного хозяйства и крестьянского быта. В другой вотчине Орловых, селе Усолье Симбирского уезда, также был возведена каменная усадьба. Как и «старик» Иван, Владимир не гнался за наградами. О его единственном ордене – Св. Владимира 3-й степени известно лишь по редкому портрету швейцарского художника Барду, написанному около 1796 г.

В своих вотчинах Владимир Григорьевич ввел уставные грамоты, четко регламентирующие обязанности крестьян, строил больницы и школы, заслужив имя «государя-графа».

Владимир – единственный из братьев, которому удалось создать прочную и многодетную семью. Он венчался 24 августа 1768 г. в придворной Воскресенской церкви Царского Села со своей ровесницей, фрейлиной государыни, баронессой Елизаветой Ивановной фон Штакельберг (27.12.1742-7.09.1817), второй дочерью директора Лифляндской коллегии экономии барона Фабиана-Адама фон Штакельберга и жены его Шарлотты Хелены, урожденной фон Липхарт. В этом браке было шестеро детей. Кроме того, как директор Академии Наук, он контролировал воспитание побочных племянников, некоторые из которых, включая Бобринского, учились за границей. Известно, что он опекал «воспитанников» графа И.Г. Орлова, «братьев Богословских» и побочного сына графа А.Г. Орлова Александра, учившихся в Германии.

Сотрудниками графа В.Г. Орлова по научно-организаторской и образовательной деятельности в Европе были профессора Зейдлиц (Christoph Gottlieb Seydlitz, 1730–1808), профессор диалектики и метафизики философского факультета Лейпцигского университета, и Гейнзиус (Gottfried Heinsius, 1709–1769), математик и астроном, состоявший в 1736–1744 гг. при Петербургской Академии наук.

Граф В.П. Орлов-Давыдов упоминает, что около 1770 г. в образцовом учебном заведении в 40 км от Лейпцига – Галльском Педагогиуме «находились следующие молодые Русские: братья Богусловские, Наумов, Зиновьев, Насакин, Островков, и посылались еще Бунин, дети Шкурина».

В списках учащихся, поступивших в «Paedagogium Regium» в 1769–1770 гг., помимо Бунина, значатся Петр Иванович Богославский («Peter Iwanowitzsch von Bocoslavsky aus SPb., покинувший школу 7. 3. 1769», снова учившийся 7.05.1769-29.09.1771), о котором сохранилась запись: «граф Орлов брал его в путешествие», Иван Михайлович Наумов («Ivan Michalovitsch von Naoumovaus SPb.; 7.02.1769-18.01.1773») и Александр Алексеевич Островков («Alexander Alexiewitsch von Ostrovkov, учившийся здесь с 20.11.1770 по 1771 год»).

«В письмах В.Г. Орлова Гейнзиусу (в Галле), А.-Л. Шлецеру (в Геттинген) содержатся наставления о воспитании детей, которых он отправлял в Германию (это были сыновья Алексея и Ивана Орловых; вместе с ними воспитывался сын А.И. Бунина), – отметила исследователь Отрадинского архива Орловых и Орловых-Давыдовых К.А. Майкова. – Дариес в своих письмах (1766,1769 гг.) передает поручения от лейпцигского профессора Зейдлица (он имел на попечении детей – это были сыновья Алексея и Ивана Орловых, которых В.Г. Орлов отправил учиться в Галльский Педагогиум). Г. Гейнзиус, состоявший воспитателем при детях, учившихся в Педагогиуме, отвечал в своих письмах не только на вопросы о мальчиках, но также и обо всем, что касалось организации наблюдений за прохождением Венеры».

«Учиться в Галльском Педагогиуме – одном из лучших средних учебных заведений в Германии XVIII в. – было нелегко, – пишет профессор И.Ю. Виницкий. – В программу обучения в интересующий нас период входили латинский, греческий, древнееврейский и французский языки, введение в юриспруденцию, история, география, основы зоологии и ботаники, оптика, астрономия, музыка, рисование и каллиграфия. Особое внимание в школе уделялось воспитанию хороших манер и строгой нравственности. В письмах к галльским профессорам Владимир Орлов выражал беспокойство о том, чтобы пиетистское по своему духу воспитание не довело русских мальчиков до меланхолии, и просил педагогов уменьшить академическую нагрузку на юные неокрепшие умы».

Графу довелось пережить своих четверых детей. Старший сын, Александр (28.07.1769-12/23.10.1787) сразу после рождения был записан прапорщиком в гренадерскую роту Лейб-Гвардии Преображенского полка. Алексаша жил с родителями, хорошо учился, изучал иностранные языки, а его карьера двигалась вперед. 11 февраля 1780 г. из «малолетных прапорщиков» этого полка он был переведен в Конную Гвардию корнетом, тоже в число «малолетных». Затем государыня произвела Александра в вахмистры Конной Гвардии, а 9 июля 1786 г. – в подпоручики. Однако юноша тяжело заболел, 25 июня 1787 г. был уволен в чужие края, для излечения болезни, и скончался, к горю родителей, во французском городе Лионе.