Отставка Григория была предопределена его собственным поведением. Охлаждение его к государыне, поспешность, с которой он укатил на переговоры, оставив императрицу (по прибытии на место ему пришлось провести в ожидании тянувших время турок около месяца). Но главной причиной разрыва была конечно же любовь. Бывшие при дворе иностранцы считали, что если бы Григорий оставался пылким любовником государыни, его место не смог бы занять никто. Императрица простила бы все, но женщина не прощает истинного, глубокого чувства к другой. За сменой любовника дело не стало.

Взгляд государыни остановился на одном из командующих царскосельским караулом конной гвардии поручике Васильчикове, тоже высоком, стройном и красивом, с пустой, однако, головой. Для первого сближения ему была подарена табакерка «за содержание караулов», но вскоре награды и повышения посыпались с возрастающей интенсивностью. «Скучнейший гражданин в мире» — так охарактеризовала его вскоре сама Екатерина, что, впрочем, не помешало ей использовать осчастливленного гвардейца не только в качестве привлекательной декорации. А. Васильчиков занял во дворце комнаты Орлова, а во избежание кровопролития на случай внезапного появления бывшего хозяина оных покоев, обладавшего, как всем было известно, большой физической силой и смелостью, у дверей бывшего караульного выставлен был караул для его персональной охраны.

Но караул караулом, здесь пахло только кулаками одиночки… Нельзя забывать, что Средиземноморье бороздили славные российские эскадры под командой Алексея Орлова, там же и Федор командовал десантными войсками. Следовало принять и более серьезные меры предосторожности: императрица опасается хорошо продуманных и решительных контрмер (она допускает, что таковые могут последовать) и отдает приказ губернатору Лифляндии графу Броуну не пропускать в Петербург А. Орлова без ее высочайшего позволения, если тот вдруг объявится в Риге. Опасения ее были напрасны, свою верность отчизне А. Орлов доказал и на этот раз.

Для смягчения удара по Орловым Екатерина приглашает их хозяйственника, Ивана, чтобы обсудить с ним условия, способные урезонить опасных братцев. «Я никогда не позабуду, сколько я всему роду вашему обязана, — говорит Екатерина „старику“ Ивану, — и качеств тех, коими вы украшены, и колико оные отечеству полезны быть могут». И жалует Орловым приглянувшуюся подмосковную Хатунскую волость и 6 тысяч крестьян. Самому Григорию она дарует пенсию в 150 тысяч руб., великолепный Мраморный дворец (недостроенный), серебряный сервиз, ценный тем, что изготовлен в единственном комплекте, собрание из 206 картин и 99 портретов, составивших особую портретную галерею и кое-что из «мелочей», что есть все те «вещи, которые хранятся в камор-цалмейстерской и у камердинеров под именем графским, и о коих граф Григ. Григ, о многих и не знает». А по прошествии года Екатерина дает ему право самому решить, оставаться ли на государственной службе.

Специалисты Государственного Эрмитажа полагают, что портретную подборку подаренных картин составлял сам Г. Орлов. Картины были размещены в штегельмановском доме, затем в Мраморном дворце, а после смерти хозяина распределены по дворцам Павловска, Стрельны, Отрады (село Семеновское Хатунской волости) Владимира Орлова и Эрмитажа. Взамен Екатерина просила Григория в течение одного года не показываться при дворе.

В устах императрицы прозвучало столь малое и столь роковое: «Все прошедшее я предаю совершенному забвению». Но внешне ничего особенного между ними и в этот раз не произошло, после непродолжительного перерыва их отношения на публике оставались прежними, насколько это было возможно. Более того, по наблюдениям иностранцев Григорий в 1775–1776 гг. продолжал оказывать влияние на решения Екатерины.

Волнения, граничащие с беспокойством, нахлынули на весь придворный мир. Появление нового фаворита взволновало дипломатический корпус, почувствовались близкие перемены в отношении императрицы не только ко всему клану братьев Орловых, иностранным послам надо было угадывать изменения внешнего курса. Загрустила и дворцовая прислуга. Граф Сольмс констатировал: «Лакеи и горничные Императрицы озабочены и недовольны: все они знали графа Орлова, привыкли к нему, он их любил и покровительствовал им».

А Григорий, проведя некоторое время в Царском Селе «на карантине», удалился в Гатчину, где заболел. Императрица присылала ему медика, здесь он получал содержание от двора, дворцовую прислугу, весьма довольную сим назначением. От присланных денег он отказывался «дабы не обременить государство». Вскоре обладатель «львиной отваги при кротости овечьей» и вовсе успокаивается.

Придворные интриганы пытаются добиться от Григория добровольного отказа от всех государственных должностей, на что он неизменно отвечал, что эти вопросы пусть решит сама государыня. В остальном он на все соглашается, поставив лишь одно дополнительное условие — позволение открыто именоваться князем Священной Римской империи. Только 4 октября 1772 г. ему разрешено было называться светлейшим князем.

Судя по всему, отставка Григория от двора на год не состоялась. 1 декабря 1772 г. французский посланник в Петербурге Дюран рассказывал герцогу Дегильону, что, по его сведениям, исходящим от одного из русских придворных, императрица совершенно не занимается государственными делами, будучи поглощенной делами Орловых. Еще и через два месяца, то есть к февралю 1773 г., по его словам, «эта женщина ничего не делает… пока будет поддерживать партию Орловых и заниматься ими — нам ничего не остается делать». Стало быть, Васильчиков служил государыне исключительно в качестве живой игрушки, что ее не устраивало, она нуждалась в мужском плече, о которое можно было бы опереться в делах. Весной следующего года ей выпало счастье: с Григорием Потемкиным она пережила бурный, но скоротечный любовный роман, зато на долгие годы обрела в его лице государственного мужа, советника во всех ее делах. После отставки Потемкина от покоев государыни в них последовательно поселялись лица, составившие в итоге целую галерею портретов.

О справедливости слов Дюрана свидетельствуют следующие факты.

В конце 1773 — начале 1774 г. Алексей, уже хозяином, в предвкушении скорого окончания войны, ездил осмотреть обретенное совместно с братьями село Хатунь и ее окрестности, находящиеся в 80 верстах к югу от Москвы. Владимир уже собирается здесь «вить гнездо». А Григорий 23 декабря появляется в Петербурге, не воспользовавшись ни придворным экипажем, ни положенным ему по должности караулом, никакими другими дворцовыми услугами. Он останавливается у брата Ивана, так как его штегельмановский дом в это время перестраивался, а уже на следующий день встречается, как ни в чем не бывало, с государыней, разговаривает «о картинах» и прочих отвлеченных вещах. Внешне все выглядит как прежде, Григорий весел, шутит даже с Васильчиковым, разъезжает по знакомым. В театре на глазах императрицы он ухаживает за хорошенькими женщинами, всем своим видом показывая присутствующим, что он не изгнан, а может по-прежнему делать все, что хочет. Может, но… сам того не хочет. Уже через пару дней следившие за ним повсюду любопытные глаза отметили, что Г. Орлов избегает двора, стала проявляться никогда не покидавшая его склонность к простой, свободной от церемониалов жизни. А появлялся он на придворном небосклоне, скорее всего, за тем, чтобы заставить утихнуть языки, злорадно обсуждавшие его отставку.