Меншиков владел дворцом двадцать лет. Он пережил Петра, возвёл на престол его любимую, но неграмотную супругу Екатерину, после её смерти — внука Петра, сына казнённого царевича Алексея. Этого царственного мальчика-подростка он планировал женить на своей дочери Марии, но честолюбивым планам не было суждено свершиться. Из-за интриг завистников Меншиков потерял власть, был сослан, а дворец конфисковали в казну.

В недолгое царствование Петра Второго Алексеевича статус столицы был вновь возвращён Москве, а императорский двор располагался в Лефортовском и соседнем Головинском (позднее переименованном в Екатерининский) дворцах. Головинский стоит на противоположном берегу Яузы.

Сам мальчик-император жил в Лефортовском, покинув его лишь ненадолго, на несколько месяцев, — после смерти своей любимой старшей сестры. Как и при его деде, во дворце проходили многочисленные попойки. К юному императору были приставлены два «воспитателя», которые должны были учить его наукам и государственному управлению. Один из них, немец Остерман, старался выполнять свои обязанности, а второй — из старинного княжеского рода Долгоруковых — принялся потакать самым дурным наклонностям коронованного ребёнка и нарочно его спаивал. В этом ему помогал сын Иван, «красивый молодой человек и живого характера», который сумел стать лучшим другом юного монарха.

— писал современник.

Это было не трудно: царь-подросток не имел ни опыта, ни образования. Из-за опалы и казни отца Пётр Великий мало уделял внимания внуку. Его растили сначала две «мамки» из Немецкой слободы, а затем гувернёры, которые из всех наук лучше всего обучили мальчика татарским ругательствам, за что и были самолично биты его царственным дедом. Впрочем, вполне возможно, что виноваты были не только учителя, а унаследованные маленьким Петром фамильные дурные качества: упрямство и самодурство. Его старшая сестра, великая княжна Наталья Алексеевна, воспитывалась также, однако в отличие от брата выросла очень умной и образованной девушкой. К сожалению, как и брат, она рано умерла.

— замечал австрийский посол в России.

Пётр Второй обожал охоту и посвящал ей всё свободное время, забывая о занятиях и государственных делах. Но не очень сильному физически мальчику явно не по силам было рыскать по полям и лесам по несколько дней кряду. Результатом стали болезни: корь, затем тяжёлая простуда — горячка, как называли тогда грипп. Долгоруковы забеспокоились, но не о здоровье Петра, а о собственном благополучии. Чтобы упрочить свою власть, они решили срочно женить императора на сестре Ивана Екатерине. Правда, девушка уже была помолвлена с другим, но кого волновали её чувства?

Незадолго до дня назначенной свадьбы в Лефортовском дворце произошёл случай, воспринятый народом как роковое предзнаменование: «государыня-невеста» в новой карете въезжала во дворец. Кичливые Долгоруковы постарались изукрасить экипаж как можно богаче, а наверху установили императорскую корону. Однако высоту кареты не рассчитали, и вызолоченная корона оказалась выше, чем арка ворот. Корона зацепилась, упала и разбилась на множество кусков. «Свадьбе не бывать!» — закричали в народе.

Так и случилось: сразу после пышных празднеств по случаю нового 1730 года император вновь заболел, на этот раз очень серьёзно — это была чёрная оспа. Нет, приговором эта болезнь не считалась: врачи XVIII столетия уже достаточно поднаторели в её лечении и большая часть больных выживала. Однако организм юного царя был ослаблен беспорядочной жизнью, и это создавало дополнительную опасность.

Поначалу казалось, что лекари справились: жар спал и юноша пошёл на поправку. А затем случилось непоправимое: молодой и глупый государь, не привыкший соблюдать режим и прислушиваться к мнению старших, встал с постели и открыл у себя окно, решив полюбоваться на замёрзшую Яузу и подышать свежим воздухом. В результате он простыл, последовали осложнения, и в конце месяца, ровно в день предполагаемой свадьбы, он умер.

Всё это случилось здесь, в Лефортовском дворце, положив начало эпохе «дворцовых переворотов», или «царству женщин». Затем последовали новые интриги, коронование нового государя, ссылка Долгоруковых — они поплатились за свою жадность и беспринципность.

Избранная государыня Анна Иоанновна, племянница Петра Первого, приехала в Лефортово со стороны Измайлова, в том дворце она ожидала официальной торжественной встречи. В Лефортово она разорвала подписанные ею ещё в Голштинии «Кондиции» — условия, ограничивающие царскую власть, и стала самодержавной государыней. Здесь она жила со своим фаворитом и тайным мужем Бироном, приказав выстроить на другом берегу Яузы Анненгоф — парк увеселений наподобие Петергофа. Ныне от него сохранились лишь руины. Любимой забавой императрицы было стрелять из ружья по уткам, водившимся там в изобилии и до сих пор ещё полностью не изведённым.

В конце царствования Анны Лефортовский дворец горел и после был сильно перестроен. После смерти Анны Иоанновны постоянно в нём никто больше не жил, но императрица Елизавета Петровна частенько останавливалась здесь, посещая Москву. Порой дворец использовался как резиденция иностранных послов, в 1770-е годы — как чумной карантин… При пожаре 1812 года дворец был сильно повреждён. Долгое время он был заброшен, теперь в нём располагаются два архива — военно-исторический и звукозаписи. Их сотрудники утверждают, что порой в пустых комнатах бывшей царской резиденции слышатся звуки барочной музыки, чей-то смех, шелест кринолинов…

Соседний дворец, обычно называемый Слободским, начал строить в середине XVIII века канцлер Бестужев-Рюмин для себя, чтобы удобно расположиться по соседству с государыней Елизаветой Петровной, коли той случится жить во дворце Лефортовском. Закончить строительство он не успел: попал в опалу и отправился в ссылку. Дворец конфисковали, и в конце 1760-х Екатерина Вторая подарила его своему фавориту — графу Григорию Орлову. Тому подарок был не очень нужен (и без него дворцов хватало!), и жил он там мало. Здание начало разрушаться. Его даже планировали разобрать, но Екатерина распорядилась иначе, передарив дворец Александру Андреевичу Безбородко. Умный рачительный Безбородко был полной противоположностью безалаберному Орлову, он сразу же принялся за ремонт и привлёк для этого лучших мастеров — Кваренги, Казакова, Баженова. Рядом выстроили церковь, сгоревшую в 1812-м, и два деревянных дворца — Жёлтый и Марлинский.

Затем дворец вновь отошёл в казну, там бывали Павел Первый и Александр Первый. В начале войны 1812 года в залах дворца разыгрались драматические события: в патриотическом порыве московские дворяне и купцы начали сбор денег на содержание армии. После войны пострадавший от пожара Слободской дворец был восстановлен и перестроен для новых целей: теперь в нём открыли училище для мальчиков-сирот. Теперь здесь Московский государственный технический университет имени Н. Э. Баумана. Имя университет получил потому, что в 1905 году, после убийства Николая Баумана, гроб с его телом стоял в главном зале дворца. В 1963 году перед зданием тогда ещё училища поставили Бауману памятник (скульптор А. П. Шлыков).