С Луговскими в Ташкенте Елена Сергеевна одно время жила общей семьей.

Булгакова вошла в жизнь Луговского в конце 1940 года. Их история началась после того, как умер М. А. Булгаков. Елена Сергеевна оказалась в водовороте новых отношений, очень неровных, но на тот момент необходимых им обоим.

Елена Сергеевна очень тяжело пережила смерть мужа, Луговской не был и не мог стать заменой, занять место Булгакова не мог никто. Ей, видимо, просто нужен был талантливый и добрый человек, к которому можно было прислониться. Своим бесконечным обожанием В. А. покорил ее.

Дочь Луговского, Маша (Муха), которой было тогда десять лет, вспоминала, как увидела Елену Сергеевну первый раз. В конце сорокового года Луговской часто заходил к дочери в свою бывшую квартиру в Староконюшенном, где маленькая Муха жила с матерью. В тот день они пошли гулять и за разговорами оказались на Новодевичьем кладбище. Подошли к могиле Надежды Аллилуевой. Отец сказал ей, что, когда сюда приезжает Сталин посетить могилу жены, кладбище закрывается. Потом пошли вглубь по аллеям и на скамеечке увидели женщину, которая сидела возле могилы. Луговской сказал дочери, что это его знакомая, Елена Сергеевна Булгакова, и Муха поздоровалась с ней. Вместе они вышли с кладбища. Муха стеснялась незнакомой женщины и молча шла впереди, а Луговской с Еленой Сергеевной сзади о чем-то негромко разговаривали. Видимо, вспоминая о той встрече, в письмах из Ташкента отец часто передавал ей привет от Елены Сергеевны.

Луговской был красив, ярок и в то же время добр, мягок и податлив. Он нравился многим женщинам. Они любили его бесконечно. Остались сотни писем от тех, которые страдали, проклинали и все равно прощали его.

Его первое по-юношески сильное чувство было связано с именем Тамары Груберт. В 1918 году в Сергиево, недалеко от колонии, организованной отцом, спасавшим в Подмосковье детей от голода, стоял туберкулезный санаторий, куда молодой Владимир Луговской бегал на свидания к дочери врача. Позже он посвятит ей первый сборник своих стихов “Мускул”. Эта юношеская любовь шла через испытания новой моралью: молодые люди менялись фамилиями, утверждали, что свободны друг от друга, расставались, встречались, но после тяжелого кризиса в жизни поэта стали жить вместе. Тамара родила ему дочь Машу (Муху), но их брак просуществовал недолго.

Пианистка Сусанна Чернова, с которой он стал жить в начале 30-х годов, немного вздорная, но независимая женщина, не вынесла бесконечно сжигающей ревности и в усталом раздражении ушла из дома, от его легкомысленной ветреной жизни, от поклонниц, вечно осыпающих его письмами и фотографиями, от неопределенности, свойственной поэтам, тяжело отражающейся на совместном существовании. Луговской очень тосковал о ней, молил вернуться, но напрасно. Он посвятил ей лирический сборник стихов “Каспийское море”, свои лучшие лирические стихи; некоторые образы поэм из будущей книги “Середина века” были навеяны ее рассказами о детстве в Баку. Он тяжело пережил ее уход в конце 30-х годов.

Майя Луговская (Елена Леонидовна Быкова), с которой он свяжет свою жизнь после войны, на основании его рассказов, писем и своих догадок в частично опубликованных мемуарах выстроила свой образ Елены Сергеевны Булгаковой и ее отношений с Луговским.

Елена Сергеевна, как могла, поддерживала его, писала ему в начале войны нежные письма из Пестово, где находился дом отдыха МХАТа.

Иногда они связывались через сестру Елены Сергеевны Ольгу Бокшанскую. Она с недоверием относилась к увлечению сестры. Умоляла ее сидеть в доме отдыха и не выезжать в Москву под бомбежки.