Хотя получение премии Гонкур придало Прусту уверенности в себе, 1919 год оставался одним из самых тяжелых в жизни писателя. В этот период его ожидало множество материальных и сентиментальных забот. К уже существовавшим сложностям — постоянной работе над романом, а также финансовым потерям — добавились новые. Первая из них — необходимость съехать с квартиры. В начале года Пруст узнал, что его тетя, которой принадлежал дом 102 на бульваре Осман, продала здание банкиру Варену-Бернье, предполагавшему выселить всех его обитателей и превратить жилые помещения в бюро. Пруст должен был покинуть свои апартаменты не позднее 1 июня 1919 года. Кроме того, ему нужно вернуть накопившиеся долги, поскольку, как и другие жильцы, благодаря мораторию на квартплату, введенному правительством в 1916 году, он не платил за жилье в течение войны. Однако в отличие от других нанимателей Пруст не просил снизить ему цену, мотивируя это уменьшение форс-мажорными обстоятельствами, поэтому его долг был очень велик, он составил 25 тысяч франков.

Писатель бросился на поиски нового жилья, которое бы соответствовало его многочисленным требованиям (без деревьев рядом с домом, без пыли, без шума, без соседей над головой). Он даже думал снимать несколько комнат на последнем этаже отеля «Риц», но отказался от этой идеи из-за очевидной дороговизны такого предприятия. В конце концов за пять дней до конца контракта Пруст переехал в меблированную квартиру в принадлежащем актрисе Режан доме 8 по улице Лоран-Пиша. Квартира оказалась не очень удобной: из-за тонких стен Пруста беспокоили шумы от соседей, у него усилились приступы астмы. Писатель надеялся остаться на улице Лоран-Пиша лишь на месяц, но ввиду того, что найти жилье в Париже было непросто, его переезд откладывался до осени.

Только в октябре 1919 года Пруст нашел квартиру в доме 44 на улице Амлен. Пруст послал изучить предложенный ему вариант Селесту Альбаре, которая осмотрела жилье. Получив подробное описание от служанки, Пруст принял решение о переезде. Апартаменты были расположены на пятом этаже и по площади чуть меньше тех, что он занимал на бульваре Осман: кроме спальни Марселя в них были салон, будуар, а также комнаты для Селесты и одного секретаря. Льонель Озе напомнил Прусту, что с доходом 25 тысяч франков в год и его расходами на обслугу и еду он не может себе позволить снимать жилье за 16 тысяч франков. Советник Пруста считал, что цена за квартиру была слишком высока: она такая же, как на улице Курсель, откуда Пруст уехал после смерти родителей из-за дороговизны. Но писатель рассчитывал снизить оплату, поскольку будет использовать собственную мебель. Хотя квартира стоила дорого, Пруст был настолько утомлен своей бессонницей, что стал даже платить соседке сверху за то, чтобы она не шумела.

Параллельно с проблемами, связанными с переездом, в сентиментальной жизни Пруста разыгралась очередная драма. С лета 1918 года у него появился новый секретарь по имени Анри Роша. Пруст познакомился с ним в отеле «Риц», где тот служил. Переехав к Прусту, настоящей секретарской работы Роша практически не выполнял, отдавая большую часть своего времени занятиям живописью. Селеста с недоверием относилась к этому новому помощнику Пруста. В своих воспоминаниях она старается подчеркнуть, что и сам Пруст видел своего секретаря с большой долей иронии. «Он думает, что он рисует» — так, например, по словам Селесты, писатель оценивал страсть Роша к созданию картин.

Как всегда, увлечение Пруста было связано с новыми денежными потерями. Писатель жаловался своим друзьям на огромные траты: например, он рассказывал Полю Морану, посетившему его в новой квартире, что накануне Роша купил одежды на три тысячи франков. Поскольку состояние финансов Пруста больше не могло выдерживать таких расходов, Марсель пытался избавиться от своего секретаря. Однако тактичному и чувствительному Прусту это было сделать непросто, тем более что Роша никак не мог найти себе заработка. Сначала секретарь уехал на Лазурный берег, чтобы отыскать там работу, но скоро возвратился к Прусту, который готовился к переезду. В июле Роша едет в Швейцарию, но спустя короткое время снова оказывается в квартире писателя, так как и в этом случае его поиски заработка не дали результата. Роша остался жить у Пруста до июня 1921 года. В конце концов писатель обратился за помощью к Горасу Финали, который отправил секретаря в Буэнос-Айрес для работы в одном из филиалов банка Париба́.

Поскольку Анри Роша проживал у Пруста дольше, чем Альфред Агостинелли, можно предположить, что его присутствие помогло Прусту в написании части «Пленница», описывающей совместную жизнь главного героя романа «В поисках утраченного времени» с Альбертиной. Таким образом, впечатления от взаимоотношений с Агостинелли начинают дополняться в романе информацией из других источников. Кроме того, элементы биографии секретаря Пруста можно обнаружить в образе Мореля, одного из содержантов барона Шарлюса в романе. Подобно Морелю Роша, уезжая в Южную Америку, бросает свою невесту. Как утверждает Селеста, Пруст даже отправился утешать покинутую девушку, дочь консьержки, точно так же как он утешал Анну после смерти Агостинелли.

Переезды, а также нестабильные взаимоотношения с Роша вызвали у Пруста проблемы со здоровьем. Если в течение войны писателю удавалось найти равновесие между работой и отдыхом, то начиная с 1919 года болезнь постепенно брала верх. Осознавая, что здоровье его клонится к упадку, Пруст все больше и больше беспокоился из-за задержек в публикации его романа. Все чаще он говорил своим друзьям не просто о плохом самочувствии, но о приближающейся смерти.

В 1920–1921 годах Пруст продолжает публиковать новые части романа, используя уже выработанную практику разделения текста на тома. Так, «Сторона Германтов I» продается с 22 октября 1920 года. Пруст, кстати, посвящает ее Леону Доде. Затем в 1921 году выходят в свет «Сторона Германтов II» и «Содом и Гоморра I». С весны 1921 года Пруст работает над «Содомом и Гоморрой II» и планирует издание «Содома и Гоморры III — Пленницы».

Опубликованные тома «Стороны Германтов» описывают светский опыт Пруста, а значит, некоторые знакомые писателя из парижского бомонда начинают узнавать себя в персонажах романа. Несколько старых друзей писателя воспринимают «Поиски» как насмешку и оскорбление. Так, Луи д’Альбюфера распознает свои черты в Сен-Лу и разрывает отношения с Прустом. Графиня де Шевинье считает, что Пруст отразил ее характер в образе герцогини Германтской, и возмущена до такой степени, что отказывается читать «Сторону Германтов II» и сжигает все послания Пруста. Лора Хейман, которой кажется, что она напоминает Одетту де Креси, в своем письме Прусту называет его «монстром». Робер де Монтескью, основной прототип барона Шарлюса, умирает в декабре 1921 года, что провоцирует легенду о том, что он не смог перенести своего сходства с персонажем романа. Однако его переписка с Прустом не подтверждает этого предположения. В своих посланиях писателю Робер де Монтескью не демонстрирует никакого возмущения. Он лишь расспрашивает Пруста об источниках его персонажей. Пруст сообщит Монтескью, что для создания образа Шарлюса он опирался на опыт своего общения с бароном Доазаном.