Можно предположить, что для молодого человека жизнь поблизости от писателя быстро превратилась в пытку. Причины тому многочисленны и очевидны. Шофер, привыкший к постоянным передвижением, к смене мест жительства, к работе с разными людьми и на свежем воздухе, был вынужден проводить целые дни за пишущей машинкой в квартире, которая наполнялась дымом от ингаляций астматика Пруста и где к тому же в течение всего дня запрещалось повышать голос. Добавим к этому психологические сложности. Он должен был страдать и от ревности Анны — некрасивой женщины, которая регулярно устраивала сцены, и от подозрительности самого Пруста, который стремился контролировать каждый шаг своего подопечного. Пруст, например, скрупулезно собирал информацию о семье Альфреда (его сестре, его братьях, его отце), так как, по его мнению, все эти люди могли бы создать ему сложности во взаимоотношениях с секретарем. К этому можно добавить еще и ревность Николя и Селины Коттен, которые видели в Альфреде конкурента в борьбе за место рядом с Прустом.

Со своей стороны Марсель также не чувствовал себя счастливым. В течение всей весны 1913 года он жаловался в своих посланиях друзьям на эмоциональные страдания, а также на новые денежные расходы. Так, в письме мадам Строс в апреле 1913 года Пруст описывал себя как «влюбленного и разоренного игрока на бирже». По всей видимости, взаимоотношения с Альфредом складывались не так, как этого хотелось бы писателю. Пруст предчувствовал, что ему не удастся надолго удержать рядом с собой молодого человека.

26 июля 1913 года Марсель в компании Альфреда, Анны и Николя Коттена отправился по заведенной уже несколько лет традиции на летний отдых в Кабур. Что произошло в отношениях между Агостинелли и Прустом в этот момент, не совсем ясно. Но примерно через неделю после прибытия в «Гранд-отель» Пруст вместе с молодым человеком, не захватив с собой ничего из вещей, вдвоем возвратились в Париж на поезде. Пруст отправил из кафе сообщение Николя Коттену о том, что тот вместе с Анной также должен ехать домой.

Пруст, по всей видимости, в чем-то подозревал Агостинелли. Об этом можно судить из совсем недавно ставшей доступной для исследования записной книжки писателя, в которой он делал записи в 1909 и 1913 годах. Этот ежедневник был продан на аукционе «Кристис» за 50 тысяч евро частному лицу в 2013 году (ровно через 100 лет после публикации первого тома романа Пруста). Однако Национальной библиотеке Франции удалось найти меценатов, которые выкупили этот драгоценный документ размером всего 11 на 6 сантиметров и передали его в библиотеку. В книжке оказались заполненными всего около тридцати страниц. Рядом с записями, относящимися к редактированию романа, есть несколько листов, заполненных странной информацией. Она представляет собой описание перемещений по Парижу 11, 12, 13 и 14 августа 1913 года кого-то, кого Пруст обозначает буквой А. Можно предположить, что речь идет о слежке за Агостинелли, которую заказал Пруст. Детектив, следивший за секретарем, рассказывал о том, что ему удалось обнаружить, а Пруст делал записи в своем ежедневнике. Скорее всего, преследование не дало никаких интересных результатов и было прекращено Прустом, который пытался найти другие способы удержать Агостинелли.

Писатель, зная о мечте молодого человека стать летчиком, предложил оплатить ему уроки пилотажа. В ноябре 1913 года Пруст подписал контракт с Фердинаном Колленом, директором школы авиаторов Блерио, расположенной в окрестностях Парижа. Однако Агостинелли бросил занятия незадолго до экзаменов. Рано утром 1 декабря 1913 года Альфред и Анна покинули квартиру Пруста и отправились в Монако.

Пруст, не выносивший неожиданных разрывов и исчезновений, попытался найти беглецов. Он обратился за помощью к верному Альберу Намьясу с просьбой сообщить ему имя какого-нибудь бывшего полицейского, который смог бы проследить за Агостинелли. Затем он решил послать Намьяса в Монако для переговоров с отцом Альфреда. Он хотел предложить выплачивать отцу небольшую пенсию, если тот согласится повлиять на сына и заставит его вернуться к Прусту. Однако этот план Намьясу реализовать не удалось: отец оставил решение за Альфредом.

Несмотря на просьбы писателя, Агостинелли отказался возвращаться под крышу Пруста. Вместо этого он записался в школу пилотажа братьев Гарберо в Антибе, выбрав для себя имя Марселя Свана, что говорит о его знакомстве с персонажами романа «В поисках утраченного времени». 30 мая 1914 года во время второго полета, который он проделывал в одиночестве, Агостинелли решил пролететь над морем, что было категорически запрещено. Ему не удалось удержать самолет в воздухе, машина упала в воду. Присутствовавшие при полете зрители (в том числе Анна и друзья Агостинелли, приехавшие из Монако) видели пилота, безуспешно звавшего на помощь и делавшего знаки находившимся на берегу. Лодки, которые отправились в сторону уходящего под воду самолета, опоздали: Агостинелли не умел плавать и, не дождавшись помощи, утонул. Анна послала Прусту телеграмму с трагической новостью. Брат Альфреда просил у Пруста финансовой помощи для организации поисков погибшего с помощью водолазов. Тело Агостинелли было найдено только 7 июня.

Скорее всего, отношения между Прустом и Агостинелли не прерывались окончательно. Они продолжали обмениваться письмами. Писатель, стараясь контролировать Альфреда хотя бы на расстоянии, продолжал держать его в курсе всех важных событий своей жизни, вплоть до проблем с публикацией романа. Об этой переписке можно судить по единственному письму, дошедшему до нас. Все остальные послания, отправленные молодому человеку, были уничтожены семьей Агостинелли. История обнаружения этого документа достойна отдельного рассказа. Письмо было отправлено Прустом 30 мая, в день гибели пилота, а потому не могло быть доставлено адресату. Исследователь Филипп Кольб, который готовил к публикации корреспонденцию Пруста, обнаружил его в архиве французской почты.

Это послание показывает, насколько у Пруста иногда сближались реальная жизнь и содержание романа. Так, в письме он упоминает об одной фразе из послания Агостинелли, которая его очень тронула. Из фразы он цитирует только прилагательное «сумеречный». В переписке Альбертины и повествователя это прилагательное будет употреблено в следующем контексте: Альбертина уверяет влюбленного в нее главного героя, что никогда не забудет своей последней прогулки с ним, прогулки, которая была дважды сумеречной: потому что наступала ночь и потому что это был их последний вечер вдвоем перед расставанием. Писатель, кстати, просит Агостинелли вернуть ему его письма. Можно предположить, что за этой просьбой стоит не только страх огласки, но и другие причины: Пруст предполагает использовать свои собственные послания, прямо их цитируя, в своем романе.

В письме Пруста речь также идет о самолете и о другом крупном подарке (возможно, «роллс-ройсе»), которые куплены писателем и от которых Агостинелли, по всей видимости, отказывается. Пруст тем не менее обещает, что самолет не будет им возвращен продавцу и навсегда останется в гараже. Эта история с подарками будет воспроизведена в романе «В поисках утраченного времени», в котором повествователь дарит Альбертине «роллс-ройс» и яхту. Отметим при этом, что Прусту пришлось пойти на серьезные траты: стоимость самолета составила около 27 тысяч франков, цена другого подарка была приблизительно такой же. Для их приобретения Прусту пришлось продавать акции, на проценты с которых он жил, что в очередной раз вызвало тревогу Льонеля Озе.