В 1839 году Толстому удалось прекратить публикацию неблагоприятных для России очерков из истории рода Демидовых; в 1842 году польский граф B. Замойский предпринял попытку издать в Париже написанную им сатирическую биографию Николая I, но Я. Н. Толстой с помощью посла Н. Д. Киселева добился аудиенции у министра иностранных дел Франции Гизо, и тот наложил запрет на печатание биографии. В 1843 году чиновник посольства П. В. Долгоруков анонимно опубликовал книгу о русском дворянстве, в которой содержалась критика крепостничества в России. Толстой установил автора, который вскоре был отозван в Россию и сослан в Вятку. Он держал в поле зрения Бакунина и его контакты с Карлом Марксом, а в 1845 году он и сам познакомился с теоретиком пролетарской революции и даже предлагал ему материальную помощь на подготовку революционных изданий. Маркс от денег отказался.

При всем при этом Толстому долгое время удавалось оставаться в тени; он слыл в Париже хлебосольным русским старожилом, ведущим праздную жизнь барина якобы на деньги, присылаемые из русского имения. Один из его парижских знакомых В. А. Муханов вспоминал: «Яков Толстой с радостью принимает вновь прибывших в Париж русских путешественников, вводит их во все дома, оказывает им всяческие услуги. Его можно встретить и на посольских обедах, и в литературном салоне министра народного просвещения Франции Сальвенди, и в кафе на бульварах. При встречах в дружеских кружках он предпочитает скорее расспрашивать, чем рассказывать сам».

В 1845 году случился скандал, в котором пострадала репутация Толстого. Некто Головин издал во Франции книгу «Россия Николая I», Толстой откликнулся на нее критической статьей, а обиженный Головин опубликовал ему ответ, в котором прямо называл его сотрудником Третьего отделения. К этим обвинениям присоединилась немецкая газета «Аугсбургер альгемайне цайтунг», назвав его человеком без всякой официальной должности, но стоявшим выше русского посольства в Париже. Яков Николаевич был вынужден на время уехать в Лондон, а когда в 1847 году скандал утих, он вернулся во Францию, где Бакунин и Анненков выступили в его поддержку, а Анненков даже пытался переубедить Маркса изменить о Толстом свое мнение. Возможно, писал Анненков Марксу, что тот перепутал «честного, простого и прямого» Якова Николаевича с каким-нибудь однофамильцем — Толстых на Руси пруд пруди! Но Маркс не поверил.

Во время революции 1848 года новое революционное правительство обнаружило документы, свидетельствующие о возможных контактах французской полиции с Третьим отделением, которые шли через Толстого. Одновременно бывший посланник России в Турине и Штутгарте Обресков, «воодушевленный» революцией, опубликовал во французской прессе «анекдот» о Толстом, в котором разгласил доверенные ему по службе сведения о подлинной роли «литературного генконсула» при посольстве.

Но скоро революция пошла на убыль, в госучреждения Франции вернулись старые друзья и контакты Толстого, обстановка вокруг него нормализовалась, а его деятельность на поприще «плаща и кинжала» возобновилась с удвоенной энергией. С марта по декабрь 1848 года он вел постоянное визуальное наблюдение за событиями на улицах Парижа, широко и смело использовал имевшуюся у него на связи агентуру и в результате снабжал Петербург подробной и достоверной информацией о положении в стране. Он чуть ли не ежедневно отправлял в Россию кодированные депеши, задействовав дополнительный канал связи через Брюссель (парижский канал перлюстрировался и был ненадежен). В марте 1848 года Толстой представил в Петербург список нового республиканского правительства Франции, снабдив его подробными характеристиками, за ним последовали материалы о расстановке политических сил в парламенте, а накануне военных действий России в Венгрии он направил обзор по французской армии с данными о ее численном составе и дислокации до батальона включительно, о ее вооружении, материальной части, бюджете и настроениях. Я. Н. Толстой точно и заранее спрогнозировал приход к власти Луи Бонапарта (Наполеона III).

При новом режиме прежняя деятельность Толстого по оказанию выгодного для России влияния на общественный климат Франции стала невозможной и агент переключился на добычу политической информации. В 1850 году он стал посылать тревожные сообщения о росте русофобии в Великобритании, озабоченной усилением позиций России в Европе и Азии, в письме от 27 марта он впервые упомянул о намерениях англичан уничтожить русский флот и сжечь Севастополь. Сменивший графа Бенкендорфа граф А. Ф. Орлов интереса к работе и информации Я. Н. Толстого, к сожалению, не проявлял… А сведения, добываемые агентом-разведчиком, шли между тем прямо из министерств, сената и парламента Франции. Прошел целый год, прежде чем в Петербурге поняли серьезность положения России. Крымская война была уже не за горами…

В 1854 году Я. Н. Толстой заблаговременно отошел на запасные позиции и переехал в Бельгию: он был уверен, что разрыв дипломатических отношений Франции с Россией был вопросом времени. Здесь он активно сотрудничал со своим информатором, правительственным чиновником Вальферсом, добывавшим ценную и актуальную информацию о Франции. Деятельность Толстого в Севастопольскую кампанию — особая глава. Еще в конце 40-х годов ему удалось завербовать некоего Паскаля, секретаря французского военного теоретика генерала Жомини. При Наполеоне III Паскаль стал его военным секретарем и наиболее осведомленным агентом России в окружении императора! Сколько бумаг из французского штаба и правительства оказалось в это время в Петербурге!

После восстановления мира в 1856 году Я. Н. Толстой вернулся в Париж. Ему исполнилось уже 65 лет, заниматься разведкой становилось все трудней, и тогда он возобновил отставленные в сторону обязанности «генерального консула по литературе». В июне 1866 года он в чине тайного советника попросился в отставку и получил пенсию две тысячи рублей в год, но на «заслуженном отдыхе» пробыл недолго и 15 февраля 1867 года в возрасте 75 лет в полном одиночестве скончался в Париже.

В качестве эпитафии на его могиле на Монмартрском кладбище можно было бы выгравировать следующие слова, принадлежащие академику Е. В. Тарле:

«…не заурядный шпион из иностранного отдела Третьего отделения, а человек, которому в молодости Пушкин посвящал стихи, который много общался со многими выдающимися современниками в России и за границей и которого они считали человеком, подходящим к общению с ними по своему умственному уровню. Яков Толстой смотрел на свою роль как на лазутчика, пробравшегося во вражеский стан и сигнализирующего оттуда в свой лагерь о поднимающихся опасностях и надвигающихся тучах».

По сравнению с Я. Н. Толстым жизнь и деятельность на ниве агентурной разведки светлейшей княгини Дарьи (Доротеи) Христофоровны Ливен, урожденной Бенкендорф, окружена таинственным ореолом неразгаданных секретов, недоказанных предположений и скороспелых выводов. Западная историография безапелляционно зачисляет Д. X. Ливен в агенты Третьего отделения. А. Г. Чукарев, автор солидной и подробной работы о тайной полиции России в 1825–1855 годах, никаких подтверждений этому постулату не находит. Никаких указаний на принадлежность Д. X. Ливен к разведывательной деятельности или к агентуре Отделения в его архивах также не найдено, если не считать единственного документа, содержащегося в дневнике Л. В. Дубельта. Речь идет о письме Дарьи Христофоровны к своей золовке и вдове графине Е. А. Бенкендорф от апреля 1852 года, в котором княгиня комментирует события, связанные с приходом к власти Наполеона III и встречей в Венеции великого князя Константина, сына Николая I, с графом де Шамбор, последним представителем рода Бурбонов, которого он публично назвал «Его Величество». Д. X. Ливен пишет, что она знает об этой «досадной истории» и проинформировала об этом посла России во Франции Н. Д. Киселева, но сочла необходимым продублировать информацию и в Третье отделение. Конечно, истинным адресатом была не золовка, а сам управляющий Отделением и начальник штаба Отдельного корпуса жандармов генерал Дубельт, который, кстати, никак не комментирует это послание. Судя по всему, у княгини к этому времени не оказалось других каналов связи с Отделением, и она использовала в этих целях промежуточный адрес жены умершего брата. Впрочем, возможно, об этом было условлено с братом или Дубельтом заранее. На этом признаки разведывательно-агентурной работы княгини Ливен практически исчерпываются.