Вернувшись на родину, Василий Алексеевич в 1838–1840 гг. избирался Епифанским уездным предводителем дворянства. В 1849 г. вместе со второй супругой Софией Прокофьевной граф проживал в Одессе, где обосновалось семейство старшего единокровного брата Николая Алексеевича Райко. Заинтересовавшись хозяйственными достижениями брата, Василий Алексеевич также решил попытать удачи в сельском хозяйстве. Он был избран действительным членом Императорского общества сельского хозяйства Южной России в Одессе.

Вернувшись в Епифанский уезд, 31 августа 1855 г. он запустил в производство сахарный завод в Бобриках. Для этого граф приказал окончательно сломать обветшавший дворец, построенный И.Е. Старовым для его отца. Продал медную крышу и материал – из его кирпича в недалеко расположенном отсюда городе Епифани было построено много домов. Часть кирпича пошла на сахарный и винокуренный заводы, которые стали давать ощутимую прибыль. Был также построен одноэтажный дом, где граф жил во время своих летних редких посещений села Бобрики.

Бывая в московском обществе, граф Василий никогда не скрывал своего резко негативного отношения к крепостным порядкам. В связи с этим 14 января 1857 г. в стенах Московского университета между ним и профессором русской словесности Степаном Петровичем Шевыревым (автором известного выражения о «загнивающем Западе») произошло скандальное столкновение, о котором много толковали и в Москве, и в Петербурге. Петербургский профессор А.В. Никитенко записал в дневнике сенсационную новость, «что была драка, что подрались московский граф и московский профессор и что подрались они по-русски, то есть, оплеухами, кулаками, пинками и прочими способами патриархального допетровского быта».

В заседании Совета Московского Художественного общества «Бобринской стал говорить о том, что нам нечего послать на Парижскую Всемирную выставку, кроме сеченой задницы Русского мужика». Началась перепалка. Шевырев назвал отца графа незаконнорожденным и отвесил оппоненту оплеуху. Граф потребовал дуэли, но профессор отказался и, отступая, замахнулся на врага стулом. По мемуарам Б.Н. Чичерина, «Бобринской был человек атлетического сложения, он бросился на Шевырева, повалил его на пол и так его отколотил, что тот слег в постель».

Шевырев побоялся вызвать Бобринского на дуэль, чем сильно подорвал свой авторитет. Оба участника скандала были высланы из Москвы с запретом на проживание в обеих столицах. Шевырев уехал на «загнивающий Запад», где и окончил свои дни.

В России наступила эпоха Великих реформ и «загнивающий Запад», как не раз уже бывало, стал не пугалом, а примером успешного развития. После освобождения крестьян граф Бобринской в 1862 г. был избран и утвержден Тульским губернским предводителем дворянства. Он занимался благотворительностью, пожертвовал тысячу рублей на открытие публичной библиотеки и 25 тысяч рублей на открытие пансиона при классической гимназии в Туле. Человек щедрой души, не моргнув глазом мог выручить попавшего в беду земляка изрядной суммой денег. Среди охотников Тульской губернии долго ходили истории о том, как граф Василий попал под медведя на охоте, но одолел зверя и потом выезжал в свет в шубе, сшитой из «вражеского меха».

Бурный темперамент графа Василия отразился и в его частной жизни. Первая его супруга, княжна Лидия Алексеевна Горчакова (1807–1826) рано умерла, принеся супругу огромное приданое. Вторым браком в 1830 году граф женился на Софии Прокофьевне Соковниной (1812–1869). Потомок старинных родов – князей Хованских и Соковниных, София Прокофьевна получила богатое приданое – дом в Москве (Малая Никитская, 12), Холуйскую слободу Владимирской губернии (424 души), в Московской губернии 121 душу, а затем и наследство – имение Соковниных Оленьково Каширского уезда Тульской губернии. «До чего доходили странности гр. Василия Алексеевича, видно из рассказа самой графини Софьи Прокофьевны, которая, приехав после свадьбы в Бобрики, была поражена при виде комнаты, в которой лежало в гробу набальзамированное тело первой жены его, ур. княжны Горчаковой – все еще не погребенной!.. Понятно тяжелое впечатление молодой при этой неожиданности».

Воспитатель Софии – ее очень богатый и бездетный дядя Сергей Федорович Соковнин «в Соковнинском старом доме своей племянницы на Малой Никитской в Москве властвовал нераздельно». «На свою племянницу графиню Софью Прокофьевну смотрел как на "вещь", ему принадлежащую, и любил по-своему. Легко себе представить, что произошло, когда эта племянница вышла замуж за внука Екатерины, великана ростом и человека Орловской необузданной силы, к тому же беспредельно горячего, графа Василия Алексеевича Бобринского! – вспоминал граф С.Д. Шереметев. – Столкновение двух властолюбий было неизбежно; достаточно одного примера: Соковнин требовал, чтобы когда новобрачные ложились спать, то он бы ежедневно к ним появлялся для того, чтобы свою племянницу в постели благословить. Легко себе представить, до какого каления доходил граф Бобринской! – Полный разрыв был необходимым последствием Соковнинского самодурства, а бедная графиня Бобринская оказалась между двумя самодурами высшей пробы и должна была выбрать между ними: она выбрала дядю. Полный разрыв продолжался до конца. Граф Василий Алексеевич поселился в Бобриках, или же жил в Москве на Зацепе» и никогда более не виделся с женой, но продолжал общаться с детьми.

Их дети Алексей и София (1837–1920), в замужестве графиня фон Келлер, воспитывались матерью. Новой спутницей графа Василия Алексеевича стала юная дочь директора Московского кадетского корпуса Александра Петровна Ушакова (1821–1880), с которой он поспешил обвенчаться через две недели после смерти второй супруги, 21 февраля 1869 года. Детей в этом браке не было. 2 сентября 1874 г. граф Василий скончался «желудочной горячкой» и был похоронен в Бобриках.

Продолжателем Бобриковской ветви рода стал граф Алексей Васильевич Бобринской (1831–1888) – действительный статский советник, егермейстер Высочайшего двора и член Государственного Совета. За ним числилось родового имения до 35000 десятин в разных губерниях и приобретенного 80оо десятин в Эриванской губернии, а также каменный дом в Москве на Малой Никитской. Образование Алексей получил в Казанском и Московском университетах, основательно знал французский, английский и немецкий языки. Окончив курс наук в Московском университете со степенью кандидата, он 3 февраля 1854 г. поступил на службу в государственную канцелярию, младшим помощником экспедитора сверх штата, с производством в коллежские секретари. 24 ноября 1856 г. он перешел на службу по министерству иностранных дел и был причислен к русской миссии в Лондоне. 1 января 1859 г. граф Бобринской всемилостивейше пожалован был в звание камер-юнкера, а 6 декабря 1862 г. назначен в должность церемониймейстера. В 1869 г. он был избран дворянством Волоколамского уезда в депутаты дворянства, для составления и продолжения дворянских родословных книг Московской губернии. Состоя в этой должности, он был произведен за отличие в коллежские советники (16 апреля 1872 г.) и утвержден высочайшим указом церемониймейстером двора Его Императорского Величества (в январе 1875 г.). 14 февраля 1875 г. граф Бобринской был избран губернским предводителем дворянства Московской губернии и в том же году всемилостивейше пожалован в должность егермейстера Двора Его Императорского Величества, с производством в действительные статские советники. В 1878 г. он вторично был избран московским губернским предводителем дворянства, а 15 мая 1883 г., в день коронования Императора Александра III, ему было Высочайше повелено быть членом Государственного Совета, с утверждением в должности егермейстера. Граф Бобринской имел ордена: Св. Владимира 2-й ст., Св. Анны 1-й ст., Св. Станислава 1-й ст. и высочайше установленный 13 марта 1879 г. Знак Красного Креста. Кроме того, был командором знака 1 класса Шведской Полярной Звезды и итальянского ордена Святых Маврикия и Лазаря.