На протяжении многих лет пользовался особым доверием императорской семьи и был ближайшим личным другом императора Александра III. В рескриптах на его имя неоднократно подчеркивались его государственные заслуги и высокие душевные качества: правдивость, прямодушие и личная преданность императору и его семье. По свидетельству графа С. Ю. Витте, «…очень хороший человек, среднего образования… он представлял собой русского барина с известными принципами и по нынешнему безлюдью… являлся, во всяком случае, человеком выдающимся по своему государственному и политическому повелению». Император сохранил дружбу с Воронцовым-Дашковым до самой своей смерти.

Один из наиболее близких к Александру III приближенных граф С. Д. Шереметев, имевший возможность общаться с графом Воронцовым-Дашковым на протяжении многих лет, в своих подробных и хорошо написанных мемуарах дает ему более полную и живую характеристику: «К цесаревичу всех ближе стоял… флигель-адъютант граф Воронцов-Дашков. По типу своему он (хотя лично и приятный Государю) вовсе не принадлежал к категории приближенных этого царствования. Человек независимый по характеру, он был представителем тех военных, которые не сочувствовали господствовавшему направлению 60-х годов. Появление Воронцова в близком кругу цесаревича внушало многим скорее неудовольствие, и злоречие не щадило его. Его мерили на свой аршин и сильно ошибались. Несомненно, однако же, что сближение между цесаревичем и Воронцовым установилось раз и навсегда и уже не подвергалось колебаниям. Настоящий характер этого сближения не мог быть доступен и даже понятен большинству. С годами ревнивый оттенок известной категории лиц все более отражался на Воронцове и в то же время неизбежно усилился прилив искателей и втиравшихся в доверие… Говорят, что цесаревич был на „ты“ с графом Воронцовым. Это весьма вероятно по действительной их близости, но никто никогда этого не слыхал… Воронцов отличался необычайной молчаливостью. И этот человек был единственным из приближенных, которого умирающий государь призвал в роковую минуту и с которым вел последнюю, предсмертную беседу…

Когда будет писаться история Александра III, неизбежно придется коснуться и этого человека. Каков он был, с достоинствами и слабостями, присущими каждому, все же он головою выше всех, что окружали Государя, и понятна та дружба, что соединяла их в течение всей жизни… При всей дружбе с графом Воронцовым Государь ясно понимал, насколько граф Воронцов нелогичен и неразумен. Иной раз он говорил такие несообразности, что нужно было удивляться хладнокровию и выдержке Государя, конечно никогда не относившегося к нему серьезно!»

В своих воспоминаниях генерал от инфантерии Н. А. Епанчин (1857–1941) пишет: «Государь остановился на мысли иметь несколько помощников, достойных полного доверия, и он выбрал трех: графа… Воронцова-Дашкова, генерал-адъютанта Оттона Борисовича Рихтера и генерал-адъютанта… Черевина — и просил их помогать ему разбираться в докладах и отчетах… Избранные Государем лица отличались безусловной честностью и преданностью Государю и России. Министр Двора граф Воронцов-Дашков был благородный человек, способностей средних… Отличительной чертой этих трех лиц была полная порядочность».

Эти хвалебные отзывы отнюдь не означали, что у графа И. И. Воронцова-Дашкова не было, как у всякого царского фаворита, врагов или недоброжелателей. Взять хотя бы генеральшу Богданович: «Читали историю Петра Великого. Не мешало бы Государю прочесть… Он умел выбирать людей — не наши теперешние министры:…Воронцов дурак и пьяница… производит ужасно неприятное впечатление — очень бесцеремонно обращается с царем, ездит козырем, без всякого почтения, имеет вид настоящего временщика… Наш добрый и честный царь так дурно окружен… Воронцов, судя по народному говору, и нечестный, и глупый, и заносчивый, и ленивый, и недоступный». В воспоминаниях Епанчина запечатлена яркая картина принятых графом экстренных мер по обеспечению безопасности Александра III и его семьи после их переезда в Гатчину. По его словам, Гатчина в то время поросла «травой забвения», полиция ее была представлена «доисторическим типом» будочников-городовых, стоявших у своих будок с алебардами.

«Вследствие этого был выработан новый порядок охраны в Гатчине», в соответствии с которым все калитки частных домов в заборах, отделявших их от Приоратского парка, было приказано немедленно закрыть: «…было решено отменить право входа в парк через дачные калитки, чтобы в него не проникли злоумышленники… Со стороны полей охрана парка была возложена на конные дозоры… Когда Воронцов-Дашков докладывал Государю о мерах охраны, принятых в Гатчине, и когда речь зашла о калитках, то Государь сказал, что он не желает стеснять жителей и дачников Гатчины, и шутя прибавил: „Неужели же им удобнее будет лазить через забор?“»

Была введена регистрация всех входивших и выходивших из дворца в особой книге. Шагая в ногу со временем, всех дворцовых служащих обязали иметь при себе фотографические карточки, на обратной стороне которых имелись сведения об их фамилии и должности. Дворцовая полиция усилила работу по проверке благонадежности всех служащих, постоянно и временно работающих во дворце. По периметру дворца и парка были установлены полицейские посты, их территорию также охраняли постоянные казачьи патрули.

В продолжение усилий графа И. И. Воронцова-Дашкова новому шефу царской охраны П. А. Черевину удалось создать надежную систему охраны основной царской резиденции в Гатчине. Вот как она представлена в книге Э. И. Рыженко «Александр III в Гатчине» (СПб., 2001): «Караул во дворце несли лейб-гвардии Кирасирский полк и полуэскадрон. В первые полтора месяца пребывания государя в Гатчине ежедневно в дворцовом карауле было около 170 человек. В помощь кирасирам в Гатчину был переведен Терский эскадрон Собственного Его Величества Конвоя и из Варшавы вызван Кубанский дивизион. Эти отряды сменяли кирасир через день на постах внешней охраны и выставляли усиленные посты внутреннего караула. Кроме того, была сформирована особая охранная команда от гвардейских полков — Сводно-гвардейская рота. Также во время ежегодного пребывания Александра III с семьей в Гатчинском дворце из Санкт-Петербурга переводилась специальная дворцовая полицейская команда и отряды полиции».

В уже цитировавшемся нами историческом очерке «Собственный Его Императорского Величества Конвой» С. И. Петина по этому поводу говорится следующее: «Внутренний караул занял 9 постов: в китайской галерее, приемной комнате, у столовой (парный), опочивальни Их Величеств, опочивальни Августейших детей, винтовой лестницы, Собственного подъезда и на Медвежьей площадке. Наружный караул выставил 10 постоянных постов, равномерно расположенных вокруг зверинца. На ночь караул усиливается 3-мя конными и, внутри парка, 3-мя пешими постами. Во Дворец наряжались 3 унтер-офицера и 33 казака… в разъезде вокруг Дворца 1 офицер, 6 унтер-офицеров и 48 казаков… В Петергофе ежедневно во Дворец назначалось 3 унтер-офицера и 6 казаков… в Александрии у наружных дверей коттеджа 1 урядники 2 казака (пешие), постоянные конные посты в Английском парке, по шоссе, по Александровскому парку и по взморью. Всего, на 3 смены — 3 урядника, 6 пеших в Александрию и 6 урядников и 45 казаков на конные посты…

В 1894 году во время выезда Александра III в Беловеже, а затем в Собственное имение Спалу для охраны туда были командированы 3 взвода казаков… В Ливадии во Дворцах все входы и выходы охраняли 8 казачьих постов… Государь с Императрицей совершали ежедневные прогулки в экипаже, чаще всего поднимались к имению Эриклик, дорога к которому шла лесом и охранялась 3-мя конными постами Конвоя. На ночь дополнительно оцеплялся Малый Дворец, где жил Император, но последний наряд был отменен, „вследствие невозможности тихо производить смены на усыпанных мелкими голышами дорожках“».