Гошкевич прожил в Хакодате семь долгих лет. Он сказал Японии «прощай» 21 апреля 1865 г., через несколько месяцев после смерти жены, 43-летней Елизаветы Стефановны. Вероятно, это и стало причиной его отъезда. Время, которое Гошкевич провел в Японии, простым не назовешь. Увлекательная поначалу новизна впечатлений вскоре сменилась монотонной и напряженной работой. Обстановка в те годы не отличалась мирным характером. То и дело возникала борьба между сторонниками нового и старого, часто случались нападения на европейцев, в том числе и дипломатов. Не был исключением и провинциальный Хакодате. Деятельность же консула Гошкевича вызывала особую ненависть тех, кто противился новым веяниям в Японии, и жизни его нередко угрожала опасность. Удара самурайского меча можно было ждать в любой момент.

Да, удалось сделать многое: построены консульский дом, морской госпиталь, православная церковь, открылась школа русского языка, организовано подсобное хозяйство в деревне Камида. Гошкевич обучил японцев фотографии, шитью одежды европейского покроя, постройке европейских домов, выпечке хлеба, изготовлению молочных продуктов, рассказал о ценностях православной религии — чем только ни приходилось заниматься консулу.

Во время пребывания в Японии Гошкевич вел систематические наблюдениями за природой, составлял метеорологические сводки, собирал коллекции флоры и фауны. Результаты исследований Гошкевича публиковались в изданиях Главной физической обсерватории в Петербурге и Музея Императорской академии наук. Именем Гошкевича названы описанные им неизвестные виды насекомых.

Гошкевич понимал: как бы он ни убеждал японцев, что Россия хорошо относится к их стране, нужно, чтобы японцы сами в этом убедились. Поэтому он возлагал большие надежды на молодых японцев, которые могли бы получить образование в России. Перед отъездом на родину Гошкевич предложил японскому правительству послать нескольких юношей учиться в Петербург. С этим согласились и предоставили право самому консулу вместе с губернатором Хакодате сделать выбор среди молодых людей в этом городе. Будущих студентов перед отъездом напутствовал отец Николай, который писал Гошкевичу: «Они в России будут больше всего под Вашим влиянием; я дал им рекомендательные письма к некоторым из наших духовных; пожалуйста, сделайте, чтобы они не пренебрегли этими знакомствами; если не обратить, то хотя бы расположить их к христианству, — и это бы дало важные шансы нам в Японии».

После отъезда Гошкевича отец Николай оставался связующим звеном между ним и жителями Хакодате. По просьбе японских властей он просил Иосифа Антоновича присылать словари, учебники по навигации, горному и военному делу, географии, физике и истории. Ими пользовались не только в Хакодате, но и отправляли в Сендай. Гошкевич присылал также учебники для русской школы отца Николая. В свою очередь священник отправлял Гошкевичу японские книги и карты.

После отъезда из Японии Гошкевич тяготился службой в Петербурге и хотел отдать все силы завершению работ, начатых еще в Стране восходящего солнца. В ноябре 1867 г. он ушел в отставку и покинул столицу. Отец Николай писал по этому поводу: «Отблагодарили Вас за Ваши заслуги, за неисчислимые труды и лишения!.. Вас не ценят там, зато ценят здесь: иностранцы не расстаются с мыслью, что Вы приедете Министром в Японию; японцы говорят: «Нет, уже такому консула не бывать здесь, как был русский консул». Буквально во всей Японии знают и уважают Вас, — говорю на основании фактов; видел я людей здесь, которые приезжали издалека собственно, чтобы увидеть Вас, как знаменитость… Простите, пожалуйста, что я пишу Вам откровенно все это. Но я хочу лишь сказать Вам не мучиться от придирок чиновников, вовсе не составляющих ни Правительства, ни России, когда Вы, исполнявший миссию Правительства и России, имеете полное право утешаться сознанием, что блистательно исполнили Вашу миссию».

Г ошкевич поселился в своем имении Мали в Виленской губернии. Наладилась семейная жизнь: он женился второй раз. Бывший дипломат вынашивал план издания журнала, посвященного Японии, и продолжал работать над подготовкой нового издания своего «Японско-русского словаря». Много времени уходило и на рукопись «О корнях японского языка». Увы, ему не суждено было увидеть эту работу изданной: 5 октября 1875 г. Иосиф Антонович Гошкевич скончался. Его труд был опубликован в 1899 г. в Вильно. В этой работе, как и во всех других исследованиях, Гошкевич тепло отзывался о японцах: «Японский народ, недавно почти насильно втолкнутый в семью цивилизованного европейского мира, давно имел право на это место по внутреннему родству. Не потому ли и проявляет он ту удивляющую всех энергию, то стремление к цивилизации…»

Большая роль в понимании двух стран отводилась российским военно-морским агентам, говоря современным языком, военно-морских атташе. Первым стал Павел Николаевич Назимов. Военно-морские силы Хакодате составляли тогда три паровые корвета, вооруженные десятью малыми орудиями, и одна паровая яхта. Но Назимов видел, что японцы поразительно быстро учатся военному искусству у иностранцев. Залогом их успеха были природная настойчивость и сметливость. Назимов служил в Хакодате до марта 1861 г. Затем он плавал старшим офицером на фрегате «Александр Невский», служил в кораблестроительном департаменте, командовал клипером «Абрек» и корветом «Витязь», с которым в 1870–1874 гг. совершил кругосветное плавание, в ходе которого вновь посетил в Японии. Довелось ему бывать здесь и позднее: командуя «Мининым», когда получил из рук японского императора орден Восходящего солнца 4-й степени, и еще раз в 1891 г., сопровождая в плавании цесаревича Николая Александровича. В 1892 г. вице-адмирала Назимова перевели в Санкт-Петербург на должность начальника Главного гидрографического управления. Через шесть лет он уволился в отставку по болезни в чине полного адмирала, а спустя еще четыре года, 11 декабря 1902 г., скончался. Его похоронили на Волковом кладбище в Санкт-Петербурге.

После отъезда Назимова военно-морским агентом в Хакодате стал капитан-лейтенант Павел Михайлович Костерев, прибывший в 1862 г. «Костерев, — писал отец Николай Гошкевичу, — перессорился, кроме меня, Бюцова и кое-кого еще, со всеми в Хакодате. Была сильная перепалка! На него кто-то распустил слух, что он обругал всех купцов здесь ворами и мошенниками, а консулов ослами.

С ним перестали кланяться. Он разыскивает, кто распустил. Суды были, узнал он, кто, но в продолжение дела — еще больше разошелся с обществом…Ждет не дождется времени уехать в Россию».

Из вышеприведенного письма вовсе не следует, что этот офицер был лишен положительных качеств и ничем, кроме скандалов, не проявил себя на своем посту. При Костереве на портовом форте (Hakodate Benten battery) была установлена батарея из пушек фрегата «Диана». Они находились там до 1868 г., пока во время гражданской войны в Японии их не переместили в другое место. Позднее русские орудия установили в городском парке Хакодате. По приглашению японских властей русский офицер преподавал в морском училище в Хакодате, обучая японцев основам астрономии, мореплавания, кораблестроения, артиллерии и фортификации.