8 февраля 1875 года Бунин в очередной раз был уволен в отставку «в связи с избранием и утверждением членом Борисоглебского уездного по крестьянским делам присутствия». На государственную службу он вернулся 15 июня 1876 года, когда был назначен директором Борисоглебского тюремного отделения. 20 января 1878 года, отработав трехлетний срок, Бунин ушел из присутствия по крестьянским делам, не изъявив желания баллотироваться на новый срок, а 26 января 1878 года по болезни покинул Борисоглебский училищный совет.

28 декабря 1878 года Бунин был назначен Бердичевским уездным исправником в Киевской губернии. С точки зрения взяток, это была гораздо более хлебная должность, чем аналогичные в уездах Тамбовской губернии. Бердичев входил в черту оседлости, и его многочисленное еврейское население, занимавшееся торгово-промышленной деятельностью, было источником полицейских поборов за то, что полицейские чины закрывали глаза на нарушение предписанных евреям ограничительных правил. 6 января 1881 года Яков Иванович стал почетным членом Киевского губернского попечительства детских приютов. Это косвенно может указывать на наличие у него неких достаточных средств, которые он жертвовал на приюты. Позднее в Одессе он был бессменным председателем Распорядительного комитета приюта Одесского общества призрения нищих, и благодаря его стараниям приют значительно расширил свою деятельность и охватывал призрением более трехсот нищих и бездомных ежесуточно.

Настоящий карьерный взлет произошел у Бунина в 1882 году. 13 марта 1882 года он опять ушел в отставку, будучи избран Уманским уездным предводителем дворянства и председателем Уманско-Звенигородского съезда мировых посредников. Вполне возможно, что это был всего лишь бюрократический прием, поскольку уже 6 мая 1882 года Бунин стал Одесским полицеймейстером. Не исключено, что вопрос о его назначении был решен еще в марте, и его сделали предводителем дворянства лишь для того, чтобы не назначать полицеймейстера Одессы из бердичевских исправников, что показывало бы огромный разрыв в уровне должностей.

В мае 1884 года чин майора был упразднен, и Бунин в первоочередном порядке был переименован в подполковники, хотя, как служащий по гражданской части, первоочередному переименованию не подлежал. Два следующих чина он также получил вне правил. Он имел только благодарности и награды и ни одного взыскания.

В послужном списке от 12 февраля 1889 года отмечалось, что Бунин женат на дочери майора Перемежко-Галича Александре Александровне. Перемежко-Галичи — это малороссийский дворянский род из Черниговской губернии. Отец жены Бунина, Александр Ефимович, в 1849 году вынужден был продать свое имение в с. Федотьево Спасского уезда брату Павлу. Вероятно, он разорился. В послужном списке 1889 года отмечалось, что Бунин «имеет детей родившихся дочь Марию 2 марта 1872 года, сына Алексея 28 января 1874 года, дочь Надежду 26 января 1875 года, сына Александра 22 апреля 1876 года и сына Бориса 20 января 1878 года, из коих дочь Мария в Одесском институте, сын Алексей и Борис в Полтавском кадетском корпусе, сын Александр в Ришельевской гимназии и дочь Надежда в Мариинской женской гимназии. Жена и дети вероисповедания православного».

Интересно, что в более раннем послужном списке октября 1884 года упоминался еще сын Иван, родившийся 27 января 1871 года, причем отмечалось, что «жена и дети… находятся при нем, кроме старшего Ивана, воспитывающегося в Киевской военной гимназии». Однако в еще более раннем послужном списке от 15 мая 1882 года Ивана Бунина нет, хотя остальные дети присутствуют. Возможно, в этом списке есть только те дети, которые находились вместе с Буниным. Но ни в одном из более поздних послужных списков, 1887 и 1889 годов, Ивана Бунина уже нет, хотя в нем присутствуют дети, которые уже не жили с родителями. Можно предположить, что Иван Бунин либо умер в промежутке между 1884 и 1887 годами, либо отец по какой-то причине потерял с ним связь.

По дате рождения первого сына можно предположить, что Бунин вступил в брак в 1869 или в 1870 году.

23 января 1887 года министр народного просвещения граф Иван Давыдович Делянов сообщал в Департамент полиции, что «Одесский полицеймейстер полковник Яков Бунин всегда оказывал и оказывает весьма деятельное содействие Университетской и училищной инспекции по надзору за учащимися вне стен учебных заведений и что благодаря его уменью и распорядительности, деятельность Инспекции по внешнему надзору за учащимися значительно облегчилась, так как распоряжения Г. Бунина и указания его подведомственным ему чинам полиции, в случаях отношений последних к учащимся, всегда отличались, вполне правильною, с точки зрения воспитательной, и гуманною постановкою дела… Деятельность полковника Бунина всегда способствовала к предупреждению и прекращению недоразумений и уклонений со стороны учащихся от обязательных правил поведения вне стен учебных заведений».

23 апреля 1888 года на Бунина поступил анонимный донос. Вот его текст:

«Весьма секретно. Прошу доверять.

В какое ужасное положение поставлены вообще столичные полиции и в особенности одесская полиция. Где охрана? И где правда? Вследствие гнусного взяточничества, разных претензий и желаний, в глазах всех унижена полиция, а чрез это все беспорядок и угнетение проходит выше и дальше!? Может ли быть хороший полицеймейстер, служивший как Бунин по протекции высокопоставленного лица и в такие короткие сроки наживший состояние в 500 000 р., кроме всех поборов, где адресные суммы? Где канцелярские суммы? Где остатки от обмундирования команд? Где многие и многие другие капиталы полиции одесской? — все в карманах Бунина и его секретаря Сорочана, самого утонченного взяточника. Это два бесконтрольные деспота, кунака, обиралы. Градоначальник Зеленый и правитель его Дмитренко, они прекрасные высокоблагороднейшие люди, и они не в силах проникнуть в эти утонченные хитрости, мошеннические сделки полиции. Нужно присмотреться, как бедные служащие писцы трудятся по участковым управлениям за 25 р. в месяц, закон усматривает, что недолжно истязать рабочих, но эти несчастные истязаются, несут день и ночь непомерный труд, а тузы полиции отпускаемыми деньгами городом и казною на усиление покупают имения в 300 000 р. под прикрытием благочестия и великой протекции.

В чьих руках охрана отечества и нашего великого государя? — в руках вообще полиции, и в этом случае маленькие чины полиции имеют самое большое значение. Скорее и ближе они стоят к самому делу и в уничтожении и в розыске социалистов и крамольников, они-то и могут лишь только служить. Но что же на место того, чтобы в эти маленькие чины полиции выбирались самые честные и благородные, с достоинством, люди, должности этих маленьких чиновников, в Одессе, в виду закона, что по вольному найму может служить всякий, эксплуатируются, и околоточными надзирателями служат разные темные личности, по протекциям и за деньги, портные, сапожники, мещане, бродяги, доказывающие вечно сродство или дворянство или просто причисляющие куда-то, подчиненные же им честные нижние чины унтер-офицеры, люди с именем, а не бродяги, и не мудрено, что и сплошь и рядом бывает, что городовые бьют по роже околоточных надзирателей и говорят, какие ты Ваше Благородие, ты бродяга, а я заслуженный своему государю унтер-офицер! Кроме того, что какой-либо торгаш или ремесленник, угодивший своим презентом полицеймейстеру или секретарю, и его сын, удаленный с учебного заведения напитанный социализмом, совершенный враг отечества, попадает и служит околоточным надзирателем и составляет охрану, но здесь и сводни — содержательницы развратных домов составляют протекцию в околоточные надзиратели, и таких протеже довольно уже служит. Вот явился недавно молодец «черовек — Рополь». Иностранец, знающий хорошо русскую грамоту; вероятно, беглый из России преступник, возвратившийся под чужим документом, попал к сводне за буфетчика, где нес исправно бордельную службу, понравился сводне, и той стоила протекция 700 р. Он принят в подданство России и служит уже околоточным надзирателем; охраняет отечество? Под видом чего хранит и развивает зло. А бедные несчастные отставные чиновники, офицеры гибнут и ходят службы просят, у них нет протекции, нет денег купить себе службу, да и нет той совести, чтобы приобретать государственную службу за деньги или за особую протекцию, ибо каждый честный благородный чиновник у честного начальства сам себе составляет протекцию. Здесь же один благородный надзиратель убил себя и свое семейство, не найдя правды, а ему приписали пьянство и белую горячку, а он не мог против своих убеждений совести пожертвовать взяточнику приставу. Его стали выжимать, он пошел объяснить высшему начальству, но выгнали, он вышел из себя от неправды и убил все свое семейство и себя, да много и других подобных случаев.