Келли проживал в многоквартирном доме «Данбар» в Гарлеме, построенном в 1926 г. как экспериментальный комплекс по программе жилищного строительства в Гарлеме, имевшей целью обеспечить жильем афроамериканцев. До Келли в комплексе «Данбар» жили многие известные афроамериканцы: У.Э.Б. Дюбуа, Поль Робсон, Билл «Боджанглз» Робинсон, Каунти Каллен и исследователь Арктики Мэтью Хенсон.

В поздний период жизни, на протяжении восемнадцати лет Келли проходил процедуру диализа в Нефрологическом центре клиники «Маунт-Синай» на Ист-Ривер-плаза после того, как вследствие рака мочевого пузыря у него отказали почки. В 2009 г. ему ампутировали правую ногу из-за нарушения кровообращения. Несмотря на эти серьезные проблемы со здоровьем, Келли продолжал дважды в неделю вести семинар по писательскому мастерству в колледже Сары Лоуренс в Бронксвилле, штат Нью-Йорк, где он бессменно преподавал с 1989 г.

Зимой 2016 г. Келли, или «Дюк», как его прозвали в Гарлеме, завершил цикл семинаров зимнего семестра в КСЛ и был в полном восторге от своей последней группы начинающих писателей. Он умер в среду 1 февраля 2017 г. в клинике «Ленокс-хилл» в Нью-Йорке. Ему было 79 лет.