Johannes Martin Kempff wurde am 7. Februar 1861 zu Stoßweier bei Münster im Elsass geboren. Er trat 1879 in das Missionsseminar ein und wurde am 10. Mai 1885 in Bischweiler ordiniert.

Am 27. Mai 1885 erfolgte seine Abordnung nach Indien, wo er am 31. Juli 1885 in Madras (heute Chennai) landete. Er trat zunächst Missionar Kabis in Mayavaram (heute Mayiladuthurai) zur Seite. Anfang 1886 übernahm Kempff die Station Panrutti, im Mai 1888 wurde er nach Porayar versetzt. 

Kempff heiratete am 18. Oktober 1888 in Cuddalore Elisabeth Ruf aus Mülhausen im Elsass.

Mitte 1891 übernahm er Wiruttasalam. Er wurde am 1. Mai 1893 aus gesundheitlichen Gründen pensioniert.

Kempff  trat aus der Leipziger Mission aus und kehrte nach Deutschland zurück. 1904 wurde er Vakanzpastor der evangelisch-lutherischen Freikirche in Hamburg.