Né à Saint-Pascal de Kamouraska, Joseph était le fils de Célestin Pelletier et de Justine Aubut, qui vinrent par la suite s’établir à Saint-Basile de Madawaska. Joseph fit des études au Collège de Sainte-Anne-de-la-Pocatière de 1842 à 1850. En 1853, il fut ordonné prêtre à Saint-Jean au Nouveau-Brunswick par Mgr Connoly. L’abbé Pelletier fut curé à Bathurst-Ouest, puis à Saint-Louis de Kent, à Caraquet et à Saint-François de Madawaska. Il quitta Saint-Louis de Kent lorsqu’il prit sa retraite à l’âge de quatre-vingt-un ans et vint résider à l’Hôtel-Dieu de Saint-Basile jusqu’à sa mort, sept ans plus tard.