Après avoir été curé à Notre-Dame-des-Douleurs d’Edmundston pendant quelques années, l’abbé Dionne fut nommé évêque auxiliaire de Mgr Carter à Sault-Sainte-Marie en Ontario, en 1975. En 1984, il devint évêque d’Edmundston et mit sur pied un synode diocésain. En 1994, il prit sa retraite à l’Hôtel-Dieu de Saint-Basile, et l’année suivante, il publiait une autobiographie intitulée Petite histoire.