Né à Richibouctou au Nouveau-Brunswick, Mgr O’Leary fut ordonné évêque auxiliaire de Mgr Barry en 1914. Le 20 juin 1915, en l’église de Saint-Basile, il ordonnait prêtres Armand H. Martin de Saint-Basile et Eugène Michaud, originaire de Saint-David au Maine. Mgr O’Leary fut ensuite nommé évêque de Charlottetown à l’Île-du-Prince-Édouard.