Hij was de zoon van Jan Ferdinand Van de Vyver and Sophia De Schepper en liep school in Sint-Niklaas. Van de Vyver trok in 1867 naar het Amerikaans College in Leuven voor zijn priesterstudies. In 1870 trok hij naar de Verenigde Staten, waar hij in Richmond (Virginia) tot priester werd gewijd op 24 juli 1870. Hij was er onderpastoor in de Sint-Pieterskathedraal van Richmond, pastoor van Harpers Ferry (1875-1881) en vicaris-generaal van het bisdom Richmond (1881-1889). Op 20 oktober 1889 werd hij gewijd tot vijfde bisschop van Richmond. Tijdens zijn periode als bisschop werd de nieuwe Heilig Hartkathedraal van Richmond gebouwd (1903-1906). In 1903 en opnieuw in 1906 probeerde Van de Vyver zijn ontslag als bisschop te geven, maar dit stuitte op grote tegenstand vanuit zijn bisdom. Een nieuwe poging tot ontslag stuitte op populair protest. Na een bezoek aan België werd bisschop Van de Vyver ziek en na een ziekbed van twee weken overleed hij. Hij werd begraven op Mount Calvary Cemetery, waarvan hijzelf als vicaris-generaal de gronden nog had aangekocht.
