Rijnvis begon met voetballen bij de amateurclub BFC uit Bussum. Toen hij 8 jaar was, nam Ajax hem op in de jeugdopleiding. Hij bracht er acht jaar door. In 2004 vertrok hij naar HFC Haarlem en een jaar later naar RKC Waalwijk. In het seizoen 2006/07 zat Rijnvis enkele keren dicht tegen het eerste elftal aan, wegens enkele blessures in de hoofdmacht. Tot een officieel debuut in het betaalde voetbal kwam het niet. Echter speelde hij wel met Jong RKC in het hoofdtoernooi van de KNVB beker. In de zomer van 2007 verruilde hij RKC Waalwijk voor AZ. Hij tekende voor een jaar in Alkmaar, maar brak wederom niet door. Op maandag 14 januari2008 werd bekend dat Rijnvis aanvankelijk voor een half jaar naar de eerstedivisionist FC Dordrecht vertrok. Hij was de oplossing voor trainer Gert Kruys voor het keepersprobleem bij de Schapenkoppen. Frank Kooiman was voor de derde keer in zeven maanden lang uitgeschakeld met een spierblessure. Op dinsdag 15 januari2008 debuteerde Rijnvis op 19-jarige leeftijd in het betaalde voetbal. Hij begon in het KNVB beker-duel tegen AGOVV Apeldoorn in de basis. FC Dordrecht won de thuiswedstrijd met 4-3. Na nog vijf competitiewedstrijden in de basis gestaan te hebben, werd zijn plaats weer vervangen door Sjoerd Rensen. Na het seizoen is hij teruggegaan naar Jong AZ. Na een seizoen bij de FC Omniworld eindigde voorlopig zijn profcarrière. In het seizoen 2010-2011 staat hij onder de lat bij de zondagamateurs van Argon uit Mijdrecht. Rijnvis zette zijn carrière in het seizoen 2011/2012 voort in Nijkerk waar hij heeft getekend bij de Topklasser v.v. Sparta Nijkerk. Hij speelde nog voor GVVV, SV Huizen en VVOG waar hij in 2019 zijn loopbaan besloot.
Nederland