Varkevisser is geboren in Leiden maar groeide op in Katwijk, waar hij bij Quick Boys met voetballen begon. Feyenoord haalde hem vervolgens als jeugdspeler naar Rotterdam. Hij speelde in deze periode ook voor Jong Oranje. Hij verhuisde achtereenvolgens naar Excelsior en VVV-Venlo en stond van juli 2007 tot juli 2010 onder contract bij Sparta Rotterdam.
Mede doordat Sparta degradeerde, kreeg Varkevisser daar geen contractverlenging. Vlak voor het begin van de competitie in augustus 2010 werd hij door Telstar als eerste doelman vastgelegd na het afhaken van de Braziliaanse keeper Mateus Versolato.