Koulmann is geboren in Blumberg. Hij begon in zijn jeugd met voetballen bij BSV 07 Schwenningen. In 1963 speelde Koulmann voor Bayern München. Hij heeft 149 wedstrijden gespeeld en 26 doelpunten gemaakt. Hij won met Bayern München Duitse voetbalbeker (DFB-Pokal) en Europacup II. Verder heeft Koulmann bij FC Kickers en MSV Duisburg gespeeld. Hij beëindigde zijn voetbalcarrière in 1970.