Weber speelde van 1921 tot 1925 voor Feijenoord. Hij stapte over naar stadgenoot Sparta waar hij tot 1929 speelde. In 1922 had zijn oom Mees Weber deze overstap al gemaakt. Samen met Mees voetbalde Jaap in het eerste van Feyenoord waar zijn andere oom Johan Weber op dat moment voorzitter was.[1]