The Herb Spectacles werden opgericht in 1999 door Marcel Kruup, Maarten Heijblok en Frank Sloos, die net hun surfbandThe Treble Spankers ten onder hadden zien gaan aan de RSI-klachten van hun gitarist Phantom Frank. Samen met Gijs Levelt van de Amsterdam Klezmer Band en enkele muzikanten, die zij verzamelden met advertenties in huis-aan-huisbladen, werkten zij aan eigen materiaal. Al na enkele weken repeteerden hadden zij hun eerste optredens en in 2000 werd de band uitgenodigd voor Lowlands[1] In 2002 begon de band met het opnemen van hun debuutalbum, drummer Sloos had zijn plaats ondertussen al afgestaan aan Philip ten Bosch.
Op 23 juni 2003 kwam de plaat The incredible world of the Herb Spectacles uit op Excelsior Recordings. Het album bevatte een mix van eigen nummers, speciaal voor de band geschreven materiaal, en een aantal obscure en minder obscure covers. Alle nummers werden gespeeld in de mariachistijl. Een drietal nummers werd geschreven door Don van Dongen, bekend van Speed 78, met wie Kruup begin jaren '90 had gespeeld in de band the Hangouts. [2] Het nummer Off and running was afkomstig van de soundtrack van The Man from U.N.C.L.E.. Van het album werden geen singles uitgegeven.