David werd geboren als kind van Chinees-Amerikaanse ouders. Hij ging naar de George Mason-universiteit, waar hij lid werd van het studentencorps Sigma Chi en studeerde af in Taalbeheersing. Kao spreekt en begrijpt Mandarijn op een basaal niveau doordat hij opgroeide in een tweetalig gezin. Hij heeft twee zussen.
In 2006 riep het tijdschrift People hem uit tot een van de "Hottest Bachelors".