Andreas Frege wuchs als Sohn des Richters Joachim Frege und der Lehrerin Jennie Frege auf. Seine Mutter war gebürtige Engländerin, hatte an der Universität in Oxford studiert und erzog ihre Kinder zweisprachig. Er hat fünf Geschwister, darunter den zwölf Jahre älteren Bruder John, durch den er auf den Punkrock in England aufmerksam wurde. Seine ältere Schwester Judith Frege ist Balletttänzerin und Buchautorin, und sein drei Jahre älterer Bruder Michael Frege ist Rechtsanwalt. Freges Großvater väterlicherseits Ludwig Frege war Präsident des Bundesverwaltungsgerichtes. Urgroßvater Franz Friedrich Konrad Frege (1843–1920) war Sohn des Berlin-Schöneberger Pfarrers Ferdinand Ludwig Frege (1804–1883). Freges englischer Großvater mütterlicherseits John Edmondson Whittaker stammte aus Burnley und war von August bis Dezember 1945 Member of Parliament für die Labour Party.