Le père d'Herschel était un astronome confirmé, il avait découvert Uranus grâce à son télescope de 40 pieds qui occupait une salle de la maison. Sa tante Caroline Herschel a joué un rôle important dans son éducation, elle venait tous les jours faire des observations astronomiques et elle était pour John un professeur exceptionnel.

Herschel entre à l'université de Cambridge en 1809, il obtient brillamment son diplôme en 1813 et y enseigne les mathématiques à partir de 1814. La même année, il est élu membre de la société royale de Londres grâce à ses travaux sur l'algèbre et les séries trigonométriques. Parmi ses travaux mathématiques, un ouvrage en 1820 sur les applications des différences finies. Mais à partir de cette date, son intérêt pour d'autres sujets avait commencé à le mener loin de la recherche en mathématiques.

En 1816, Herschel quitte l'université pour se tourner vers l'astronomie, et continuer le travail de son père. Il fonde la société astronomique en 1820 dont il est élu vice-président. En 1821 il reçoit la médaille de la société royale de Londres pour son travail sur l'analyse mathématique. Durant la même période, il réalise des expériences chimiques qui s'avéreront 20 ans après, d'importance fondamentale dans le développement de la photographie.

Sa première publication principale en astronomie est sur les étoiles doubles en 1824 et pour laquelle il reçoit le prix de L'académie de Paris et la médaille d'or de la société astronomique.

En 1834, Herschel part en Afrique du Sud pour 4 ans. Il rejoint l'observatoire royal au cap du bon espoir dans le but de cataloguer les objets astronomiques intéressants qui ne peuvent pas être observés de l'hémisphère Nord. La réalisation la plus importante qu'il fait dans le Sud est l'observation de la comète de Halley en 1835, il prouve que la comète était soumise au vent solaire en plus de l'attraction universelle, il a également fait la découverte importante que le gaz s'évaporait de la comète. Herschel n'a le temps de rédiger ses découvertes qu'en 1847, en dépit du retard, la publication est un événement de grande importance et Herschel reçoit sa deuxième médaille de la société royale pour ce travail.

Herschel devient recteur de l'université de Marischal à Aberdeen en 1850, cette fonction était purement administrative, il s'occupait du personnel et de la trésorerie. Cela éprouva sa santé et l'éloigna de sa recherche scientifique. C'est avec soulagement qu'il démissionne à l'age de 63 ans.