Diplômé de l’École Polytechnique, de l’Institut d’études politiques et ingénieur en chef de l’aviation civile.
Il a commencé sa carrière en 1963 au ministère des Transports, où il a travaillé pendant dix ans sur les grands programmes de construction aéronautique civile. Quittant la fonction publique, il entre au début des années 1970 au Crédit lyonnais où il travaille sur le financement des échanges internationaux. À ce titre, il crée le service des Financements aéronautiques, qui finance toutes les exportations d’Airbus.
Jean Peyrelevade est nommé à la tête de grandes entreprises contrôlées par l’État : président de Suez de 1983 à 1986, de la Banque Stern de 1986 à 1988, de l’UAP de 1988 à 1993, et du Crédit lyonnais de 1993 à 2003.
À partir de 2004, il rejoint le secteur privé et coopère avec la banque d’affaires européenne Leonardo & Co. Il est aussi administrateur de plusieurs sociétés françaises ou européennes de premier plan : Bouygues, BG Bonnard & Gardel Holding SA, Saur.
Il est aussi membre du conseil de surveillance de KLM. Dans le domaine politique, Jean Peyrelevade s’est toujours présenté comme un homme de centre-gauche. Nommé en 1981 directeur adjoint du cabinet de Pierre Mauroy et conseiller économique du Premier ministre, il gère les nationalisations, tout en professant son scepticisme sur leur intérêt.
Longtemps professeur d’économie à l’École polytechnique, il a écrit des ouvrages sur l’évolution du capitalisme contemporain. Jean Peyrelevade soutient François Bayrou lors de l’élection présidentielle française de 2007, et rejoint son équipe de campagne pour s’occuper du programme économique. En 2012, il est membre du comité stratégique de campagne de François Bayrou.