Андрей Фурсенко родился 17 июля 1949 года в Ленинграде. Среди его предков министр народного просвещения Российской империи Алексей Разумовский и губернатор Санкт-Петербурга Лев Перовский. Также у Фурсенко есть брат Сергей — вице-президент «Газпромбанка» и футбольный функционер.
Окончил математический факультет Ленинградского государственного университета в 1971 году. В 1978 году защитил там же кандидатскую диссертацию, а в 1990 году — докторскую.
Работал в Физико-техническом институте имени Иоффе (начинал с младшего научного сотрудника, дошел до заместителя руководителя), затем в Центре перспективных технологий и разработок.
С 1994 года руководил Региональным фондом научно-технического развития Санкт-Петербурга.
В 2001 году переехал в Москву. Назначен заместителем министра промышленности, науки и технологий Российской Федерации.
С октября 2003 года временно возглавлял Министерство промышленности, науки и технологий.
9 марта 2004 года назначен министром образования вместо Владимира Филиппова, занимавшего этот пост с 1998 года. Сохранял пост в правительствах Михаила Фрадкова, Виктора Зубкова и Владимира Путина.
Завершил внедрение Единого государственного экзамена (ЕГЭ) в школах. Также ввел Болонскую систему (разделение обучения на две ступени — бакалавриат и магистратуру вместо единого пятилетнего специалитета) в высшей школе. Оба проекта начаты Филипповым, но работали только в виде экспериментов.
Также активно занимался реформами в академической науке. Автор предложения перевести на коммерческие контракты некоторых сотрудников Российской академии наук (РАН).
С мая 2012 года работает помощником президента России. Отвечает за вопросы грантов в науке и политику в области науки и образования.
В 2011 году стал членом совета директоров созданной корпорации «Роснано». Покинул пост через несколько месяцев, когда государственным служащим запретили участвовать в руководстве этой компанией.
О личной жизни Фурсенко известно немного. Его первую жену звали Татьяна. Они работали в одном институте и поженились в 1974 году. Через пять лет у них родился сын Александр.
Вторая супруга Фурсенко — Надежда Смирнова. Она не публичная личность, о ней мало что известно. О новом браке чиновника СМИ узнали только из его декларации о доходах.