Пётр Алексеевич Панов родился в 1719 году и происходил из рода тотемских купцов. Записи о тотемских мореплавателях (более 80 купеческих семей) возникли в XVIII веке благодаря походам и экспедициям на Алеутские острова. В 1780 году Екатерина II пожаловала Тотьме статус уездного города и герб: чёрная алеутская лисица на золотом поле в знак того, что «жители сего города в ловле сих зверей упражняются».
Немало купцов-мореходов из Тотьмы прославили свою землю: Дмитрий Брагин, Андрей Всевидов, Степан Корелин, Иван Кусков, Арсений Кузнецов, Пётр Рохлецов, Григорий и Пётр Пановы и многие другие.
Братья Пановы занимались лесообрабатывающим производством. В 1758 году они вошли в компанию московского купца Ивана Никифорова, построили и снарядили судно «Иулиан», которое ходило в Тихий океан. Открытия и экспедиции, совершённые на этом корабле, сыграли большую роль в истории изучения Алеутских островов. В 1760 году Пётр Алексеевич Панов организует Камчатскую экспедицию, в ходе которой ведутся геологические исследования, а также поддержка коренных народов. А с 1764 по 1787 годы братья Пановы возглавляют крупную промысловую компанию в Тихом океане.
В 1767 году для дальнейших исследований братья приобретают судно «Св. Пётр и Павел», а также ведут на нём промысловые работы у Андреяновских островов. На полученные деньги (а доход велик) купцы Пановы покупают земли близ Тотьмы, строят храмы, снаряжают все новые и новые экспедиции. Большую часть средств П. А. Панов оставлял в обороте, ведя торговлю (камчатский бобр, черно-бурая лисица, соболи, выдры и белки) в России и за границей (Москва, Иркутск, Камчатка, Кяхта, Китай).
Несомненно, деятельность купцов не остались незамеченной — в 1792 году они получают дворянство. Так предпринимательство и жажда нового братьев Пановых сыграли большую роль в истории великих открытий.