Родился Ротмистров в 1901 г. в деревне Сковорово Селижарского уезда Тверской губернии. Учился в четырехклассной школе. До революции работал грузчиком в Самаре.
В 1919 г. вступил в Красную армию и был зачислен в Самарский рабочий полк. Участвовал в боях под Бугульмой. В том же году стал членом партии. Закончил военно-инженерные курсы, после которых был направлен в 42-й этапный батальон 16-й армии на Западный фронт. Ротмистров участвовал в подавлении Кронштадского мятежа, получил ранение, после госпиталя вернулся в деревню.
После окончания Смоленской пехотной школы был направлен в Рязань на должность политрука роты 149-го стрелкового полка, затем его перевели во Владимир политруком дивизионной конной разведки. В 1922 г. Ротмистрова приняли в военную объединенную школу ВЦИК.

В 1924 г. командиром взвода 31-го полка 11 -и стрелковой дивизии. Через 4 года начал обучение в академии им. Фрунзе. Окончил ее в 1931 г., получил назначение на должность начальника первой части штаба Забайкальской стрелковой дивизии в Читу. В 1933 г. Ротмистрова назначили начальником 1-го сектора - заместителем начальника оперативного отдела штаба ОКДВА.
В 1937 году командовал стрелковым полком. В октябре 1937 г. Ротмистров полк сдал, прибыл в Москву на должность преподавателя тактики Военной академии моторизации и механизации РККА. В декабре 1940 г. Ротмистров назначен заместителем командира 5-й танковой дивизии 3-го механизированного корпуса Прибалтийского Особого военного округа.

В конце мая 1941 г. Павла Алексеевича назначают начальником штаба 3-го мехкорпуса. На этой должности он и встретил войну. В течение двух месяцев 3-й мехкорпус отходил с войсками 11-й армии на Шауляйском направлении, где штаб корпуса оказался в окружении. По выходе из окружения, корпус расформировали. Полковник Ротмистров был назначен командиром 8-й танковой бригады, действовавшей на Северо-Западном фронте. В начале 1942 года было начато формирование 7-го танкового корпуса, командиром которого был назначен Ротмистров. В конце июня 1942 г. корпус был передан 5-й танковой армии. При выдвижении в район города Елец танковый корпус сразу атаковал 11-ю немецкую танковую дивизию и разгромил ее. 25 августа 1942 г. корпус был передан 1-й гвардейской армии. При контрнаступлении под Сталинградом 7-й танковый корпус отличился в районе хутора Рачковский. Затем корпус в составе 2-й гвардейской армии участвовал в разгроме Котельниковской группировки группы армий "Дон".
Командовал механизированной группой, состоявшей из 3х корпусов. В середине февраля Ротмистрова назначили на должность командующего формируемой 5-й танковой армией, с этой армией Ротмистров участвовал в танковом сражении под Прохоровкой. Затем 5-я танковая армия под командованием генерал-полковника танковых войск Ротмистрова участвовала в сражении при форсировании Днепра в составе Степного фронта. С октября 1943 г. наступала на Пятихатки, Кривой Рог, освобождала Кировоград.

В январе 1944г. Ротмистров с армией участвовал в Корсунь-Шевченковской операции. 21 февраля 1944 г. Ротмистрову присвоили воинское звание маршала бронетанковых войск, а в августе 1944 г. назначили на должность заместителя командующего бронетанковыми и механизированными войсками Красной армии. С окончанием Великой Отечественной войны маршал бронетанковых войск Ротмистров занимал должность командующего бронетанковыми и механизированными войсками в группе советских войск в Германии с 1945 по 1948 гг. В 1948 г. его назначили на должность командующего бронетанковыми и механизированными войсками на Дальнем Востоке.
В 1956 г. Ротмистрова переводят в Москву, назначают на должность начальника кафедры в Академии бронетанковых и механизированных войск. Он ведет большую научную работу, ему в 1956 г., после защиты диссертации, была присвоена степень доктора военных наук, а в 1958 г. присвоено звание профессора. С 1958 г. Ротмистров занимает должность заместителя министра обороны СССР по высшим военно-учебным заведениям. В 1962 г. Ротмистрову присвоили воинское звание Главный маршал бронетанковых войск. В 1968 г. Ротмистров по состоянию здоровья перешел в группу Генеральных инспекторов Министерства обороны СССР.
В 1965 г. Ротмистрову было присвоено звание Героя Советского Союза. Ротмистров награжден 5-ю орденами Ленина, орденом Октябрьской Революции, 4-мя орденами Красного Знамени, орденами Суворова и Кутузова 1-й степени, Красной Звезды, многими медалями и иностранными орденами. Ротмистров автор ряда научных работ и мемуарных изданий: "Время и танки", "Стальная гвардия" и др. Скончался Ротмистров в 1982г., похоронен на Новодевичьем кладбище в Москве.