Иван Павлович Прохоров родился 27 апреля 1901 г. в деревне Коверино Тульской губернии в крестьянской семье. Русский.
Окончил четырёхклассную сельскую школу.
1919 г. мобилизован в Красную армию.
В составе 3-го Украинского полка в 1919—1920 годах участвовал в Гражданской войне на стороне "красных".
1920 г. - окончил артиллерийские курсы в Саратове, затем ещё одни курсы в Баку. В течение года командовал артиллерийской батареей, после чего окончил высшую артиллерийскую школу комсостава в Петрограде.
До 1931 года он командовал различными артиллерийскими подразделениями.
В 1931—1936 годах был слушателем Военной артиллерийской академии имени Дзержинского. После её окончания в 1936—1938 годах командовал артиллерийским полком в Ленинградском военном округе, затем в 1938—1940 годах командовал артиллерией дивизии.
В 1940—1941 годах Прохоров командовал артиллерией корпуса.
4 июня 1940 года присвоено звание генерал-майора
В 1941 году был назначен командующим артиллерией 20-й армии Орловского военного округа. В активных боевых действиях во время Великой Отечественной войны армия принимала участие со 2 июля 1941 года. в составе этой армии участвовал в оборонительных боях в Белоруссии, Смоленском сражении и в Вяземской оборонительной операции. Во время последней армия попала в окружение. При попытке прорваться из окружения попал в немецкий плен. Он был вывезен в Германию, где в течение войны содержался в ряде лагерей для военнопленных. 29 апреля 1945 года был освобождён английскими войсками. Через советскую военную миссию по репатриации в Париже Прохоров вернулся в СССР.
Удивительно, но после проверки в органах НКВД он был восстановлен в кадрах Советской Армии.
1947 году окончил Высшие академические курсы при Военной академии Генерального штаба, после чего остался в ней старшим преподавателем кафедры ракетных войск и артиллерии. 25 ноября 1953 года вышел в отставку по болезни