Командование германскими вооруженными силами стремилось получить танки "нового поколения" - средние танки с противоснарядным вооружением и бронебойной пушкой. Однако освоение и запуск в массовое производство требовали значительных материальных затрат и времени. Поэтому было принято решение разработать и запустить в производство в качестве временной меры легкие танки с пулеметным и мелкокалиберным вооружением.

Разработкой такого легкого танка занялись фирмы "Крупп" (Krupp), МАН (MAN), "Хеншель" (Hensche) и Даймлер-Бенц (Daimler-Benz). Все эти фирмы представили несколько вариантов, в том числе некоторые отдельные составляющие: башни, ходовая часть и т.д. В итоге наилучшим вариантом был признан симбиоз шасси МАН и корпуса Даймлер-Бенц. Для проведения испытаний фирмы в конце 1935 года собрали десять машин. На тот момент Pz II больше походил на увеличенный и модифицированный на Pz I. На этих самых первых машинах устанавливались двигатели Майбах HL57TR, но затем перешли на тип HL62TR. В итоге первая большая партия Pz II составила 110 штук и получила обозначение от Ausf a до Ausf b. Производство этих серий было закончено к марту 1937 года.

Сразу по завершению сборки предыдущей серии на конвеер выходит модификация Ausf С. Данная модификация имеет уже измененную ходовую часть, которая становится стандартной для последующих модификаций. Ausf C И стала основной в серии Pz II. Впервые танки это модификации были опробованы в Испании, где выявилась его полная неспособность вести равный бой с советской бронетехникой - слишком тонкая броня могли защитить только от пулемета, а 20-мм орудие KwK 30 L/55 (замененное впоследствии на более мощное KwK 38 L/55) не могло пробить советскую броню. Однако на тот момент сами испанские республиканцы имели небольшое количество новой техники, а промышленность Германии только разрабатывала более мощные танки, поэтому Pz II надолго закрепился в качестве основного танка бронетанковых войск Германии.

В мае 1938 года в производство пошла модификация Ausf D/E, в 1940 году Ausf G. Новые машины в числе других приняли участие в нападении на Польшу, где составили основу танкового парка. Однако на смену легким танкам стали приходить новые, более мощные и совершенные. Втом же 1940 году немцы начали модернизировать ранее выпущенные машины с целью усиления их живучести. Проведенные улучшения (увеличение толщины брони и улучшение характеристик ведения огня) позволяла "новой линии" легких немецких танков эффективно воевать с советскими легкими танками практически на равных. Pz II производили в больших количествах (более 1800 штук), бросать такое количество техники немцы не хотели и старались приспособить их в других целях. Некоторое число оставались длительное время в качестве учебных. Некоторые были переданы полицейским подразделениям. Но большая часть техники (ходовая часть) использовалась для создания многочисленных САУ. Широкое распостранение получили в армии САУ Мардер (первые модификации на базе Pz II), и Веспе. Немцы часто устанавливали на ходовую часть своего легкого танка трофейные орудия (в том числе и зенитные пушки) с целью огневого усиления вермахта. Была разработана модификация огнеметного танка Flammpanzer II, способная выстреливать огненную смесь на расстояние до 25 метров. Всего было выпущено около 40 штук. Для усиления противотанковой обороны войск на шасси танка устанавливали орудия Pak 38 L/60. На базе Pz II было выпущено около 100 разведывательных танков Luchs.