汉朝时期，塔里木盆地周边分布着西域三十六国之一，名为皮山国，这一称谓源自《汉书·西域传》。
进入三国时代，其名称变更为“皮穴国”。
北魏时期，则又被称为“蒲山国”，而在《西域图志》中记载为“皮什南”，并指出“皮什南”急读即为“皮山”，《钦定皇舆西域图志》则作“皮什雅”。
清光绪八年，即1882年，皮山地区归属叶城县，隶属于喀什噶尔道的莎车府。
到了清光绪二十八年，即1902年，设立了泽普县，并以古国名命名。
次年，该县更名为皮山县。维吾尔语中，皮山县被称为“固玛”，但其具体含义尚未明确，存在“小屋”、“笼子”以及“可疑之地”等多种说法。
《西域同文志》对此解释为：“因其地人奉回教后，有逃去者，故被称为可疑之地。”皮山县境内边境线长达58.3千米，驻守着全军海拔最高的神仙湾哨卡，海拔高达5380米。
民国十八年，即1929年，皮山县隶属于和田行政区。
1949年9月25日，新疆迎来和平解放。
中华人民共和国成立后，1949年12月25日，中国人民解放军进驻皮山县，对旧政权进行军事接管。
1950年3月，皮山县人民政府正式成立。
皮山县，隶属于新疆维吾尔自治区和田地区，地处新疆维吾尔自治区南部，塔克拉玛干大沙漠南缘，喀喇昆仑山北麓。
其东部与和田县、墨玉县相邻，西部与叶城县接壤，南部与印度、巴基斯坦在克什米尔的实际控制区交界，北部与麦盖提县、巴楚县相连。
境内地势西南高、东北低，南部为冰山雪岭，中部为高山及山前河谷，北部则为平原及戈壁沙漠，总面积达39741.52平方千米。
