青云中学创办于1957年，其前身为民办青云中学，由闸北区第12届人代会第12代表小组、黄浦区五金机械工会和闸北区工商联联合筹建，工商界人士卢子如、戴秉彝和爱国华侨沈瑛等捐款成立。1958年民办南山中学并入；1961年至1962年学校曾更名为闸北区财贸中学；1979年实践中学并入，转为公办学校； 1985年上海市第六十中学初中部并入，学校定位为初级中学；2008年上海市第十七中学并入，学校迁址止园路389号。
从1985年开始，学校以外语教学为龙头实施教学改革，先后成为上海市第一、第二期课改实验校，形成外语、科技和德育等教育教学特色。外语教学注重学生能力培养，并率先在全市提出“学以致用”的教改理念，形成了“课堂教学、活动教学，环境教学”一体化教学体系及“多信息、高密度、快节奏、勤反馈”的课堂教学特色，教学质量在市、区名列前茅。英语教改中，涌现了童美芳、蒋青等诸多优秀教师，外语组先后被评为“上海市劳模集体“、”上海市巾帼文明岗“等荣誉称号，2011年被授予“全国中小学外语教研工作示范学校“称号。
德育工作以行为规范养成教育为抓手，以班、队活动为载体，用“时尚演绎传统“的方式进行生动活泼的爱国主义教育和生命教育，培养学生良好的情操和创新思维。学校先后被评为“上海市德育工作先进集体”、“上海市首批行为规范示范校”等荣誉称号，涌现出全国红旗大队、红旗中队等多个先进集体，学校大队部被命名为“上海市首批少先队工作示范校”。
作为上海市课改基地校，学校教研气氛浓厚，学校为每名教师的专业发展提供良好的平台，形成新教师→合格教师→特长教师→学科名师的不断递进的教师培养目标。近年来，涌现出全国模范教师、全国十佳辅导员、上海市首届师德标兵、上海市特级教师、上海市十佳班主任、上海市优秀双语教师、全国外语园丁奖获得者等诸多优秀教师。多门学科教师在市、区乃至全国教学评比中屡创佳绩。
学校现为上海市素质教育实验基地校、上海市一期二期基地校、上海市外语教学研究基地、上海市双语教学实验学校、全国外国语实验学校、中国创造教育实验基地等，连续14年被评为上海市文明单位。