１９４６年３月４日，为迎接美国总统特使马歇尔上将，展现解放区人民军队的力量，党中央决定组建一支仪仗队。当时从驻南泥湾某团中挑选５００名战士，组成了我军历史上第一支仪仗队。１９４９年１０月底，毛主席指示中央警卫团将警卫营的一连改为仪仗连，担负外国大使呈递国书时的仪仗任务。同年１０月１６日，仪仗连首次出现在苏联驻中国大使向毛主席递交国书的仪式上。

１９５２年，周恩来按照毛主席指示，正式组建仪仗队。具体条件是：政治素质一流，身体条件好，个头适中，相貌英俊。１９５３年６月２９日，中国人民解放军仪仗队正式组建。同年，１１月１２日，朝鲜首相金日成来华访问，新组建的中国仪仗队迎来建队后第一位外国元首。１９５６年，中国人民解放军仪仗队正式改建为陆、海、空三军仪仗队。