三大纪律八项注意形成于建军初期。

1927年9月，毛泽东发动和领导湘赣边界秋收起义，要求部队官兵对待人民群众说话和气，买卖公平，不拉夫，不打人，不骂人。同年10月，在江西省遂川县荆竹山动员部队向井冈山进发时，规定了三项纪律：行动听指挥，不拿群众一个红薯，打土豪要归公。

1928年1月，部队进驻遂川县城，分散到县城周围农村发动群众时，提出了六项注意：上门板，捆铺草，说话和气，买卖公平，借东西要还，损坏东西要赔。同年3月底，部队到达湖南省桂东县沙田村。4月初，向全体官兵正式宣布三大纪律六项注意，将“不拿群众一个红薯”改为“不拿工人农民一点东西”。

1929年1月，根据形势的发展和部队的实践经验，“六项注意”中又增加了两项：洗澡要避女人、不搜俘虏的腰包，形成了最初的“三大纪律八项注意”。

1935年10月，红15军团政治部秘书长程坦，在给官兵讲解布告时想到，如果把“三大纪律八项注意”这些军纪条文编成朗朗上口、通俗易懂的歌词，更便于红军官兵牢记。于是，他与任宣传科科长的刘华清商量，借用鄂豫皖苏区流行的歌曲《土地革命已经成功了》的韵律，完成了《红色军人三大纪律八项注意歌》。由于歌词易记、旋律简单，这支嘹亮的军歌很快在部队中传唱开来。战士们在一次又一次的歌唱中重温纪律要求，人民军队的好作风也随着清脆的歌声荡漾开去。

1947年10月10日，由于解放战争对人民军队的政治纪律、军事纪律和群众纪律提出更高要求，毛泽东起草了《中国人民解放军总部关于重新颁布三大纪律八项注意的训令》（又称“双十训令”），对原先“各地各军略有出入”的内容作了统一规定。《训令》指出：“本军三大纪律八项注意，实行多年，其内容各地各军略有出入。现在统一规定，重行颁布。望即以此为准，深入教育，严格执行。”