俄罗斯联邦武装力量是在苏联解体之后，在继承前苏联武装力量大部分遗产的基础上组建起来的。
苏联解体之初，俄罗斯并不打算成立自己的武装力量，而是力主把前苏联375万人的武装力量完整地保留下来，成立统一的独联体联合武装力量。根据1991年12月27日在莫斯科签署的《关于独联体（过渡时期）防务问题的协议（草案）》，苏联国防部改为独联体联合武装力量总司令部。但是独联体各国对常规力量是否接受统一指挥始终存在分歧意见。在独联体各国纷纷宣布接管自己境内的常规力量和设施并以此为基础成立本国军队的情况下，俄罗斯不得不放弃原来的打算而成立自己的武装力量。
1992年3月4日，叶利钦宣布驻扎在俄罗斯联邦境外的军队，包括驻摩尔多瓦的第14近卫集团军、驻德国和波兰军队集群、驻蒙古和驻古巴部队，以及外高加索军区部队和里海区舰队等均在俄罗斯司法管辖之下。
1992年3月16日，叶利钦总统签署了《关于俄罗斯联邦国防部和俄罗斯联邦武装力量》的总统令，规定了国防部的职能和权限，并宣布自己代行国防部长职能。1992年5月7日，叶利钦签署了《关于组建俄罗斯联邦武装力量的命令》和《关于组建俄罗斯联邦国防部和武装力量的组织措施的命令》。叶利钦还宣布自己担任俄罗斯联邦武装力量总司令。由此，俄罗斯开始了建设本国武装力量的历程，5月7日这一天也作为俄罗斯联邦武装力量成立日载入了史册。
俄罗斯联邦武装力量接管了苏联的大部军事遗产，主要包括：75%的军队，50%的军事技术装备，约80%的核力量，70%的军工综合体。这是一笔可观的遗产，是世界上仅次于美国的军事力量。
俄罗斯联邦武装力量建设与发展的简短历程大体上分为两个时期，即叶利钦时期和普京时期。
（一）叶利钦时期
俄军建设与发展的叶利钦时期起自1992年5月7日，迄于1999年12月31日，历时7年半有余，是俄罗斯武装力量建设的主要时期。这一时期的俄罗斯武装力量经历了初创的痛苦，转轨的艰难，改革的蹉跎，取得了一定的成果，为普京时期军队的发展和继续改革打下了基础。叶利钦在其任内先后任命了三个国防
部长，很自然地，形成了三个发展阶段。
第一阶段（1992年5月至1996年6月），格拉乔夫担任国防部长。在他任内，俄罗斯面临着建军、撤军、裁军和改革这四项相互交织的任务。
成立国防部。军事体制的重建是俄军所面临的首要任务，而选择什么样的武装力量领导体制，则是重建军事体制的关键，其矛盾集中反映在国防部的组建上。当时存在着两个方案。一个是所谓文职方案，即把国防部非军事化，使之变成由文职国防部长领导的政治行政机构，而把军队指挥职能全部交给总参谋部；另一个是传统的军事方案，即按前苏联军事领导体制的模式成立国防部。1992年4月4日，俄罗斯成立了“组建俄罗斯联邦国防部和陆海军国家委员会”，原苏军政治部副主任沃尔科戈诺夫上将任主席。上述两种方案的斗争在委员会成立之后变得更加激烈了。
沃尔科戈诺夫本人赞成文职方案，并要把总参的机构减少一半。但是，文职方案引起了独联体武装力量总司令部高层的强烈不满，他们向沃尔科戈诺夫和委员会施加了巨大的压力，并最终得以说服叶利钦，使其相信国家还没有做好对军事领导体制进行重大变革的准备。总统权力尚未巩固的叶利钦也迫切需要将军们的支持，于是传统方案得以通过。前苏联的中央军事机构全部被接收过来作为俄罗斯联邦国防部的组织基础。1992年5月18日，格拉乔夫被任命为国防部长，除国防部第一副部长由俄罗斯科学院美国加拿大研究所副所长科科申担任外，国防部的其他5名副部长均由原苏军高级将领担任，前苏联国防部的局长们大部分留任。原有的5个军种司令部和空降兵司令部保留下来，军种司令们不再兼任国防部副部长。在原先隶属于国防部航天器主任局的军事航天部队的基础上，成立了军事航天力量司令部。国防部机关的人数比苏联国防部减少27%。
制定《俄罗斯联邦国防法》。新的军事体制需要法律的固定化。1992年9月24日，叶利钦总统签署了《俄罗斯联邦国防法》。在此之前，叶利钦曾因不同意该法草案有关总统任命国防部长须征得最高苏维埃同意的条款而拒绝签署该法。在最高苏维埃对此款作了修改之后，叶利钦才同意签署。1992年《俄罗斯联邦国防法》规定了军事体制尤其是国防领导体制的基本框架，与后来的1996年《俄罗斯联邦国防法》相比，为总统、最高苏维埃和政府规定了相对平衡的权力。最高苏维埃在国防方面有14项权力，最高苏维埃国防委员会还另有两项权力。随着1993年10月叶利钦在与最高苏维埃的斗争中取胜以及当年12月新宪法获得通过，总统的权力极大地增大了。
1993年12月24日，叶利钦下达了“关于使俄罗斯联邦法律符合俄罗斯联邦宪法的措施”的总统令。根据该总统令，1992年《俄罗斯联邦国防法》中的许多条款因与新宪法相矛盾而不能使用了。新宪法大大限制了议会在国防方面的权力，而把武装力量的全部领导和指挥权都集中到了总统手中。总统不再需要同议会协调军事建设领域的最重要问题，国防部不再需要与议会协调干部政策。议会失去了在批准军事学说、共同条令、武装力量结构和人数、任用领导干部、在境外使用军队等方面的权力。叶利钦用总统令修改了旧的《俄罗斯联邦国防法》，但新版国防法在国家杜马拖了很长时间，1996年5月31日才获通过。议会在国防方面的权力只剩下6项，其中属于国家杜马的只有两项：审核联邦预算法规定的国防开支，通过国防领域的联邦性法律。
撤军与裁军。从国外撤军，是俄罗斯联邦从苏联继承的军事遗产之一，只不过，同苏联后期开始的撤军进程相比，需要撤出的国家增加了。除了继续从德国和波兰撤军外，还要从波罗的海国家、外高加索国家和摩尔多瓦撤回军队。而且，撤出的军队除个别兵团和部队要部署到白俄罗斯境内外，基本上要安置在俄罗斯境内。从1992年1月至1994年8月，向俄罗斯境内撤回了3个军队集群领率机关、12个集团军和区舰队领率机关、2个军部、42个师、50个旅、51个航空兵团和15个直升机团。如果从苏联时期的1989年算起，俄罗斯（苏联）总计从国外撤回70余万军人，其中：德国36万余人，捷克斯洛伐克7.5万人，匈牙利6.05万人，波兰约4.6万人，蒙古7.55万人，古巴560人，波罗的海三国约6.8万人，外高加索国家3.6万余人。加上文职人员和家属，共撤出约120万人。撤出的武器有：坦克1.42万辆，装甲战斗车辆1.944万辆，120毫米以上火炮和迫击炮1.0376万门，飞机2729架，直升机1855架。
根据1993年6月24日生效的《从其他国家撤出俄军和在俄罗斯部署和安置俄军的国家计划》，俄罗斯要为撤回的部队修建12.67万套住宅、460座营房、2300座武器和物资仓库。
俄罗斯建军时，总共接收原苏军282万余人。经过连续几年的裁减（1993年裁减25.9万人，1994年裁减42.4万人，1995年裁减21.7万人），到1996年初，俄罗斯武装力量的编制员额减至152万人。