杨家祠堂座落在凤凰古城东北部的古城墙边。太子少保、果勇侯、镇竿总兵杨芳捐资修建于清道光十六年（1836年）。 戏台为单檐歇山顶，穿斗式结构，高16米，面阔7米，进深8米；檐下如玉斗拱，台柱雕龙刻凤。正殿为抬梁式建筑，山墙为猫背拱，分为一明二暗三间。两边配有厢房。杨家祠堂设计精巧，做工精细。窗户、门、檐饰件均系镂空雕花，整体建筑具有鲜明的民族特色和很高的建筑艺术价值。
凤凰在明清时为大湘西的政治、经济、文化的中心，战事虽多，官商富绅可也云集此地，统治者们政治策略上，采取“以夷治夷，以苗治苗”、“攻心为上，攻城为下”政策，因而在不足两平方公里的县城里，建有祠堂庙宇达58座之多(另亭台楼阁17座)。同时，作为一种纪念性的建筑，凤凰的祠堂大致可分为两类，一类是民众集资修建，用以纪念出身于当地为官并有建树的人物，如分布在县城的傅公祠、王公祠、节孝祠等。另一类则是同一姓氏的族人为祭祀其祖先而立，其用途均为纪念、祭祀、议事、娱乐场所，这类祠堂平面布局多属四合院形式，其规模大小，根据族人繁衍人口及权势、财势大小来决定。

凤凰的祠堂，以田、杨两族的祠堂最大，而杨家祠堂也是凤凰城内保护最好的祠堂，位于凤凰古城沱江镇北边街，史家弄入口处。太子太傅、果勇侯杨芳率族人于清道光十六年(公元1836年)开始建筑，由于杨芳官任三品，兵权在握，地位显赫，曾以镇筸总兵职务统辖部队镇守凤凰，且杨家本为名门望族，祠堂建筑的规模并不比一般寺庙逊色。
杨家祠堂为凤凰县24家祠堂之一，也是唯一一家在古城内的祠堂，杨家祠堂始建于道光十六年（公元1836年），木质结构呈四合院，上下两层，占地面积770平方米，由大门、戏台、过亭、廊房、正厅组成，呈长方形，整过建筑工程精细，富有杨家民族特色。由于这祠堂是在此居住的杨氏家族集资筹建，于是便成为族长处理家族所有大小事务及纠纷的场所。
杨氏家族每逢大节日请戏班唱戏的戏台为穿斗式结构，斗拱高16米，单歇山顶，檐下饰如意，四根台株撑起。有趣的是这里有一组雕刻的图案，描述的是一对青年男女自由恋爱，并冲破重重困难终于幸福的结合在一起，从此过着男耕女织的生活……