关于胤祥的个人形象，二月河的书中描述他好武并带兵，但这与有限的史料不符。从现存记录看，胤祥从未带过兵，虽然他曾打死过一只老虎且善于骑射，但他本质上偏向文治，喜好藏书字画，在书画艺术方面有极高的修养，并非典型的武将型皇子。
康熙十三子胤祥为何被圈禁十年？
随着康熙对太子信任的大减，以及索额图被斥为“天下第一罪人”，胤祥的地位引起了各方关注。康熙四十三年，八阿哥的老师在给家人的信中写道，认为十三殿下是皇上最宠爱之人，前途不可估量。连竞争对手的老师都如此评价，可见当时胤祥的圣宠之隆。
虽然康熙四十八年允祥随驾出行，但这次带他同行绝非出于宠爱，而是为了防范。胤祥的生母敬敏皇贵妃章佳氏是满洲镶黄旗人，在康熙众多妃嫔中地位不凡。胤祥在她去世后，一度成为除太子外最受康熙宠爱的皇子，从十三岁起几乎每次出巡都带着他。
至于胤祥被圈禁的真正原因，最原始且相对可信的资料来自雍正给怡亲王的悼词，称其被太子牵连，并遭大阿哥陷害。然而，考虑到雍正作为皇帝为尊者讳，删改不利于胤祥的史料是极有可能的，因此这一说法的可信度需要打折扣，未必完全反映真相。
据《皇清通志纲要》记载，康熙四十七年九月，皇太子、皇长子和皇十三子胤祥一同被圈禁。该书作者弘旺是允祀之子，他将允祥与废太子及皇长子并列叙述，与其他皇子区分开来，这种特殊的记录方式暗示了允祥在一废太子事件中的过错非常严重，并非寻常过失。
需要澄清两个常见的误区。首先，许多人认为胤祥在康熙年间曾被封为贝子，但实际上并无此记录。康熙三十七年和四十八年两次大规模封爵，胤祥要么年纪太小，要么此时已失宠，因此他在康熙年间没有任何爵位，这是符合史实的。
胤祥曾跟随康熙南巡多达四次，尤其是在康熙四十一年第四次南巡时，康熙特意让胤祥单独一人去祭拜泰山，而撇下了太子和四阿哥。泰山在古代是皇权的象征，秦始皇和汉武帝都通过封禅来彰显最高权力，此举意味深长，暗示康熙有意培养胤祥或对其寄予厚望。
后世很多人因此产生误解，以为胤祥从被圈禁一直待到康熙六十一年驾崩前才获释。但实际上，允祥不久后就被释放了，到了康熙四十八年四月，当康熙帝巡幸塞外时，胤祥依然位列随行皇子之中，说明他并未被长期监禁，只是暂时受到了惩罚。
其次，胤祥并没有被长期圈禁。虽然康熙末期他的事迹记载较少，但从他的行程记录以及康熙的朱批奏章来看，他有时仍然出现，并没有被完全隔离。所谓长期监禁至康熙末年才放出，完全是后人的误传，实际情况是他在康熙四十八年就已恢复自由并随驾出行。
在康熙四十九年，康熙帝在批阅三阿哥、十三阿哥和十四阿哥的请安折子时，曾朱批指出胤祥绝非勤学忠孝之人，如果不严加约束，必然生出事端。这种“不忠不孝”的严厉评语极为严重，揭示了康熙对胤祥态度的急剧转变，但具体胤祥在一废太子时究竟做了什么，至今仍是谜团。
这次政治上的挫败和康熙的严厉态度，可能让胤祥心情极度郁闷，导致他患上了俗称“鹤膝风”的疾病，病情时好时坏，持续了好几年。直到雍正登基后，胤祥才重新活跃，此前几乎销声匿迹。这反映了那次圈禁对他身心造成了巨大的打击。