当冯保被押送到裕王府服役的前一个晚上，吕芳秘密地见了冯保一面。也在这个时候吕芳第一次把自己的心思告诉冯保，要冯保千万要得到**的信任。只有这样做才能就冯保自己的命，也只有这样做冯保将来才有机会再次爬起来。冯保这才知道干爹吕芳不但没有放弃自己，而且真正在为自己考虑未来。冯保下决心一定要活下去，一定要得到**的谅解和信任，将来一定要东山再起。
对于冯保的到来，裕王府上上下下都不看好冯保。第一，大家都仇视冯保。因为冯保擅自做主打死了官员，这个官员不但是**的亲信手下，更是裕王的得力助手。自从失去了这个官员之后，一大群依附在裕王身边的官员开始背叛裕王。所以王府的人非常仇视这个始作俑者，简直想活活咬死这个死太监。第二，大家都以为冯保是嘉靖皇帝朱厚熜故意派来监视裕王和裕王府所有人的。利用太监或者锦衣卫暗探，秘密监视对象，随时随地向嘉靖皇帝朱厚熜告密，这是经常见的事情。自从裕王长大外出自建王府以来，这种事情几乎没有间断过。不过大家都十分痛恨这种奸细，因为这些人不但背叛了主子而且经常做一些见不得人的事情。裕王府也好，景王府也好，一些人说话直接了点，或者说了一些不应该说的话，就被告密