除了族，家里靖海侯的爵位降为靖海伯，两年前福建官场大清洗，吴家被卷入陈年旧案昔日亲家陈千户假公济私，用战船走私货物去了琉球，失去了增援台湾的大好军机，最后战船遭遇风暴袭击，全军覆没，荷兰人占领了台湾。此事被金陵锦衣卫查出，当年的靖海侯是知道真相的，并且百般为陈家遮掩，实乃从犯。庆丰帝大怒，夺了吴家的金书铁卷，靖海伯被夺爵，抄没家产，和儿子一起被充军发配去了云南烟瘴之地。