与肉体上遭受阿里重拳击打后留下的伤疤相比，弗雷泽在精神上饱受对手折磨的痛苦是更深刻和难以愈合的。
　　在弗雷泽眼中，阿里是一位既傲慢又忘恩负义的“小人”。因为，在阿里被放逐期间，曾多次寻求弗雷泽的帮助，希望弗雷泽能给他一次比赛的机会来引起公众的注意，好拿回拳击执照。因为当时美国的许多州都拒绝阿里比赛，而弗雷泽作为公众认可的世界重量级拳王在公众中有一定的号召力。对此，弗雷泽均毫不犹豫地答应了，他对阿里的遭遇很是同情。当时，阿里经济拮据，弗雷泽这位朴实的拳王曾替他付过2000多美元的账单，在他看来，这都是应该的。
　　然而，弗雷泽认为阿里是在利用他，因为他多次在公众场合戏弄自己出丑，这让弗雷泽难以接受。一次，弗雷泽驾车把阿里从费城带到纽约，他们一路谈笑风生，谈两人的比赛的酬金多少。弗雷泽认为，那时他和阿里是好朋友，更像是兄弟。因此，“我说为什么我们不打一场呢？”阿里听后拍手大叫，“这是个好主意，让我们在纽约创造一场世界波。”
　　然而，当弗雷泽在曼哈顿中心停车去买袜子时，阿里却从车上跳下来，瞪着眼睛对过往的行人大喊道：“女士们，先生们，就是这位弗雷泽，是他抢走了我的冠军，我要夺回来，他不是个冠军，是个笨蛋。”
　　弗雷泽是个农民的儿子，不善言辞，没有阿里那样的机智，只能气得把拳头握得格格响。
　　类似这样受阿里“侮辱”的场面，弗雷泽不知道经历了多少次。
　　例如，1975年双方那场“马尼拉之战”，阿里在记者招待会上再次戏弄了弗雷泽，他拿出一只事先准备好的塑料黑猩猩比作弗雷泽，并当场作诗道：“当我与一只大猩猩在拳台决斗时，它将是一位杀手在一部惊险小说中，与一只毛骨悚然动物的故事。”这些痛苦的场面都很难使弗雷泽在饱经风霜的经历中忘却……