1978 年，布朗因在加利福尼亚州英格尔伍德举行的高尔夫比赛中殴打并勒死一名男性朋友而被判入狱一天并罚款 500 美元，显然是在他的朋友将球放在第九个果岭上的位置发生争执之后。
“所以我对女人有意见吗？” 布朗在采访中补充道。 “不。 我有过愤怒，而且我可能会继续愤怒。 我只是再也不能攻击任何人了。”
多年来，布朗坚持认为他是因为种族或名人身份而成为受害者。 1969 年 4 月，在接受纽约时报的 Judy Klemesrud 采访时，他谈到了阳台事件，他说：“警察追捕我是因为我是自由的黑人，我应该傲慢自大并且应该好战，我自由自在，在种族问题上直言不讳，我不反对黑人激进组织，我也不谦虚。”
农村起点
詹姆斯·纳撒尼尔·布朗 (James Nathaniel Brown) 于 1936 年 2 月 17 日出生在佐治亚州海岸附近的圣西蒙斯岛，这是一个黑人居民居住在这片土地上的农村地区。 在他几周大时，以赌徒和好色之徒着称的父亲斯文顿·布朗抛弃了他和吉姆十几岁的母亲特蕾莎·布朗。 当他 2 岁时，她在纽约长岛的大颈镇找到了一份佣人的工作，这是一个白人占绝大多数但政治自由的社区，把他留在佐治亚州，由一位曾祖母、一位祖母和一位阿姨照顾。
他8岁时，她把他找来，他们一起生活了一段时间，她继续做管家。 根据他的说法，他觉得她对她的男朋友更感兴趣，而不是关心他的需要； 他最终搬进了附近曼哈塞特的女友一家。
在曼哈塞特高中，他成为一名出色的跑卫和长曲棍球运动员，还参加了篮球、棒球和田径比赛。
作为锡拉丘兹足球历史上的第二位黑人球员，布朗成为了橄榄球和长曲棍球领域的全美球员。 在他的最后一场常规赛橄榄球比赛中，他以 61-7 战胜了高露洁，他取得了 6 次达阵，踢进 7 个加分并跑出了 197 码。 锡拉丘兹队参加了 1957 年的棉花碗比赛，布朗队以 28-27 输给了德克萨斯基督教队，在那里他取得了 3 次达阵并获得了 3 分加分。
