Le jeune Charlie Babbitt apprend que son défunt père a légué presque toute sa fortune à son frère aîné dont il ignorait l'existence, Raymond Babbitt. Il découvre que Raymond est un autiste, atteint du syndrome d'Asperger et soigné dans une pension psychiatrique. Furieux de son sort financier, Charlie essaie d'enlever Raymond avec le dessein de récupérer la part d'héritage qu'il considère lui revenir. Il réalise que Raymond, malgré ses manies peu supportables, est un génie du calcul et finit par s'attacher à lui. Le destin en décide autrement ; les médecins et juges estiment que Raymond ne peut pas habiter avec Charlie et rejettent la demande de ce dernier. Charlie décide de se battre pour obtenir la garde de son frère.