Sydney Pollack urodził się w Lafayette w stanie Indiana, w rodzinie żydowskich imigrantów z Rosji – Rebeki (z domu Miller) oraz Davida Pollacka; jego ojciec był półzawodowym bokserem i aptekarzem. Gdy Pollack był dzieckiem, rodzina przeprowadziła się do South Bend, a rodzice rozwiedli. Matka Pollacka była alkoholiczką z problemami emocjonalnymi i zmarła w wieku 37 lat, gdy Pollack był studentem.