Tonie Marshall a pour habitude, pour chacun de ses films, de partir d'images qui l'ont marquées : "La première, c'est celle d'un sac Hermès plein de billets abandonné au bord de la route en rase campagne et alors qu'un conducteur, intrigué, s'arrête, une femme sort du champ de blé, récupère son sac et monte dans la voiture. La deuxième, c'est le visage d'un homme où se lit un profond désespoir : sa mère qu'il aime énormément vient d'être emmenée dans une institution où, à cause de son état de santé, il a été contraint de la placer. Très vite, ces deux hommes n'ont plus fait qu'un dans ma tête..." explique la cinéaste.
A ce personnage, la réalisatrice a eu envie de confronter Nathalie Baye, qu'elle avait déjà dirigé trois fois auparavant, dans ENFANTS DE SALAUD, VENUS BEAUTE INSTITUT et FRANCE BOUTIQUE. Bulle Ogier était également déjà à l'affiche de VENUS BEAUTE INSTITUT.
Tonie Marshall rend hommage à Darry Cowl dans son film, au travers d'une photographie. Celui-ci est en effet décédé en janvier 2006, avant que le tournage ne commence. Il avait donné la réplique sur scène à Tonie Marshall, quand elle n'avait que 18 ans.
Le tournage fut assez chaotique, entre des conditions météorologiques apocalyptiques (pluie, tempête, pluie, tempête...) et l'incendie qui ravagea la loge maquillage.
Le directeur de la photographie de PASSE-PASSE n'est autre que Christophe Offenstein, réputé pour son travail sur les films de Guillaume Canet et SANS ARME, NI HAINE, NI VIOLENCE de Jean-Paul Rouve... qui sort la même semaine que le film de Tonie Marshall.