Od listopada 1962 do roku 1967 Gainsbourg był związany z aktorką Brigitte Bardot, z którą nagrywał w duecie niezapomniane piosenki, w tym „Bonnie i Clyde”, „Harley Davidson”, „Comic Strip” czy „Initials BB". W 1967 roku napisał dla Bardot utwór
„Je t'aime... moi non plus”, choć sama muzyka była publikowana już wcześniej. Pierwszą wersję tej piosenki na prośbę Bardot nie upubliczniono do połowy lat 80.
/.../
W roku 1968 Gainsbourg związał się piosenkarką Jane Birkin, z którą w 1969 roku w duecie nagrał ponownie piosenkę „Je t'aime... moi non plus”, zawierającą m.in. głos kobiecej rozkoszy uważano wówczas powszechnie za nieobyczajną i zabroniono jej nadawania w Hiszpanii, Islandii, Jugosławii, Szwecji, Włoszech i Wielkiej Brytanii.