Проблемы в Yazoo начались ещё до записи второго альбома. Винс Кларк никогда не смотрел на Yazoo как на проект, который смог бы просуществовать долгое время. Он был готов уйти из Yazoo уже после выхода первого альбома дуэта, но посчитал, что уход после выпуска дебютного альбома — это будет не лучшая идея, учитывая то, что годом ранее он покинул Depeche Mode после выпуска их дебютного альбома. По словам Элисон Мойе, решение о выпуске второго альбома было принято Кларком под влиянием мнения руководителей выпускающего лейбла, которые убедили его сделать хотя бы ещё одну запись. Мойе пыталась переубедить Кларка уходить из дуэта после выхода второго альбома, но безрезультатно[8].
Как и дебютный альбом дуэта, Upstairs at Eric’s, второй альбом был записан и подготовлен к выпуску в расположенной в юго-восточном Лондоне студии Blackwing. В отличие от первого альбома, запись которого происходила в сжатые сроки и в неудобные ранние утренние часы, You and Me Both записывался в заранее отведённое дневное время в течение четырёх месяцев. Отсутствие спешки в подготовке альбома устраивало Кларка, который в интервью еженедельнику Melody Maker заявил, что «альбом получился более распланированным, и что он любит работать именно так»[9]. Мойе, которой понравился спонтанный и непредсказуемый режим работы над первым альбомом, напротив, была недовольна чересчур размеренным темпом записи, заявив, что «всё можно было бы сделать быстрее»[10]. Ещё одним яблоком раздора между участниками дуэта стало нежелание Кларка участвовать в мероприятиях по продвижению нового альбома. Весь груз общения с прессой упал на плечи Мойе. Однажды в интервью Кларк признался, что «ближе к концу работы над альбомом он большую часть времени проводил в студии, когда Элисон участвовала во всевозможных рекламных мероприятиях, к чему он был совершенно не готов, его это не беспокоило»[9]. Мойе вспоминала, как мало было общения между ней и Кларком во время записи альбома: «Он приходил утром, а я вечером, он делел что-то после, а я заранее. Это напоминало мозаику, где не было дискуссий или волнений друг за друга. Мы просто работали раздельно»[8].
Название альбома является ироничной отсылкой к тому, что Кларк и Мойе писали песни для общего проекта независимо друг от друга, а также напоминало о распаде дуэта, объявленном его участниками незадолго до выхода альбома.
После выхода альбома дуэт распался. Элисон Мойе занялась сольной музыкальной карьерой, а Винс Кларк сначала вместе с продюсером Эриком Редклиффом основал проект The Assembly, который просуществовал до конца 1984 года, а затем, в 1985 году — дуэт Erasure совместно с вокалистом Энди Беллом.
