With the Music I Die to debiutancki album i druga rozszerzona gra amerykańskiej piosenkarki Wynter Gordon, która później przyjęła pseudonim sceniczny Diana Gordon . Pełny album został wydany przez Big Beat Records wyłącznie w Australii 17 czerwca 2011 r. Skrócona wersja EP albumu została wydana w Stanach Zjednoczonych i Wielkiej Brytanii. Poprzedziło to wydanie trzech singli: „ Dirty Talk ”, „ Til Death ” i „ Buy My Love ”, które uplasowały się w pierwszej trójce listy przebojów. przebojów Hot Dance Club . Album ma trzy różne okładki, pełnometrażowy album różni się między wydaniami w formacie cyfrowym i fizycznym, wersja cyfrowa zawiera tekst wykonawcy i nazwy albumu, podczas gdy wersja fizyczna nie. Wersja EP zawiera zupełnie inny obraz użyty na okładkę.
„ Dirty Talk ” został wydany jako główny singiel z albumu i został dobrze przyjęty przez krytyków. Był chwalony za zmysłowe teksty i zabawną produkcję. „Dirty Talk” znalazł się na szczycie listy przebojów US Hot Dance Club Songs i australijskiej listy singli. Stał się hitem w pierwszej dwudziestce w Belgii, Szkocji i Irlandii oraz w pierwszej czterdziestce w Danii. Piosenka zadebiutowała na 25. miejscu w Wielkiej Brytanii, gdzie pozostała przez 3 tygodnie i osiągnęła 6. miejsce na brytyjskiej liście przebojów tanecznych. Występował również we Francji i Rumunii. Drugim singlem z albumu był „ Til Death Piosenka została zremiksowana przez Denzala Parka i została wydana jako oficjalny singiel w Europie i Australii. Zadebiutowała na 24. miejscu w Australii i zadebiutowała na 16. miejscu. Zadebiutowała na 3. miejscu listy US Hot Dance Club Songs Wykres.
Trzecim singlem z albumu był „ Buy My Love ”, a teledysk do utworu został opublikowany w Internecie 8 września 2011 r. Piosenka zadebiutowała na liście US Hot Dance Club Songs Chart pod numerem 45 i jak dotąd osiągnęła szczyt na miejscu 2 i jest trzeci singiel, który znalazł się w pierwszej piątce. „Still Getting Younger” został wydany 1 czerwca 2012 roku jako czwarty i ostatni singiel z albumu. Teledysk do piosenki został opublikowany w Internecie 11 czerwca 2012 r. Zadebiutował na 24. miejscu listy US Hot Dance Club Songs Chart.