Zastanawiając się nad utworami, wokalista Good Riddance, Russ Rankin, zauważył, że „Lame Duck Arsenal” „pokazuje wszystkie rzeczy, które nasz zespół zrobił naprawdę dobrze. Tekstowo myślałem o tym, jak prezydent, którego kadencja dobiegła końca, ale wciąż musi służyć jeszcze przez dwie lub trzy miesięcy jest nazywany „kulawą kaczką", ponieważ jest mniej lub bardziej bezużyteczny. Porównywałem to z arsenałem nuklearnym Stanów Zjednoczonych i tym, że mamy więcej niż wystarczającą ilość broni, aby kilkakrotnie zniszczyć całą planetę, i jak dla mnie to wiele znaczy naszego obecnego arsenału bezużyteczny”. „Off the Wagon” został napisany o przyjacielu Rankina, z którym walczył trzeźwość .
