Четверо девушек разных возрастов собирают жёлтые листья в кучу и собираются их сжечь – в этот простой бытовой сюжет Джон Эверетт Милле вложил глубокий философский смысл. Художник хотел показать скоротечность юности и вообще человеческой жизни, бренность всего земного. Сам Милле так комментировал своё произведение: «Я хотел, чтобы торжественность картины будила в людях чувство глубокого религиозного благоговения, и мне показалось, что образ горящих листьев как нельзя лучше подойдёт для этой цели».
Милле писал «Осенние листья» в своём саду в Шотландии. Моделями были его жена Эффи (в центре, самая старшая), её младшая сестрёнка Элис (с корзиной в руках) и её подружки. Милле вспоминал, что эти девушки были самыми послушными моделями за всю его жизнь: в свободное от позирования время они помогали на кухне или просто тихо сидели и смотрели в огонь, не беспокоя художника и других людей никакими шалостями.
Дополнительным источником вдохновения для Милле было стихотворение Альфреда Теннисона «Принцесса». Художнику особенно нравились такие строки:
Слёзы, пустые слёзы, я не знаю, что они значат,
Слёзы из глубины какого-то божественного отчаяния,
Они поднимаются от сердца и подкатывают к глазам,
Когда я смотрю на счастливые осенние поля
И думаю о тех днях, которые ушли навсегда.