El primer partido oficial del equipo llegó en el año 1885 por la FA Cup en donde perdieron 7-0 en casa ante el Walsall Town. Sus primeros años en la Football League fueron interesantes obteniendo un segundo lugar en 1896 y unos cuantos terceros lugares pero lo mejor de esas campañas fueron las tres finales de FA cup alcanzadas por el club, primero contra el Nottingham en 1898, manchester city camiseta luego contra el Sheffield en 1899 y por último contra el Bury en 1903 aunque todas estas finales fueron derrotas para el Derby.
