Originalmente o Arsenal foi fundado com o nome de "Dial Square", em 1886 por trabalhadores da Arsenal Real em Woolwich, no sudeste de Londres. Mais tarde mudaram seu nome para "Royal Arsenal", pouco depois fizeram isso outra vez, em 1891, chamando assim de "Woolwich Arsenal" antes de se tornar profissional. Começaram a disputar a segunda divisão em 1893, e conquistaram a promoção para a primeira divisão em 1904.
O clube então passou a ter problemas financeiros e faliu em meados de 1910. Seu isolamento geográfico em Woolwich foi a principal razão para isso, já que a sua presença de torcedores era menor do que a de qualquer outro clube. Quando Henry Norris assumiu depois da quebra, teve a idéia de mudar o clube para outro lugar. Nisso eles voltaram a disputar a segunda divisão, mas agora o Arsenal jogava em sua nova casa, o Highbury Stadium, no norte de Londres. Um anos mais tarde, tiraram o "Woolwich" de seu nome e passaram a ser conhecidos como Arsenal.
Em 1919, os administradores procuraram reformar o campeonato, e assim convidaram o Arsenal para disputar a primeira divisão, assumindo polemicamente o lugar de rivais como o Tottenham. Foram considerados uma nova atração para o campeonato, mas também houveram suspeitas de que métodos secretos foram usados por Henry Norris, mas este foi o começo de muitas conquista do Arsenal, que nunca foi rebaixado da primeira divisão.
Em 1925, o Arsenal nomeou como treinador Herbert Chapman, do Huddersfield City, que mostrou ter sido um golpe de mestre. Chapman foi um inovador que mudou a maneira de jogar do clube, assim como o futebol inglês. Chapman tinha acabado de conquistar o campeonato por duas vezes com o Huddersfield City em 1923/24 e 1924/25. Revolucionou os métodos que se utilizavam para treinar os clubes, assim como a tática, e deu para o clube sua primeira época de vitórias. Trouxe as suas primeiras estrelas, como Alex James e também o marcador Cliff Bastin, dando assim a base para que o Arsenal dominasse o futebol inglês na década de 1930. Com Chapman, o Arsenal ganhou a FA Cup em 1929/30 e os Campeonatos Inglês em 1930/31, 1932/33. Em 1932, devido a sua influência, a estação Gillespie Road foi renomeada como “Arsenal”, se tornando assim a primeira estação com o nome de um time de futebol.
Em 1934, Chapman morreu de repente, devido a uma trágica pulmonia, mas com nomes como Joe Shaw e Jorge Allison no clube asseguraram que as vitórias continuassem. Nesse período, os Gunners conquistaram mais três títulos do Campeonato Inglês, em 1933/34, 1934/35 e 1937/38 e uma FA Cup, em 1935/36, Lamentavelmente o Arsenal caiu quando a Segunda Guerra Mundial obrigou que o futebol profissional fosse suspenso na Inglaterra.
No período pós-guerra, o Arsenal conseguiu novamente êxitos com o sucessor de Allison, Tom Whittaker, conquistando o Campeonato Inglês em 1947/48 e 1952/53, e a FA Cup em 1949/50. Sem estrutura, passaram por um período sem vitórias depois disso, ficando a maior parte das décadas de 1950 e 1960 sem títulos, sendo incapaz de contratar qualquer estrela. O antigo capitão da Inglaterra, Billy Wright, foi contratado como treinador para tentar reencontrar a sorte do clube, mas o seu período entre 1962-66 foi decepcionante.
Em 1966, o Arsenal teve a interessante idéia de designar Bertie Mee como treinador, ao qual iria pagar um grande salário. Apesar de perder duas finais consecutivas da Copa da Liga, em 1967/68 e 1968/69, conquistou uma UEFA Cup Fairs Cup em 1969/70, dando-lhe seu primeiro título europeu. Continuaram crescendo até chegar à histórica conquista da dobradinha em 1970/71. Nos anos seguintes, sem investimentos, essa equipe que fez história se desmanchou, e o Arsenal não conseguiu mais títulos até o final da década.
Em 1986, a "era dourada" foi possível graças ao regresso do meio-campista Jorge Graham como treinador. Com sua maneira tática, acabou com a seca logo em sua primeira temporada, com a conquista da Copa da Liga em 1986/87 e depois a conquista histórica do Campeonato Inglês de 1988/89, quando chegaram ao título após vencer o rival Liverpool no estádio Anfield por 2 a 0 no último jogo da temporada. Esta foi a inspiração para o livro "Fever Pitch", do autor Nick Homby, e também do filme com o mesmo nome.
Graham ganhou outro título em 1990/91, quando a equipe perdeu somente um jogo. Conduziu a equipe também a uma FA Cup e Copa da Liga em 1992/93, quando venceram o Sheffield Wednesday nas duas finais, e trouxeram ao clube seu segundo título europeu, a Re-Copa da Europa. Graham lamentavelmente foi despedido em 1995, após ter sido declarado culpado de ficar com dinheiro do agente Runa Hauge para negociar certos jogadores. Seu substituto, Bruce Rioch durou somente uma temporada, sendo demitido após uma discussão com a com a diretoria que já estava de olho sobre um novo homem. Rioch não conseguiu muito sucesso no clube, mesmo após contratar para a equipe David Platt e ao maestro holandês Dennis Bergkamp da Inter de Milão. Este continuaria até se tornar uma lenda no clube, contribuindo decisivamente para os sucessos seguintes de Arsenal.
O substituto de Rioch era pouco conhecido, Arsène Wenger. O francês era em grande parte desconhecido pela imprensa britânica, mas revolucionou o futebol inglês com sua tática, treinando e fazendo o Arsenal jogar num estilo de futebol que era então o estilo do futebol inglês. Contratou jogadores desconhecidos, mas muito talentosos, e também jogadores estrangeiros para completar a equipe, e ganhou o Campeonato Inglês e 1997/98, logo em sua primeira temporada como treinador. Repetiu o feito em 2001/02, e em 2003/04 atingiu a façanha de ganhar o Campeonato Inglês, com 49 partidas sem conhecer o que era uma derrota, durante 3 temporadas. Além dos três Campeonatos Inglês, Wenger ganhou quatro FA Cup, uma Copa da UEFA, chegou à final da Copa da Liga, e levou ao Arsenal à sua primeira final da Liga dos Campeões da UEFA. O Arsenal terminou nos primeiros 2 lugares em 8 das 10 temporadas de Wenger no clube, mesmo que eles nunca tenham conseguido defender o título inglês após qualquer uma das três temporadas que ganharam.
Wenger é responsável de muitas coisas no clube, como a criação da infra-estrutura de academia do Arsenal, o novo centro de seu treinamento, e foi sob seu comando que eles mudaram de endereço, ao trocar Highbury pelo novo estádio que tinham construído: o Emirates Stadium. O novo estádio tem uma bem maior, com 60 mil lugares acomoda muito mais torcedores do que os 38 mil no Highbury.
Ainda que o clube assumisse uma dívida importante, ela foi administrada muito bem, sendo manejada num nível de baixos gastos. O novo estádio geralmente está com sua capacidade esgotada para os jogos, e após um período de transição para uma equipa jovem que Wenger construiu, o clube está trilhando um caminho de recuperação.
