Filho de um ferroviário, Ary Toledo nasceu em Martinópolis, (que na época era distrito de Regente Feijó), mas foi criado na cidade de Ourinhos, ambas no estado de São Paulo. Ary Toledo mudou-se para São Paulo aos 22 anos, quando começou como ator no Teatro de Arena. Cinco anos mais tarde, ingressou na carreira humorística, onde permanece até os dias atuais.
Cantor de estilo satírico, passou a apresentar shows, em que conta inúmeras anedotas. Chegou a compilar mais de 30 mil piadas (antes da internet), que contava em shows, discos, programas de TV e livros. Corintiano, muitas das frases de português atrapalhado atribuídas ao folclórico presidente do clube paulista Vicente Mateus, foram criadas, adaptadas e popularizadas por Ary.
Em pleno período militar, disse em uma de suas apresentações: "Quem não tem cão, caça com gato e quem não tem gato, caça com ato" referindo-se ao Ato Institucional V. Imediatamente, foi preso e logo liberado, devido ao grande carisma que tinha (inclusive junto a seus opressores).
Casado há quase 40 anos com a atriz Marly Marley, o humorista considera que seu início para a vida artística deve-se à mãe que, aos 12 anos, deu-lhe de presente uma gaita de boca. Posteriormente, Ary foi aluno de Jamil Neder, que lhe ministrou aulas de violão. Aos 22 anos, mudou-se para São Paulo, onde começou a carreira como ator no Teatro de Arena. Talvez seja por esse fato, que Ary declara ser a interpretação o grande segredo dos bons comediantes. Sua primeira canção foi composta no início dos anos 60, e a primeira gravação musical em disco ocorreu em 1965, com “Tiradentes”, composição com a qual fez grande sucesso à época.
Participante assíduo de programas musicais de televisão, projetou-se como cantor com a canção "Pau-de-Arara", composta por Vinícius de Moraes e Carlos Lyra. "Pau-de-Arara", que era parte da trilha musical de uma peça de teatro, conta, de uma forma bem humorada, as mazelas da dura vida de um retirante nordestino. O protagonista, para sobreviver, fazia shows em praça pública onde comia lâminas-de-barbear, cacos de vidro etc.
Embora engraçada, a canção tem um cunho claro de crítica às desigualdades sociais. Escreveu e atuou ainda em várias peças, tendo trabalhado ao lado de nomes como Gianfrancesco Guarnieri e Augusto Boal. Seu principal parceiro na composição de músicas é Chico de Assis.
Tendo conhecido Vinícius de Moraes e Elis Regina, foi aconselhado por estes a seguir a carreira de humorista. Talvez por isso, mais tarde tornou-se humorista e piadista, onde permanece até os dias atuais, sendo muito identificado por seu grande acervo de 65 mil piadas.