O título é extraído da Bíblia, remetendo-nos ao Gênesis, é à história de Rebeca, que privilegia o filho Jacó, em detrimento do outro filho, Esaú, fazendo-os inimigos irreconciliáveis. A inimizade dos gêmeos Pedro e Paulo, do romance de Machado, não tem causa explícita, daí a denominação de romance "AB OVO" (desde o ovo).
É o romance da ambigüidade, narrado em 3ª pessoa, pelo Conselheiro Aires. Pedro e Paulo seriam "os dois lados da verdade".
À medida que vão crescendo, os irmãos começam a definir seus temperamentos diversos: são rivais em tudo. Paulo é impulsivo, arrebatado, Pedro é dissimulado e conservador - o que vem a ser motivo de brigas entre os dois. Já adultos, a causa principal de suas divergências passa a ser de ordem política - Paulo é republicano e Pedro, monarquista. Estamos em plena época da Proclamação da República, quando decorre a ação do romance.
Até em seus amores, os gêmeos são competitivos. Flora, a moça de quem ambos gostam, se entretém com um e outro, sem se decidir por nenhum dos dois: é retraída, modesta, e seu temperamento avesso a festas e alegrias levou o Conselheiro Aires a dizer que ela era "inexplicável". O conselheiro é mais um grande personagem da galeria machadiana, que reaparecerá como memorialista no próximo e último romance do autor: velho diplomata aposentado, de hábitos discretos e gosto requintado, amante de citações eruditas, muitas vezes interpreta o pensamento do próprio romancista.
As divergências entre os irmãos continuam, muito embora, com a morte de Flora, tenham jurado junto a seu túmulo uma reconciliação perpétua. Continuam a se desentender, agora em plena tribuna, depois que ambos se elegeram deputados, e só se reconciliam ao fim do livro com novo juramento de amizade eterna, este feito junto ao leito da mãe agonizante.