Mutação ad-hoc não tem guarda de STALE, e a cara é justamente a que não tem

[CRangelP]

A dívida

As mutações comportamentais — as que provam que um caso de eval morde — são feitas à mão, em cópias descartáveis, com perl -0pi -e e sem nenhuma verificação de que a edição aconteceu.

O mutation_test.sh não tem esse problema: ele guarda cksum de MUTATED_FILES antes e depois e reporta STALE quando uma mutação não muda nada — guarda que existe desde a #37 exatamente porque uma mutação que não aplica reporta "a suíte pegou" para sempre, e o vermelho que ela deveria produzir nunca aparece.

Fora dali, nada protege. E o custo é assimétrico: mutação comportamental é a cara — minutos e cota de modelo por execução — e é a que produz as conclusões mais fortes do repositório ("o contrato do RED só cai quando as quatro sedes caem", "o teto de fase não morde neste fixture").

Não é hipótese: aconteceu hoje

Ao escrever o invariante da #85, a primeira mutação de verificação foi STALE. O perl não casou, o arquivo não mudou, e a suíte respondeu 465/465 invariants held — que eu quase li como "o invariante não morde".

Só apareceu porque conferi o cksum antes de acreditar no resultado. A leitura errada estava a um passo: "o invariante que acabei de escrever não reprova, então preciso reescrevê-lo" — e o invariante estava certo.

O mesmo risco vale na direção oposta e é pior: uma mutação STALE num caso de eval faria a run legítima rodar contra o texto original, e o verde resultante leria como "o caso não morde", quando o que houve foi uma edição que nunca existiu. Custo: uma run paga e uma conclusão invertida.

Escala do que está desprotegido

Só no lote do milestone anterior: doze mutações ad-hoc na #69, duas na #66 (célula única e conjunto das quatro sedes), uma na #67, uma na #65, mais as de verificação de invariante. Nenhuma com guarda. Que elas tenham aplicado foi verificado por hábito, lendo o trecho mutado de volta — não por mecanismo.

O que resolve

Um utilitário pequeno, na linha do que o mutation_test.sh já faz: aplica a edição, compara o checksum, aborta se não mudou. Três exigências que decidem se ele é útil ou decorativo:

1. Aborta, não avisa. Guarda que imprime aviso e segue é guarda que some no scroll de uma run de quatro minutos.
2. Serve para as duas metades. Mutação de texto (barata, para invariante) e mutação de comportamento (cara, para eval) têm o mesmo modo de falha silenciosa, e a distinção entre elas é o assunto da #80.
3. Reporta o que mudou, não só que mudou. Uma regex gulosa que come metade do arquivo também muda o checksum, e o vermelho que ela produz não é o vermelho que se queria.

Critério de pronto

• utilitário que aplica, verifica e aborta, usável fora do mutation_test.sh
• piso próprio: mutação que não casa tem de abortar; mutação que casa demais tem de ser visível
• o método escrito onde o processo mora — as instruções de mutação comportamental deixam de dizer só "mute e rode"

[CRangelP]

Entregue e mergeado (fe6ab56)

scripts/mutate.sh aplica, verifica e aborta quando a edição não muda nada — as três exigências da issue:

1. Aborta, não avisa. Sai 1 com STALE, e a mensagem diz o que teria acontecido: "A run against this copy would exercise the ORIGINAL text, and its green would read as evidence about a mutation that never happened."
2. Serve para as duas metades, texto e comportamento, que é a distinção da Mutação de texto não é mutação de comportamento: o contrato do RED tem quatro sedes e só cai quando as quatro caem #80.
3. Reporta o que mudou. Contagem de linhas antes do diff, e o diff truncado — contagem absurda tem de ficar visível mesmo quando o corpo rola a tela. Piso próprio: uma expressão gulosa aparece como "5 line(s) removed", não como sucesso.

Sai 2 para uso errado (arquivo inexistente, argumentos faltando), que é distinto de 1: quem trata os dois igual tenta de novo uma edição num caminho que não existe.

mutation_test.sh roda os seis pisos antes de tudo e para se falharem — helper cujos pisos ninguém roda é helper em que ninguém pode confiar no dia em que importa.

A cadeia provada com a própria ferramenta

O mutate.sh mutou a si mesmo para provar a mordida: removida a comparação de checksum, seus pisos caem para 5/6 e o mutation_test.sh para com MUTATE.

Uma lição de graça, do mesmo tipo que a issue registra

A primeira versão da chamada usava dirname "${BASH_SOURCE[0]}" — e a linha 19 do mutation_test.sh já tinha feito cd para a raiz, então o caminho resolvia para um diretório que não tem o script. O que denunciou foi a guarda falhar fechada. Uma versão que pulasse quando o helper não fosse encontrado teria reportado verde para sempre sem nunca rodar um piso — exatamente a falha silenciosa que esta issue existe para eliminar, reproduzida na primeira tentativa de eliminá-la.

Por isso a checagem hoje distingue as duas causas: helper ausente e pisos vermelhos têm mensagens diferentes.

Critério de pronto

• utilitário que aplica, verifica e aborta, usável fora do mutation_test.sh
• piso próprio: mutação que não casa aborta; mutação que casa demais fica visível
• o método escrito onde o processo mora — cabeçalho do mutate.sh e parágrafo novo nos dois READMEs
• as instruções de mutação comportamental do eval.sh passarem a chamar o helper — deixado de fora de propósito: o eval.sh está sendo trabalhado em paralelo nas eval: commits_are_atomic fica verde por ausência quando a run termina fora da branch cleanup/ #70 e Um piso sintético do eval reprovou 1 vez em ~15 sem causa — e piso não-determinístico apaga a fronteira entre as duas metades da suíte #83, e mexer nele agora criaria conflito sem ganho. Fica como o último passo desta issue.

Validado: 469/469 invariantes, seis suítes verdes, 6/6 pisos do mutate.sh, CI verde nas duas plataformas.

[CRangelP]

Fechada com o PR #108, que entrega o item que faltava — as instruções de mutação comportamental do eval.sh passando pelo helper. Ele tinha ficado de fora de propósito porque o eval.sh estava sendo mexido em paralelo nas #70 e #83; as duas fecharam, e o conflito com elas era a única razão da espera.

O que fechou

EVAL_MUTATE='<expr>' bash scripts/eval.sh yellow-run aplica a expressão à cópia instalada dentro do fixture, através do mutate.sh. O procedimento que a issue descreve — copiar o repositório, editar com perl -0pi, conferir por grep, rodar a cópia — some junto com os seus dois modos de falha: a edição que não aplica (a run acontece contra o texto original, e o verde se lê como "o caso não morde") e o SKILL_ROOT da cópia resolvendo para /.

Três coisas que o desenho teve de resolver, e não estavam na issue

Onde o aborto pode ser aborto. O fixture() roda dentro de uma substituição de comando: um exit ali mata só o subshell, e a suíte segue com um caminho vazio. Por isso a recusa mora num preflight, contra uma cópia descartável do arquivo, no processo da suíte — e sai 2, não 1: a suíte se recusando a medir é resposta diferente de um grader vermelho.

A saída da mutação vai para stderr. O fixture devolve pelo stdout o diretório que construiu; uma linha de conversa ali viraria parte do caminho.

cd "" não falha. Medido: ( cd "" && pwd ) imprime o diretório atual e sai 0 — ou seja, o braço de um fixture que não foi construído rodaria o modelo no diretório de onde a suíte foi chamada, que é este repositório. O run_arm passou a recusar braço sem fixture, com desfecho próprio (no_fixture) em vez de virar vermelho de grader.

Provas

7 pisos novos (97 → 104) nas duas direções, 4 invariantes novos (500 → 504), e os três primeiros invariantes provados com mutação pelo próprio mutate.sh num tar descartável: cada um reprova 503/504 quando a rota some.

Primeiro uso real, já rodando

A mutação das quatro sedes do teto de exports para a #75 está sendo feita por este caminho — sete linhas trocadas, preflight verde, o braço with lendo a cópia mutada e o de controle intacto por construção. E ele já expôs um limite que vale registrar aqui: a guarda pega "nada mudou", não "mudou pela metade". Numa expressão com quatro s///, três que aplicam e uma que não produzem um mutated legítimo — a contagem de linhas é a única coisa que denuncia, e ela precisa ser lida. Conferir sede por sede depois do preflight continua sendo trabalho de quem muta.