Cada ejecución de CI se convierte en una ejecución de Probara

El reporter se ejecuta en el mismo comando npx vitest run, después del reporter default que lees en la terminal. No hay un paso de carga aparte, la ejecución se cierra cuando llegan todos los resultados, y un problema al enviarlos nunca cambia el código de salida del comando.

Se autentica con un token de aplicación de la organización que lee del entorno: no ocupa ningún puesto y sigue funcionando cuando la persona que lo creó se va.

GitHub Actions
- name: Run Vitest tests
  run: npx vitest run
  env:
    PROBARA_API_TOKEN: ${{ secrets.PROBARA_API_TOKEN }}

Cada intento, con sus errores y sus evidencias

Una prueba reintentada con la opción retry de Vitest envía cada intento en orden, y lo mismo hace cada repetición con repeats. Todos los intentos quedan en el historial del caso, y uno fallido incluye cada uno de sus errores, también los fallos de expect.soft.

Tus pruebas pueden añadir más con los helpers del reporter: pasos con probara.step(), archivos con probara.attach() y parámetros con probara.parameters(). En el modo navegador, también se adjunta la captura de una prueba fallida.

Qué envía el reporter
Resultados
Uno por intento o repetición, en orden
Errores
Cada error de un intento fallido, incluidos los de expect.soft
Pasos y adjuntos
Lo que añaden probara.step(), probara.attach() y el annotate de Vitest
Pruebas omitidas
Las pruebas omitidas y test.todo, registradas como omitidas

Las pruebas se vinculan a sus casos, y los que faltan se crean

Incluye el identificador de un caso en el título de una prueba o de un describe, o llama a probara.id() mientras se ejecuta la prueba, y el resultado va a ese caso.

Una prueba que no nombra ninguno se identifica por su clave de automatización, la misma que usa una importación JUnit del informe de Vitest, y su caso se crea la primera vez que se envía, en una suite con el nombre de su archivo de prueba.

src/checkout.test.ts
import { describe, test } from 'vitest';
import { probara } from '@probara/vitest-reporter';

describe('checkout', () => {
  test('SHOP-12 pays with a card', () => {});

  test('pays with a gift card', () => {
    probara.id('SHOP-14');
  });

  test('shows the total', () => {
    // Sin caso: se identifica por su clave y se crea la primera vez.
  });
});

Ejecuta solo las pruebas de una ejecución de Probara

Crea una ejecución en Probara, como los casos de una versión o los que fallaron ayer, y deja que el pipeline ejecute exactamente esas pruebas.

Define en el job el ULID de la ejecución, sin cambiar nada en vitest.config.ts: Vitest ejecuta solo las pruebas que pertenecen a ella, y sus resultados van a esa ejecución.

GitHub Actions
- name: Run the tests of a Probara run
  run: npx vitest run
  env:
    PROBARA_API_TOKEN: ${{ secrets.PROBARA_API_TOKEN }}
    PROBARA_RUN_CASES_ONLY: 'true'
    PROBARA_RUN_ULID: ${{ inputs.run_ulid }}

Envía tu primera ejecución de Vitest a Probara

Crea tu organización, crea un token de aplicación y añade el reporter. Toda organización nueva empieza con una prueba de Pro de 14 días, sin tarjeta de crédito.