Nexus - AI Task Orchestrator

38-performance-regression-check
Procedimiento: Performance Regression Check

Calidad de Codigo
1 plugin(s)
Titulo
Descripcion
Contenido Markdown
10296 caracteres
# Procedimiento: Performance Regression Check

## Metadata
- **ID**: PROC-38
- **Frecuencia**: Pre-release o Post-cambio significativo
- **Duraci├│n estimada**: 30-60 min
- **Requiere**: Entorno de staging, benchmarks baseline
- **Dependencias**: PROC-21 (Deploy)
- **Bloquea**: Release (si hay regresi├│n significativa)
- **Agentes**: dotnet-architect, qa-engineer

---

## Objetivo

Detectar regresiones de rendimiento entre releases:
1. Ejecutar benchmarks estandarizados
2. Comparar con baseline de versi├│n anterior
3. Identificar degradaciones significativas (>10%)
4. Prevenir regresiones en producci├│n

---

## Umbrales

| M├®trica | Mejora | OK | Warning | Regresi├│n |
|---------|--------|----|---------|-----------|
| Response time | <-10% | ┬▒10% | +10-25% | >+25% |
| Throughput (RPS) | >+10% | ┬▒10% | -10-25% | <-25% |
| Memory usage | <-10% | ┬▒10% | +10-25% | >+25% |
| CPU usage | <-10% | ┬▒10% | +10-25% | >+25% |
| Error rate | <-50% | ┬▒0% | +1-5% | >+5% |

---

## Herramientas

| Herramienta | Uso | Lenguaje |
|-------------|-----|----------|
| BenchmarkDotNet | Microbenchmarks | .NET |
| k6 | Load testing | JavaScript |
| Apache JMeter | Load testing | Java |
| Artillery | Load testing | Node.js |
| wrk | HTTP benchmark | C |

---

## Checklist Ejecutable

### 1. Preparar Entorno

```bash
# Verificar que staging est├í limpio
curl -s "$STAGING_URL/health"

# Verificar que no hay carga externa
# (o ejecutar en horario de baja actividad)

# Warm-up de la aplicaci├│n
for i in {1..10}; do
  curl -s "$STAGING_URL/api/ping" > /dev/null
done
```

- [ ] Staging disponible y aislado
- [ ] Warm-up completado

### 2. Obtener Baseline

```bash
# Baseline guardado de la versi├│n anterior
cat benchmarks/baseline-v1.2.0.json

# Si no existe, ejecutar en versi├│n actual antes de cambios
# y guardar como baseline
```

**Baseline esperado:**

| Endpoint | P50 | P95 | P99 | RPS |
|----------|-----|-----|-----|-----|
| GET /api/products | 50ms | 150ms | 300ms | 500 |
| POST /api/orders | 100ms | 300ms | 500ms | 200 |
| GET /api/search | 80ms | 200ms | 400ms | 300 |

- [ ] Baseline disponible

### 3. Ejecutar Benchmarks

#### Con k6

```javascript
// benchmark.js
import http from 'k6/http';
import { check, sleep } from 'k6';

export const options = {
  stages: [
    { duration: '1m', target: 50 },   // Ramp up
    { duration: '3m', target: 50 },   // Steady state
    { duration: '1m', target: 0 },    // Ramp down
  ],
  thresholds: {
    http_req_duration: ['p(95)<200'],
    http_req_failed: ['rate<0.01'],
  },
};

export default function() {
  const res = http.get(`${__ENV.BASE_URL}/api/products`);
  check(res, {
    'status is 200': (r) => r.status === 200,
    'response time < 200ms': (r) => r.timings.duration < 200,
  });
  sleep(1);
}
```

```bash
# Ejecutar benchmark
k6 run benchmark.js \
  --env BASE_URL=$STAGING_URL \
  --out json=results/k6-results.json

# Resumen
k6 run benchmark.js --summary-export=results/summary.json
```

#### Con BenchmarkDotNet (.NET)

```csharp
[MemoryDiagnoser]
[SimpleJob(RuntimeMoniker.Net90)]
public class ApiBenchmarks
{
    private HttpClient _client;

    [GlobalSetup]
    public void Setup()
    {
        _client = new HttpClient { BaseAddress = new Uri(Environment.GetEnvironmentVariable("STAGING_URL")) };
    }

    [Benchmark]
    public async Task<string> GetProducts()
    {
        return await _client.GetStringAsync("/api/products");
    }

    [Benchmark]
    public async Task<string> Search()
    {
        return await _client.GetStringAsync("/api/search?q=test");
    }
}
```

```bash
dotnet run -c Release -- --export json
```

- [ ] Benchmarks ejecutados
- [ ] Resultados guardados

### 4. Parsear Resultados

```bash
# k6 - Extraer m├®tricas
cat results/summary.json | jq '{
  http_req_duration: {
    avg: .metrics.http_req_duration.values.avg,
    p50: .metrics.http_req_duration.values["p(50)"],
    p95: .metrics.http_req_duration.values["p(95)"],
    p99: .metrics.http_req_duration.values["p(99)"]
  },
  http_reqs: .metrics.http_reqs.values.rate,
  http_req_failed: .metrics.http_req_failed.values.rate
}'
```

**Resultados actuales:**

| M├®trica | Valor |
|---------|-------|
| Avg response time | ___ ms |
| P50 | ___ ms |
| P95 | ___ ms |
| P99 | ___ ms |
| Throughput | ___ RPS |
| Error rate | ___% |

- [ ] M├®tricas extra├¡das

### 5. Comparar con Baseline

```bash
# Script de comparaci├│n
baseline=$(cat benchmarks/baseline.json | jq '.http_req_duration.p95')
current=$(cat results/summary.json | jq '.metrics.http_req_duration.values["p(95)"]')

change=$(echo "scale=2; (($current - $baseline) / $baseline) * 100" | bc)
echo "P95 change: $change%"

if (( $(echo "$change > 25" | bc -l) )); then
  echo "ÔØî REGRESI├ôN CR├ìTICA"
elif (( $(echo "$change > 10" | bc -l) )); then
  echo "ÔÜá´©Å REGRESI├ôN WARNING"
else
  echo "Ô£à OK"
fi
```

**Comparaci├│n:**

| M├®trica | Baseline | Actual | Cambio | Estado |
|---------|----------|--------|--------|--------|
| P95 Response | ___ ms | ___ ms | ___% | Ô£à/ÔÜá´©Å/ÔØî |
| Throughput | ___ RPS | ___ RPS | ___% | Ô£à/ÔÜá´©Å/ÔØî |
| Error rate | ___% | ___% | ___% | Ô£à/ÔÜá´©Å/ÔØî |

- [ ] Comparaci├│n completada
- [ ] Regresiones identificadas

### 6. Analizar Regresiones

Si hay regresi├│n:

```bash
# Identificar endpoints afectados
cat results/k6-results.json | jq '
  .metrics | to_entries |
  map(select(.key | startswith("http_req_duration"))) |
  sort_by(-.value.values.avg) |
  .[0:5]'

# Correlacionar con cambios recientes
git log --oneline --since="1 week ago" -- src/
```

**Posibles causas:**
- [ ] Nuevo c├│digo ineficiente
- [ ] Cambio en queries de BD
- [ ] Nueva dependencia pesada
- [ ] Cambio de configuraci├│n
- [ ] Problema de infraestructura

- [ ] Causa ra├¡z identificada

### 7. Ejecutar Profiling (si hay regresi├│n)

```bash
# .NET - dotnet-trace
dotnet trace collect \
  --process-id $(pgrep -f "Api.dll") \
  --duration 00:01:00 \
  --output trace.nettrace

# Analizar con speedscope o PerfView
dotnet trace convert trace.nettrace --format speedscope
```

- [ ] Profile capturado
- [ ] Hotspots identificados

### 8. Documentar y Decidir

```markdown
## Performance Report: v1.3.0

### Resumen Ejecutivo
- Estado: Ô£à OK / ÔÜá´©Å Regresi├│n menor / ÔØî Regresi├│n cr├¡tica

### M├®tricas Clave
| M├®trica | v1.2.0 | v1.3.0 | Cambio |
|---------|--------|--------|--------|
| P95 | 150ms | 180ms | +20% ÔÜá´©Å |
| RPS | 500 | 480 | -4% Ô£à |

### Regresiones Detectadas
1. [Endpoint X] +25% latencia
   - Causa: Query N+1 introducido en PR #123
   - Fix: [link a PR de fix]

### Recomendaci├│n
- [ ] Proceder con release
- [ ] Bloquear hasta fix
- [ ] Release con monitoring extra
```

- [ ] Reporte documentado
- [ ] Decisi├│n tomada

---

## Output Esperado

```
====== PROC-38 COMPLETADO [TIMESTAMP] ======
Proyecto: [nombre]
Versi├│n: v1.3.0 vs v1.2.0 (baseline)

RESUMEN:
- Estado: Ô£à OK / ÔÜá´©Å WARNING / ÔØî REGRESI├ôN

M├ëTRICAS PRINCIPALES:
| M├®trica | Baseline | Actual | Cambio | Estado |
|---------|----------|--------|--------|--------|
| P50 Response | 50ms | 55ms | +10% | Ô£à |
| P95 Response | 150ms | 180ms | +20% | ÔÜá´©Å |
| P99 Response | 300ms | 350ms | +17% | ÔÜá´©Å |
| Throughput | 500 RPS | 480 RPS | -4% | Ô£à |
| Error Rate | 0.1% | 0.1% | 0% | Ô£à |
| Memory | 512MB | 550MB | +7% | Ô£à |

ENDPOINTS CON REGRESI├ôN:
| Endpoint | Baseline P95 | Actual P95 | Cambio |
|----------|--------------|------------|--------|
| POST /orders | 100ms | 150ms | +50% ÔØî |
| GET /search | 80ms | 90ms | +12% ÔÜá´©Å |

CAUSA IDENTIFICADA:
- POST /orders: Query N+1 en OrderService.cs:145

RECOMENDACI├ôN:
ÔÜá´©Å Proceder con cauci├│n - fix planificado para hotfix

ACCIONES:
1. [ISSUE-XXX] Fix query N+1
2. A├▒adir ├¡ndice en orders.customer_id
```

---

## Criterios de ├ëxito

- [ ] Sin regresi├│n > 25% en m├®tricas clave
- [ ] Error rate sin cambio significativo
- [ ] Todos los endpoints dentro de SLA

---

## Alertas y Escalaci├│n

| Severidad | Condici├│n | Acci├│n |
|-----------|-----------|--------|
| CRITICAL | Regresi├│n > 50% | Bloquear release |
| CRITICAL | Error rate > 5% | Investigar inmediatamente |
| WARNING | Regresi├│n 25-50% | Fix antes de release |
| INFO | Regresi├│n < 25% | Documentar y monitorear |

---

## Automatizaci├│n

En ejecuci├│n no-interactiva:
1. Ejecutar benchmarks
2. Parsear resultados
3. Comparar con baseline
4. Calcular cambios
5. Generar reporte
6. Alertar si hay regresi├│n

---


---

## Output Estructurado (Nexus)

Al finalizar, el agente DEBE generar un bloque JSON con el siguiente formato para que Nexus pueda procesarlo automaticamente:

```json
{
  "result": "success",
  "summary": "Ejecucion de PROC-38 completada. [Descripcion breve de resultados]",
  "metrics": {
    "issues_found": 0,
    "issues_resolved": 0,
    "tests_passed": 100, "tests_failed": 0, "coverage_percent": 78,
    "custom": {
      "procedure_specific_metric": "value"
    }
  },
  "backlog_items": [
    {
      "title": "Titulo del item de seguimiento",
      "description": "Descripcion detallada si se requiere accion futura",
      "priority": "medium",
      "type": "improvement",
      "tags": ["proc-38"]
    }
  ],
  "next_steps": [
    "Accion recomendada 1",
    "Accion recomendada 2"
  ],
  "warnings": [
    "Advertencias encontradas durante la ejecucion"
  ]
}
```

**Campos requeridos:**
- `result`: `"success"` | `"partial"` | `"failed"`
- `summary`: Resumen ejecutivo en 1-3 lineas

**Metricas especificas de este procedure:**
- benchmarks_run, regressions_found, performance_score

**Criterios de resultado:**
- `success`: Procedimiento completado sin errores criticos
- `partial`: Completado con algunos problemas menores o items pendientes
- `failed`: Error critico o no se pudo completar

## Historial de Ejecuciones

| Fecha | Versi├│n | P95 | RPS | Cambio | Estado | Acci├│n |
|-------|---------|-----|-----|--------|--------|--------|
| | | | | | | |