← Каталог

· AI Engineer Code 2026

В спецификации есть баги. Найдите их до того, как агент начнёт писать код.

Your Spec Has Bugs. Catch Them Before Your Agent Codes. - Rajath Mahendrappa Kotyal, AWS

Противоречия и пробелы в спецификации для coding агента можно находить формальной проверкой до генерации кода, а не после.

  • Конфликт правил — правило «если товара нет на складе, заказ оформляется как back order» и правило «заказ нельзя оформить как back order» по отдельности понятны, но вместе взаимоисключающие, и LLM, читая их вместе, это не замечает. По словам спикера, неясные промпты снижают точность генерации на 20–40%.
  • Трёхшаговый конвейер — LLM сначала сам переписывает формулировки, а если это не помогает, переводит их в SMT-формулы, которые проверяет SAT-решатель. Решатель находит противоречия между предложениями и пробелы, например заказ, для которого ни одно правило не действует.
  • Разброс трактовок — перевод повторяется 7–10 раз, эквивалентные по логике варианты группируются. Если они расходятся, спецификация спорная: пользователю предлагают выбрать вариант или реализация пропускается.
  • Граница инструмента — проверка не гарантирует корректность спецификации, доменные знания, которых нет у модели, проверяет только человек.

Кому полезно: тем, кто передаёт агентам спецификации и правила для продакшен-задач и хочет ловить противоречия до написания кода.

Главы

Похожие доклады