Разобрать по косточкам. «Песочницы» и бенчмарки для оценки качества кода, сгенерированного системой ИИ

Код, сгенерированный нейросетями, нередко содержит уязвимости, ошибки и скрытые недочеты, поэтому его важно проверять на безопасность и корректность.

Мы в Beeline Cloud собрали несколько open source инструментов, которые помогут решить эту задачу: одни позволят запустить такой код в изолированной среде, другие — вести учет сгенерированных фрагментов кода в репозиториях.

Изображение: Tambako (CC BY 4.0)

ERA (Apache 2.0)

Это — «песочница» для запуска сгенерированного нейросетями кода. Проект представил независимый разработчик из Сиэтла Бинбин Хэ в 2025 году [в прошлом он писал для NASA инструменты расчета траекторий космических аппаратов]. Автор пришел к идее ERA, вдохновившись мнением программиста Майкла Полсона, известного как ThePrimagen. Полсон освещал ситуацию с джейлбрейком семейства LLM Claude для проведения кибератак и в контексте этой истории акцентировал внимание на важности изоляции кода и систем ИИ. В итоге Бинбин Хэ вместе с единомышленником решил создать собственный инструмент, который позволил бы запускать сгенерированный ИИ-код в микровиртуальной машине. По словам авторов, такой подход обеспечивает более высокий уровень изоляции по сравнению с контейнерами, при этом саму microVM можно поднять примерно за 200 мс.

На сегодняшний день ERA находится на ранних этапах развития, более того, сейчас песочницу переписывают на Rust. Вероятно, пока не стоит использовать инструмент в продакшене, но если вы все же хотите его опробовать, то инструкции для быстрого старта можно найти в репозитории. Там же можно найти «рецепты» — готовые к запуску примеры, позволяющие ознакомиться с возможностями ERA. У проекта есть и официальная документация на отдельном сайте, хотя из-за выбранной цветовой гаммы ее может быть тяжело читать. Там выложены руководства по селф-хостингу, а также пошаговые гайды.

Continuous-eval (Apache 2.0)

Это — пакет для data-driven-оценки качества работы LLM-приложений. Проект представила в 2024 году компания Relari AI, основанная выходцами из MIT и Гарварда. Разработка ведется при поддержке Y Combinator, а также других инвестиционных фирм. Continuous-eval позволяет оценить модули в пайплайне по индивидуальным показателям. Можно сочетать детерминированные, семантические, вероятностные и метрики на основе LLM, а еще писать собственные. Например, проанализировать степень сходства сгенерированного кода с эталоном или оценить синтаксическую эквивалентность SQL-запросов.

Документация continuous-eval довольно подробна и размещена на официальном сайте компании-разработчика. Там есть не только инструкция по установке, но также список поддерживаемых LLM и обзор ключевых компонентов: метрик и тестов, логгера для сохранения выходных данных и системы управления процессом оценки конвейеров. Кроме того, команда выложила отдельный репозиторий с примерами GenAI/LLM-приложений и пайплайнов оценки, собранных с помощью continuous-eval.

CodePrism (MIT и Apache 2.0)

Инструмент для анализа исходного кода, реализующий протокол MCP (Model Context Protocol). CodePrism был представлен в 2025-м в рамках инициативы RUSTIC AI, нацеленной на продвижение ИИ-решений и формирование доступной среды для их разработки. Под капотом — набор агентских систем, которые проводят анализ кода на основе графов. Например, одна из них помогает находить неиспользуемые функции и переменные, транзитивные зависимости, другая — дублирующий код (и дает рекомендации по рефакторингу).

Что интересно, описания в репозитории CodePrism, исходный код проекта и все остальное были сгенерированы системой ИИ. Так, ИИ-агент подготовил для CodePrism достаточно объемную документацию, а также детальное описание возможностей и компонентов. Например, можно посмотреть на архитектуру проекта или изучить несколько примеров использования инструмента. Стоит отметить, что разработчики CodePrism сразу предупреждают, что будут отклонять любой написанный человеком код или пул-реквесты от обычных пользователей. Вместо этого авторы предлагают участникам сообщества отправлять обратную связь и делиться идеями о новых функциях.

Изображение: Dave Ruske (CC BY 4.0)

Git-ai (Apache 2.0)

Инструмент помогает понять, какая часть кода в репозитории была сгенерирована системами ИИ. Проект свежий — его представили в конце 2025 года. Автором выступил разработчик приложения Optic для документирования и управления API. Изначально Git-ai появился в качестве побочного инструмента. Однако автор решил плотно заняться его развитием.

Git-ai не применяет для анализа эвристические методы, то есть не «угадывает», какой код мог бы быть сгенерированным, а интегрируется с ИИ-агентами и помечает строки кода — от начала разработки до стадии релиза. Причем инструмент сохраняет каждый конкретный промпт — пользователь может нажать на описание, чтобы автоматически перейти к сгенерированному по нему коду. Также есть возможность провести анализ промптов, попросив агента «изучить, как изменилась практика составления запросов за последние три месяца».

Minish (Apache 2.0)

Это — фреймворк для property-based-тестирования, ориентированный на язык программирования Zig. Проект развивает независимый разработчик из Норвегии, который обратил внимание на сложности тестирования кода, сгенерированного с помощью ИИ-агентов. Он создал Minish, чтобы упростить и систематизировать проверку корректности такого кода. При этом он вдохновлялся инструментами QuickCheck и Hypothesis.

Суть property-based-тестирования заключается в том, что разработчику не нужно вручную придумывать входные данные для тестов. Minish сам генерирует случайные тест-кейсы и, если обнаруживает ошибку, производит «сокращение» (shrinking) входных данных — чтобы найти крайний пример, приводящий к сбою. Всего проект включает более 25 встроенных генераторов: для целых и вещественных чисел, строк, списков, структур, временных меток и других типов данных. Также есть комбинаторы (combinators), позволяющие собирать сложные генераторы из простых. Базовая документация описана в README-файле репозитория, а еще вот тут. Кроме того, автор приводит несколько примеров использования Minish — в том числе для property-based-тестирования строк и базового генератора кортежей.

Ariana-debugger (AGPL 3.0)

CLI-инструмент и IDE-расширение для контекстно-зависимой отладки кода. Ariana-debugger разработала команда инженеров, которые ранее работали в Volvo, Y Combinator и Европейском космическом агентстве. По словам одного из авторов, классические отладчики предполагают, что разработчик сам расставит брейкпоинты. Такой подход не очень удобен, особенно в сценариях, где код пишется совместно с системой ИИ. В случае с ariana-debugger инструмент отработает как транспайлер: он автоматически модифицирует код, добавит механизмы для наблюдения, определит логику. Далее дебаггер предоставит отчеты в среде разработки — какие участки кода были выполнены успешно, где были обнаружены ошибки (и какой код был пропущен). Инструкции о том, как начать работу с инструментом описаны в репозитории проекта. Там же есть ссылка на маркетплейс VS Code, где можно скачать расширение.

Что еще недавно выходило в нашем блоге:

• Стресс-тесты, информационная безопасность и оптимизация ИИ-агентов — открытые инструменты

• Получит ли ИИ «нобелевку» к 2050-му? Проблема безжизненных открытий, низкое разнообразие исследований и другие сложности

• Карьерный буст в новом году: читаем научно-техническую литературу эффективно — инструменты и советы ученых

• «Галя, у нас замена»? Почему хайп со сменой программистов на системы ИИ — далеко не первая «паническая атака» в отрасли

• Начать неделю с озарения? Вечное [почти] сияние чистого разума — или что такое «Эврика!» с точки зрения науки

Источник