Тестирование¶
В Ü имеется специальный синтаксис для функций юнит-тестов. См. Юнит-тесты.
Сборочная система Ü извлекает юнит-тесты для каждой сборочной цели (только если сборка юнит-тестов для конкретной сборочной цели не отключена) и собирает исполняемый файл, который запускает эти тесты. Исполняемые файлы юнит-тестов собираются всегда, не существует способа пропустить их сборку. Исполняемый файл юнит-тестов для каждой сборочной цели включает только юнит-тесты, объявленные в её исходных файлах и может включать юнит-тесты, объявленные в импортируемых файлах зависимых сборочных целей.
Запуск сборочной системы Ü с командой test позволяет собрать (если это ещё не сделано) и запустить все исполняемые файлы юнит-тестов. Предполагается, что целевая система совместима с хост-системой и что запуск тестов на хост-системе возможен. Если это не так, команда test не должна быть использована. Но даже в таком случае всё ещё возможно запустить исполняемые файлы юнит-тестов на целевой системе вручную.
Обычно сборка исполняемого файла юнит-тестов возможна для любой сборочной цели. Но если это не так (например, из-за неразрешённых внешних зависимостей), сборка исполняемых файлов юнит-тестов может быть отключена (отдельно для каждой сборочной цели). В таком случае юнит-тесты не могут быть запущены, даже если сборочная цель содержит юнит-тесты.
Обработка неудач в тестах¶
В Ü не существует какого-либо специального способа обработки неудач в юнит-тестах.
Для этого может быть использован halt.
Также макросы, оборачивающие halt (как например assert), могут быть использованы для этих целей.
Не только halt непосредственно в теле теста, но также в функциях вызываемых напрямую или косвенно может быть обнаружен.
Другие неудачи, такие как ошибка сегментирования из-за некорректного unsafe-кода/внешнего кода, деление на ноль, переполнение стека и другие могут быть пойманы и сообщены.
Существует жёсткое ограничение на общее количество неудачных тестов, которые могут быть обнаружены. Если слишком много тестов завершились неудачей, последующие тесты для текущей сборочной цели не запускаются и соответственно их неудача не может быть сообщена.
Советы по написанию тестов¶
Юнит-тесты могут быть запущенны изолированно друг от друга. Их порядок исполнения не определён. Соответственно тесты не должны неявно зависеть от конкретного глобального состояния. Если оно необходимо, оно должно быть подготовлено из тела теста. Глобальное состояние включает глобальные изменяемые переменные (в Ü коде или внешнем коде), состояние операционной системы, файловой системы и вообще любое состояние в обозримом мире.
Рекомендуется сообщать о неудачах юнит-тестов с использованием stdout или stderr, например при помощи вспомогательной функции или макроса (assert?). Это может упростить поиск причины неудачи конкретного теста.
import "/assert.iu"
fn_test( OnePlusTwoTest )
{
auto x= 1 + 2;
// Макрос "assert" напечатает указанное сообщение в случае неудачи.
assert( x == 3, "1 + 2 isn't 3!" );
}
Для более глубокого поиска причин неудачи рекомендуется использовать отладчик. Исполняемые файлы юнит-тестов могут быть отлажены как любые другие исполняемые файлы, если они собраны в отладочном режиме (с включённой отладочной информацией и отключённой оптимизацией).
Юнит-тесты должны по-возможности разбиты на небольшие части. Каждый тест должен проверять только несколько взаимосвязанных проверок. Это необходимо, т. к. только первая неудача в юнит-тесте может быть обнаружена и сообщена. Если тест содержит 1000 последовательных проверок и проверка #0 неудачна, остальные 999 проверок не будут осуществлены и (если необходимо) их неудача не может быть сообщена.
// Предпочтительно делать так:
//
fn_test( MulTest2x2 ) { halt if( 2 * 2 != 4 ); }
fn_test( MulTest2x3 ) { halt if( 2 * 3 != 6 ); }
fn_test( MulTest2x4 ) { halt if( 2 * 4 != 8 ); }
// Много-много тестов
// ...
fn_test( MulTest2x1000 ) { halt if( 2 * 1000 != 2000 ); }
// Но не так:
//
fn_test( MulTest )
{
halt if( 2 * 2 != 4 );
halt if( 2 * 3 != 6 );
halt if( 2 * 4 != 8 );
// Много-много проверок
// ...
halt if( 2 * 1000 != 2000 );
}
Если подобное детальное разбиение тестов не возможно, например в тесте с циклом, перебирающим таблицу тестовых данных, рекомендуется печатать параметры каждой итерации цикла в stdout. Это может упростить обнаружение конкретной причины неудачи теста.
Если проект содержит тесты и их запуск необходим, рекомендуется не использовать опции –halt-mode=unreachable или –halt-mode=configurable_handler с обработчиком, который делает что-то кроме аварийного завершения процесса.
Т. к. halt используется как основной механизм для проверок в тестах, его эффективное отключение приведёт к тому, что неудачи в тестах не будут обнаружены и сообщены должным образом.
Не рекомендуется использовать в юнит-тестах системные функции, которые завершают процесс с нулевым кодом. Процесс, который запускает юнит-тесты, завершившийся с нулевым кодом, считается успешным и предполагается, что все тесты в нём были запущены и были успешны, что в случае с ручным завершением процесса с нулевым кодом приведёт к тому, что оставшиеся тесты не будут запущены и потенциальные неудачи в тестах могут не быть обнаружены.
Сборочные цели - тесты¶
Существует ещё один способ тестирования, не связанный с юнит-тестами описанными выше.
Сборочная система Ü поддерживает сборочные цели типа Test.
Это обычные исполняемые файлы.
Единственно отличие - они запускаются вместе с другими тестами, когда сборочная система запущенна с командой test.
Если такой исполняемый файл завершается с нулевым кодом, предполагается, что тест успешен, если же завершающий код ненулевой или процесс теста аварийно завершается, тест считается неудачным.
Тестовые сборочные тесты не исключают юнит-тестов.
Сборочная цель с типом Test может включать юнит-тесты и исполняемый файл юнит-тестов может быть собран как обычно и запущен командой test - вместе с родительским исполняемым файлом.