using namespace std;
int main()
{
int n = 10000000; // повторяем do_something() n раз
clock_t t1 = clock(); // начало отсчета
if (t1 == clock_t(–1)) { // clock_t(–1) значит "clock()
// не работает"
cerr << "Извините, таймер не работает \n";
exit(1);
}
for (int i = 0; i<n; i++) do_something(); // цикл измерений
clock_t t2 = clock(); // конец отсчета
if (t2 == clock_t(–1)) {
cerr << "Извините, таймер переполнен \n";
exit(2);
}
cout << "do_something() " << n << " раз занимает "
<< double(t2–t1)/CLOCKS_PER_SEC << " сек "
<< " (точность измерений: "
<< CLOCKS_PER_SEC << " сек)\n";
}
Функция
clock()
возвращает результат типа
clock_t
. Явное преобразование
double(t2–t1)
перед делением необходимо, поскольку тип
clock_t
может быть целым число. Точный момент запуска функции
clock()
зависит от реализации; функция
clock()
предназначена для измерения интервалов времени в пределах одного сеанса выполнения программы. При значениях
t1
и
t2
, возвращаемых функцией
clock()
, число
double(t2–t1)/CLOCKS_PER_SEC
является наилучшим приближением времени, прошедшего между двумя вызовами функции
clock()
и измеренного в секундах. Макрос
CLOCKS_PER_SEC
(тактов в секунду) описан в заголовке
<ctime>
.
Если функция
clock()
для процессора не предусмотрена или временной интервал слишком длинный, функция
clock()
возвращает значение
clock_t(–1)
. Функция
clock()
предназначена для измерения временных интервалов, длящихся от доли секунды до нескольких секунд. Например, если (что бывает довольно часто) тип
clock_t
представляет собой 32-битовый тип
int
со знаком и параметр
CLOCKS_PER_SEC
равен
1000000
, мы можем использовать функцию
clock()
для измерения интервалов времени продолжительностью от 0 до 2000 секунд (около половины часа), выраженных в микросекундах.
Напоминаем: нельзя доверять любым измерениям времени, которые нельзя повторить, получив примерно одинаковые результаты. Что значит “примерно одинаковые результаты”? Примерно 10%. Как мы уже говорили, современные компьютеры являются
быстрыми: они выполняют миллиард инструкций в секунду. Это значит, что вы не можете измерить продолжительность ни одной операции, если она не повторяется десятки тысяч раз или если программа не работает действительно очень медленно, например, записывая данные на диск или обращаясь в веб. В последнем случае вы должны повторить действие несколько сотен раз, но медленная работа программы должна вас насторожить.
26.7. Ссылки
Stone, Debbie, Caroline Jarrett, MarkWoodroffe, and Shailey Minocha. User Interface Design and Evaluation. Morgan Kaufmann, 2005. ISBN 0120884364.
Whittaker, James A. How to Break Software: A Practical Guide to Testing. Addison-Wesley, 2003. ISBN 0321194330.
Задание
Протестируйте функцию
binary_search
.
1. Реализуйте оператор ввода для класса
Test
из раздела 26.3.2.2.
2. Заполните файл тестов для последовательностей из раздела 26.3.
2.1.
{ 1 2 3 5 8 13 21 } // "обычная последовательность"
2.2.
{ }
2.3.
{ 1 }
2.4.
{ 1 2 3 4 } // нечетное количество элементов
2.5.
{ 1 2 3 4 5 } // четное количество элементов
2.6.
{ 1 1 1 1 1 1 1 } // все элементы равны
2.7.
{ 0 1 1 1 1 1 1 1 1 1 1 1 1 } // другой элемент в начале
2.8.
{ 0 0 0 0 0 0 0 0 0 0 0 0 0 1 } // другой элемент в конце
3. Основываясь на разделе 26.3.1.3, выполните программу, генерирующую следующие варианты.
3.1. Очень большая последовательность (что считать большой последовательностью и почему?).
3.2. Десять последовательностей со случайным количеством элементов.
3.3. Десять последовательностей с 0, 1, 2 ... 9 со случайными элементами (но упорядоченные).
4. Повторите эти тесты для последовательностей строк, таких как
{ Bohr Darwin Einstein Lavoisier Newton Turing }
.
Контрольные вопросы
1. Создайте список приложений, сопровождая их кратким описанием наихудшего события, которое может произойти из-за ошибки; например, управление самолетом — авиакатастрофа: гибель 231 человека; потеря оборудования на 500 млн. долл.
2. Почему мы не можем просто доказать, что программа работает правильно?
3. В чем заключается разница между модульным и системным тестированием?
4. Что такое регрессивное тестирование и почему оно является важным?
5. Какова цель тестирования?
6. Почему функция
binary_search
просто не проверяет свои требования?
7. Если мы не можем проверить все возможные ошибки, то какие ошибки следует искать в первую очередь?
8. В каких местах кода, манипулирующего последовательностью элементов, вероятнее обнаружить ошибки?
9. Почему целесообразно тестировать программу при больших значениях?
10. Почему часто тесты представляются в виде данных, а не в виде кода?
11. Почему и когда мы используем многочисленные тесты, основанные на случайных величинах?
