Будьте осторожны при тестировании большого количества рынков, а затем кон­струировании портфеля на одних только выигрышных контрактах. Это обычный при­ем поставщиков систем, когда результаты являются чистой фантазией, несмотря на то что это может произвести впечатляющую запись о вашей исторической производи­тельности. Это, очевидно, является еще одной формой подстраивания под кривую.

Тестирование для получения определенных результатов

Торговую систему необходимо разрабатывать с нуля, чтобы она достигла опре­деленных значений критериев производительности. Вероятно, наиболее важными из возможных целей являются процент выигрышей и отношение среднего выигрыша к среднему проигрышу. Эти критерии могут быть использованы для вычисления веро­ятности провала (FOR - probability of ruin), которая дает вам некоторое представле­ние о надежности вашей системы. Большая часть программного обеспечения для тес­тирования дает и другие полезные данные. Ниже приведено их перечисление с комментариями.

Совокупный доход (Net Profit)

Совокупный доход является переоцененной мерой успеха по нескольким причи­нам. Во-первых, убедитесь, что несколько больших торгов не отклонили ваши ре­зультаты. Вы же не хотите использовать систему, успех которой зависит от неповторя­ющихся событий (типа угла Ханта на рынке серебра или падения фьючерсов на сахар на 63 цента).

Не надо думать, что в реальном времени ваша система будет воспроизводить что-либо подобное совокупному доходу из ваших тестов. Неправильно планировать будущие результаты на основе прошлых - мы знаем, что они не повторятся. Вы може­те только убедиться, что ваша система готова справиться с большей частью предска­зуемых рыночных условий будущего.

Количество торгов на тестовой выборке (Number of Trades in the Test Sample)

Общее количество должно превосходить 30 для уверенности в статистической значимости результатов. Даже если вы тестировали 25 лет данных и не получили по крайней мере 30 торгов, ваши результаты будут неубедительны. Мы однажды слуша­ли лекцию о работоспособности индикатора рынка акций, который производил одну торговлю каждые 40 лет. Нам бы хотелось увидеть результаты тестирования за 1200 лет, чтобы этот метод произвел на нас впечатление. Чем больше у вас получилось торгов, тем лучше.

Наибольшая выигрышная и наибольшая проигрышная торговля (Largest Winning and Largest Losing Trade)

Наибольший выигрыш становится важным, если он отклонил совокупный до­ход на неразумную величину. Многие консервативные трейдеры выбросят наиболь­ший выигрыш по каждому рынку и пересчитают результаты. Наибольший проигрыш бывает особенно важен, если он превосходит вашу меру нормального контроля рис­ков. Возможно, существует какая-то проблема или непредвиденные расходы, кото­рые вы не заметили. Будьте осторожны с удалением наибольших проигрышей. Имен­но здесь большинство трейдеров спотыкаются о подстраивание под кривую. Не разрабатывайте специальные правила для обхождения больших потерь, просто пере­смотрите ваши последовательности остановок. Контролирование наибольшего про­игрыша может быть особенно важным, если вы торгуете на основе агрессивного реин­вестирования, используя пирамиды в любой форме или более тонкие методы, такие как оптимальная f. Вы должны избежать сюрпризов, которые могут целиком обесце­нить вашу стратегию.

Максимальное количество последовательных выигрышей и проигрышей (Maximum Consecutive Winners and Losers)

Максимальное количество последовательных проигрышен может оказаться по­лезным. Это дает вам представление об эмоциональных переживаниях, которые вам предстоит выдержать в ходе торговли по вашей системе. Предсказание этого числа может предотвратить панику, когда такое событие действительно произойдет.

Убытки от пика к впадине (Peak-to-Valley Drawdown)

Очень важной и, несмотря на это, часто обделяемой вниманием величиной явля­ется убыток в процентах от счета, измеряемый от пика к впадине. Система, которая производит годовой процент отдачи в 100 процентов на пяти годах, - это система, которой будет тяжело следовать в случае, если она допускает убытки от пика к впади­не по 50 процентов несколько раз в течение пяти лет. Вам нужны большая смелость и глубокие карманы, чтобы торговать по такой системе с доверием. По нашему опыту, гладкая кривая гораздо предпочтительней и более трудно достижима, чем высокая годовая отдача.

Эта кривая очень важна как мера того, насколько практична будет ваша систе­ма, когда на кон будут поставлены реальные деньги. Чаще всего системы, которые приносят наибольший совокупный доход, имеют самые высокие убытки. Объедините большие убытки с полосой проигрышей и вы поймете причину, по которой большин­ство трейдеров преждевременно отказываются от потенциально хороших торговых систем. Мы снова подчеркиваем; система должна разрабатываться с учетом стрессо­вого барьера индивидуально для каждого трейдера. В значительной степени, как и ожидание последовательных проигрышей, ожидание потенциальных убытков, кото­рые нам придется терпеть, может дать жизненно важный элемент доверия, который позволит нам выжить в неизбежные проигрышные периоды.

Для профессиональных управляющих денежными средствами существует дру­гая причина вычислять максимальный убыток. Консультанты по товарной торговле говорят, что публика становится умнее (со временем) и больше интересуется теми редкими консультантами, исторические записи которых показывают устойчивый рост и небольшие убытки, чем птицами высокого полета, которые демонстрируют боль­шие кратковременные выигрыши с крупными убытками от пика к впадине. Те из вас, кто собирается стать консультантами по товарной торговле (СТА- commodity trading advisor) и управлять общественными деньгами, поступят разумно, разработав на пор­тфеле систему с наибольшим убытком от пика к впадине (при ежедневном измерении), лежащим ниже 20 процентов. Это требует комбинации хорошего управления денеж­ными средствами (включая правильную капитализацию) и устойчивой торговой сис­темы с контролируемым риском.

Некоторое коммерческое программное обеспечение рассматривает убыток как общий размер счета минус открытая часть счета на проигрыше. Рациональное объяс­нение такого подхода заключается в том, что открытые доходы будут со временем превращаться в закрытые доходы, и, следовательно, на прибыльных позициях риск будет отсутствсйать. Это неправда. Фьючерсные позиции ежедневно корректируют­ся рынком. Редко, если вообще когда-либо, прибыльная торговля закрывается на пике доходности. Часть счета, которая возвращается на рынок при получении дохода и которая возвращается при получении убытков, вычитается из вашего торгового счета одинаковым образом. Наиболее точным способом вычисления максимальных убыт­ков будет разность между пиковым значением и соответствующей падиной совокуп­ного дневного счета. Эти подсчеты отражают то, что действительно могло бы слу­читься с вашим торговым счетом. Любые другие методы вычисления убытков только вводят в заблуждение. Если ваше программное обеспечение не предоставляет подхо­дящих вычислений, распечатайте данные по дневному совокупному счету и выполни­те вычитание самостоятельно. Если можете, проделайте эту операцию отдельно для каждого рынка, а затем на совокупном портфеле, если вы таковой тестировали. Ре­зультаты могут оказаться совершенно разоблачительными.

Не выбрасывайте ваши результаты тестирования. Они предоставляют систему раннего предупреждения, которая даст вам сигнал, если ваша система начнет само­уничтожение в реальной торговле. Любые результаты, приближающиеся к максималь­ному убытку или максимальному числу последовательных проигрышей,должны тща­тельно изучаться наряду с любым падением процента выигрышей или отношения выигрышей к проигрышам.