Нейросети.

Хм.... молчат все. Либо не верят, либо не поняли :dance2:

 

Офигенно, на картинках. Ровно все так. Только вот не пойму я подхода чесслово: чего торгует (пользуюсь понятиями нсдт - др. просто нет) - сетка или таки стратегия пользующая ее (их) выхлоп?

С уважением

Большое спасибо за кортинки, кот. наглядно показывают, что направленние верное. Впечатлили не столько цифры, сколько стабильное "вверх". А что вызвало несколько просадок?

 

Как я понимаю! Есть некий инструмент (самописный софт), в который вошли вышеописанные данные. Потом произошло обучение и тест на этом инструменте и потом доп тест на тестере мт5 для контроля. А задача стояла дать индюки на вход и ограничение в просадке и соответственно получать профит (какой не важно). Почти полная синтетика.

 

Я понимаю несколько по др. Есть самописка. ЧЯ для нас, сторонних наблюдателей. Есть история из туевой хучи баров. Самописка эти бары прожевала через входные индюки и научилась таки торговать, что показано на OOS. И все. Какие же критерии (цели) преследовались, мы пока не знаем. Вполне ессно, что это макс. профит, мин. дродаун. Ндравится кривуля графика - в нсдт как на леде (почти).

 

На главный вопрос, который задавал сам себе - возможно ли в принципе заставить НСы торговать, - считаю, получил утвердительный ответ.

Какую фитнесс-функцию использовать, как с помощью структуры и параметров алгоритма обучения (кстати, помимо ГА есть еще backprop - ему тоже надо дать шанс) "подтолкнуть" процесс обучения в нужную сторону, ... - эти и многие другие вопросы требуют доп. исследований
В данном конкретном также случае присутствуют непонятки
- на самописном тестере макс DD был 670, а тестере МТ5 - 1700
- почти все сделки - SELL ! (хотя между нач. и кон. точкой интервала обучения разница 10 фигур вверх)
...

Все входные индикаторы имели периоды не больше 144 и нормализацию еще +100
Значит теоретически в процессе обучения на вход подавалась скомпилированная инфа о последних 200-300 барах, т.е. 1 сутки
Другими словами, НС понятия не имела о том, что происходило вчера и, тем более на прошлой неделе

OOS показал, что такая система имеет право на жизнь

На ее обучение ушло около 350 тыс эпох за 3 часа = ~ 32 прохода/секунду при >100 тыс. баров на эпоху

 

<i>На главный вопрос, который задавал сам себе - возможно ли в принципе заставить НСы торговать, - считаю, получил утвердительный ответ.
</i>
Поздравляю. Вот я спрашивал - чего торгует то: сетка или таки стратегия с использованием?
Т.к. я отталкиваюсь от понимания нсдт - стратегия ("адаптивная" механика) все таки важнее считается, а доп. усиление ей придается - сетями-индюками по сути.

<i>Какую фитнесс-функцию использовать, как с помощью структуры и параметров алгоритма обучения (кстати, помимо ГА есть еще backprop - ему тоже надо дать шанс) "подтолкнуть" процесс обучения в нужную сторону, ... - эти и многие другие вопросы требуют доп. исследований
</i>
Чет я запутался, поясни пожалуйста: ГА - это алгоритм перебора-нахождения (та самая "адаптивная механика") - значит сетки нет? Бэкпроп - архитектура сети, одна из многих, с учителем.

<i>В данном конкретном также случае присутствуют непонятки
- на самописном тестере макс DD был 670, а тестере МТ5 - 1700
- почти все сделки - SELL ! (хотя между нач. и кон. точкой интервала обучения разница 10 фигур вверх)
</i>
Сталкивался с похожим - в нсдт эквити бай совсем не = эквити селл и тоже заметил, что при прочих равных селлить "любит" больше, хотя эт субъективно.
...

<i>Все входные индикаторы имели периоды не больше 144 и нормализацию еще +100
Значит теоретически в процессе обучения на вход подавалась скомпилированная инфа о последних 200-300 барах, т.е. 1 сутки
Другими словами, НС понятия не имела о том, что происходило вчера и, тем более на прошлой неделе
</i>
Чем и подтверждаешь слова Чарикара о "небольшом" кол-ве данных, необходимых для обучения

<i>OOS показал, что такая система имеет право на жизнь
</i>
Еще раз порадуюсь за товарища и пожелаю успеха

<i>На ее обучение ушло около 350 тыс эпох за 3 часа = ~ 32 прохода/секунду при >100 тыс. баров на эпоху</i>
куда молотит, не иначе.

Вот, хотелось бы пояснений, с уважением

 

У меня терминология МетаКвотовская: стратегия - это программулина, которая цепляется к терминалу, получает от него всю инфу (котировки, историю, значения индикаторов, текущие профиты, объемы открытых позиций, ...), анализирует все это добро и выдает приказы на исполнение ордеров.
НШДТ-ровским понятиям не обучен, поэтому что-либо вразумительное сказать не могу (((

Крепко запутался.
ГА и бэкпроп - это алгоритмы поиска максимума/минимума целевой функции (ГА - глобального, но долго, а бэкпроп - локального, но быстро, но ему производные целевой функции по аргументам подавай).
Эту функцию f(x1,x2,...xN) "модно" назвали нейросетью, а ее вектор аргументов - весами.
Бэкпропу, как таковому, никакой учитель не нужен. Возможно, запудривание мозКа происходит от того, что часто в качестве целевой функции используют MSE=SUM[ (y'-y)^2 ], где требуется y' - тот самый учитель.
А вот какие алгоритмы использует НШДТ я так и не понял ((
Признаться, не особо долго упорствовал, но успел понять, что в документации этого не расскажут - типа "know how, но не скажу"
Кто бы "на пальцах" рассказал ?

Немного не в тему.
Кол-во примеров обучения у меня как-раз огромное - этим самым + небольшим размером сети пытаюсь уйти от "запоминания" обучающей выборки.
В каждом примере (входном образе) осознано подана информация, которая отражает лишь малую предысторию этого бара
На входах нет SMA(<b>D1</b>,100), максимум - это MACD(<b>M5</b>,89,144)

Спасибо, однако поводов для радости пока не очень много
Вот что случается с еврой на OOS

 

<i>У меня терминология МетаКвотовская: стратегия - это программулина, которая цепляется к терминалу, получает от него всю инфу (котировки, историю, значения индикаторов, текущие профиты, объемы открытых позиций, ...), анализирует все это добро и выдает приказы на исполнение ордеров.
НШДТ-ровским понятиям не обучен, поэтому что-либо вразумительное сказать не могу (((</i>
В нсдт проще все (она к МТ4 не привязана): МТ ей котировки, она ему - приказы. Статистику ведет независимо, на основании своих действий. Чего в МТ твориться, по большому счету не знает. Я не говорю, что нсдт лучше.

<i>Крепко запутался.
...</i>
Походу я не запутался. Терминология у нас разная. У них там на ломаном английском (т.е. американском), русским по белому: <b>Г</b>енетический<b>А</b>лгоритм - значительно более эффективный алгоритм поиска переменных, нежели... как его, метод полного перебора, что-ли. Экономит время, и менее склонен попадать в лок. минимумы. Применяется он, ГА, при поиске параметров входных индикаторов (и переобучении, соотв.) стратегии - набора правил, по-сути + весь необходимый обвес для "адаптирования" к рынку и торговли.

<i>ГА и бэкпроп - это алгоритмы поиска максимума/минимума целевой функции (ГА - глобального, но долго, а бэкпроп - локального, но быстро, но ему производные целевой функции по аргументам подавай). </i>
БэкПропэгэйшн - обратное распространение ошибки, кажется. Требуется учитель. Это у них сети такие. Чего-то в них своего внесли, якобы поэффективнее и адаптированнее именно к финансам (???), ничего про это нет, обзывается Турбопроп 2.
Там нет документации в нашем понимании, там хелп. Для примера: инструкция для советского телевизора и импортного ("проверьте, а воткнут ли шнур в розетку").

<i>Немного не в тему.
Кол-во примеров обучения у меня как-раз огромное - этим самым + небольшим размером сети пытаюсь уйти от "запоминания" обучающей выборки.
В каждом примере (входном образе) <u>осознано</u> подана информация, которая отражает лишь малую предысторию этого бара
На входах нет SMA(<b>D1</b>,100), максимум - это MACD(<b>M5</b>,89,144)</i>
Сам сказал, что по сути сетка не знает, что было вчера.

Безусловно, такие труды - уважуха полная. Жаль, что общих точек соприкосновения мало. Слишком уж "по-взрослому" ты копаешь. Я не в плане приколоться-поехидничать. Не зря ж написал, что такую эквити "нарисую" за 5 мин с помощью 1-го индикатора лед. Глобально, моя задача честным путем подобие леда и получить, что не отменяет мозговых усилий и кучи экспериментов. Да и далее много чего делать надо.

Осмелюсь таки спросить: в чем прелесть Опен вс Клоз, в особенности для автоматчика?

С уважением

 

Не по теме, но и не флуд. Для подумать. По поводу, матрешек, луковиц и пр. мироустройства.

<i>"Окончится война, все утрясется и устроится. И мы бросим все, что имеем: все золото, всю материальную мощь и оболванивание и одурачивание людей!

Человеческих мозг, сознание людей способны к изменению. Посеяв там хаос, мы незаметно подменим их ценности на фальшивые и заставим их в эти фальшивые ценности верить. Как? Мы найдем своих единомышленников, своих союзников в самой России.

Эпизод за эпизодом будет разыгрываться грандиозная по своему масштабу трагедия гибели самого непокорного на земле народа, окончательного и необратимого угасания его самосознания. Например, из искусства и литературы мы постепенно вытравим его социальную сущность; отучим художников и писателей – отобьем у них охоту заниматься изображением и исследованием тех процессов, которые происходят в глубинах народных масс. Литература, театры, кино – все будет изображать и прославлять самые низменные человеческие чувства.

Мы будем всячески поддерживать и поднимать так называемых художников, которые станут насаждать и вдалбливать в человеческое сознание культ секса, насилия, садизма, предательства – словом, всякой БЕЗНРАВСТВЕННОСТИ. В управлении государством мы создадим хаос и неразбериху.

Мы будем незаметно, но активно и постоянно способствовать самодурству чиновников, процветанию взяточников и беспринципности. Бюрократизм и волокита будут возводиться в добродетель. Честность и порядочность будут осмеиваться и никому не станут нужны, превратятся в пережиток прошлого. Хамство и наглость, ложь и обман, пьянство и наркоманию, животный страх друг перед другом и беззастенчивость, предательство, национализм и вражду народов – прежде всего вражду и ненависть к русскому народу, - все это мы будем ловко и незаметно культивировать, все это расцветет махровым цветом.

И лишь немногие, очень немногие будут догадываться или даже понимать, что происходит. Но таких людей мы поставим в беспомощное положение, превратим в посмешище, найдем способ их оболгать и объявить отбросами общества. Будем вырывать духовные корни, опошлять и уничтожать основы народной нравственности.

Мы будем расшатывать таким образом поколение за поколением. Будем браться за людей с детских, юношеских лет, и главную ставку всегда будем делать НА МОЛОДЕЖЬ – станем разлагать, развращать и растлевать ее. Мы сделаем из нее циников, пошляков и космополитов."


А. Даллес.
Размышления о реализации американской послевоенной доктрины против Росии</i>

После прочтения можно посмотреть, во что это дерьмо "обернуто".
Дискуссий вести не собираюсь - здесь др. тема

С уважением

 

К сожалению, по каждому пункту в лучшем случае - недопонимание, в среднем - полное непонимание, в худшем - отсутствие понимания своего непонимания. Прости, что так резко, но возможно, таким образом удастся простимулировать "копать по-взрослому". Объективно - сам все еще в песочнице ковыряюсь.
На днях просмотрел видеозапись семинара А.Герчика (кстати, рекомендую для промывки мозгов). Очень понравился прямой призыв к своим сотрудникам "Или въебывай - или yёбывaй". Извини за нецензурщину, но из песни слов не выбросишь. )))

Вопрос об Опен Клозе оставляю открытым - ибо это не самое главное.

P.S.
На время покидаю ряды пишущей братии форумчан.
Считаю, что свой долг Лёксусу и Ice'у я вернул - их посты подтолкнули меня к изучению нейросетей, в свою очередь я сделал все, что смог - поделился своими знаниями.

С уважением

 

Вопросов нет. Хочу надеяться, что появишься со стейтом. И чтобы в нем все было ОК. Ну а если у тебя песочница, то у меня - памперс в л.с. Копать простимулировал, но сперва попробую выжать нсдт.

С уважением ^drink

 

В дополнение к истине: нет у нас никаких друзей, кроме Советской Армии и Военно-
Морского Флота...
Есть ещё городок Эр-Рияд. Про жителей которого можно сказать, что можно увезти
чурку из кишлака, но нельзя увезти кишлак из чурки. И у жителей этих ОЧЕНЬ много денег.
И непонятно, почему устремления этих жителей не оговариваются так же открыто и
во всей полноте, как упомянутое. Детишки-унисекс, думается - насаждается во всём
христианском мире именно этими бесами. Радует только то, что как только кончится нефть,
то всё встанет на свои места. Они опять начнут мочиться с колен и вытирать зад песком,
как и было до недавнего времени. И что есть очень справедливо.

 

Тема ветки одна, а теперь пошел флуд.
По ходу, народ просто не может понять то, что получилось у yusha. А это реальные показатели!

 

Тема ветки вполне соблюдается. И мы тут не на заводе, чтобы план гнать. Думаю, что модыри не дремлют, тем более.

В случае, если Вы поняли, что же получилось у y-sha, то не вижу проблем: расскажите нам и всем будет только интересно. Даже если где-то Вы и ошибетесь в своих рассуждениях.

Вот Вам в помощь возможная канва:
1. Y-sha спец в своей области, т.е. в программировании всего и вся
2. Естественно, что пользуясь своим преимуществом, он залез глубоко в "дебри" (в самом хорошем смысле)
3. Думаю, что любой, кто серьезно интересуется темой, не отказался бы от подобной возможности и по вполне понятным причинам
4. Поделился своим видеием и опытом - большое человеческое спасибо
5. ИМХО, доказал, что нейросети дают существенное преимущество, причем наглядно
6. Кому надо, тот все понял
7. Думаю, что основная масса "почитателей" ветки, и меня включая тоже - не владеет подобными навыками. Это реальность и называется специализация. В своей области я тоже вполне могу много чего рассказать и так грузануть, что мало не покажется.
8. Посему выбор у нас (непрограммеров и "неслишкомужчтобыпрограммеров") не особо и велик: достичь "статуса" y-sha без отрыва от основной деятельности (время, и результат не гарантирован), бодаться с форексом с помощью теханализа (по определению Чарикара - топтаться вокруг да около (и опять же, без отрыва от основных дел)), попытаться разобраться и применить сети (что даст некоторое преимущество и без отрыва...)
9. Выбор на данном этапе не шибко велик - нейрошелл или подобное. Если подтянутся знатоки др. программ (БиоКомп, ТрейдингСолюшн, кто-то, кто шарит в Статистике с нейромодулем и пр.) - я лично буду очень рад.
...
Посему, прошу Вас просветить общество и желательно в этом ключе

 

<i>"А вот какие алгоритмы использует НШДТ я так и не понял ((...Кто бы "на пальцах" рассказал ?" </i>
Не знаю, правильно ли понял вопрос, но напишу. В НСДТ в хелпе визуально показывается как обучается их нейросеть. Так вот, сначала данные со входов на прямую подаются на выход, затем идет проверка целевой функции (в хелпе вроде показывалась минимизация ошибки), после проверки добавлялся нейрон и все по новой. Самое интересное, что нейрон добавляется не в рамках какой то структуры, а по какому то другому принципу, например на одной "ветке" от вх. к вых. может быть 3 нейрона, а на другой только 1. Целевая функция выбирается в предишене из: начиная от минимизации ошибки до максимальной прибыльности (для такой цели обучения в предишене специально сделана простенькая стратежка по принципу торговли по осциллятору).

 

Привет Федор.

<i>"А вот какие алгоритмы использует НШДТ я так и не понял ((...Кто бы "на пальцах" рассказал ?" </i>
Не знаю, правильно ли понял вопрос, но напишу. В НСДТ в хелпе визуально показывается как обучается нейросеть, довольно интересно. Целевая функция выбирается в предишене из: начиная от минимизации ошибки до максимальной прибыльности.

Дык в этом тоже заковыка произошла. Возможно, что человек расчитывал на взаимопонимание на <u>его</u> уровне, а к сожалению - облом-с. Также к сожалению, понять позицию другую не стремится, наверное, или не хочет. Как ты алгоритмы и пр. сетевую специфику не назови - смысл не меняется, для меня лично. Всегда подчеркиваю это "лично". Либо все это по итогу приносит доход, либо - не приносит. Очевидно, что такой его подход должен привести к выдающемуся, надеюсь, результату, но цена... для меня лично - неподъемная. В плане времени и обретения необходимых знаний-пониманий-умений, а у ю-ши вся база в наличии (с 80-х темой владеть!). С другой стороны: неудобно смотреть когда эта ветка стартовала (чтобы прикинуть, когда он начал сетками интересоваться) - и где выхлоп? Так я хоть таких усилий не прилагаю... и расстраиваться буду меньше, наверное. На зубок: программирование, сети, форекс - куча всего и все на серьезном уровне. Как обычно, просто стараюсь рассуждать. К Йух-хансону оппонента посылать - смысл?

<i>Флуд для увеличения стимула стать успешными спекулянтами.</i>

Флуд - если он вдруг кому-то поможет имеет право на жизнь, имхо. Обычно, в приличном обществе, флудеров модерят, банят... канделябром опять-же можно. Пока вроде все ровно.
С другой стороны посмотреть: кто-то из "реальных пацанов" ожидает того, что пренепременно тута дождь денежный прольется в виде неубиваемых и волшебных нейростратегий? Думаю, что нет. Так, с шутками и прибаутками крадемся потихоньку, а по серьезу - я для себя некоторые вещи нужные уже нашел.

<i>Из размышлений господина А. Даллеса можно сделать вывод, что к понимающим происходящее относятся люди с философским отношением к жизни, а связавшись с форексом по неволе становишся философом.</i>

Мой вывод проще: бонбу им в дупу, и побольше. А так да - выживание. ГА в масштабе планеты. И бонба нам в этом поможет.

Расскажу прикол из серии "стимулирующего флуда".
Блин, много пукв. Короче, для себя неожиданно, среди своих знакомств нашел человека, реального трейдуна и моего хорошего товарища (теперь внимательно, ибо завуалировано), который торгует себе по-маленьку (не форекс правда) и живет себе в ТОМ, что с торговли заработал... Я впечатлился. Ну чтобы марку не терять, ля-ля-тополя..., а он про сетки и не духом. ПОговорили и порешили повстречаемся за чашечкой (моего ноутбука): я ему про сетки, а он мне про реал-трейдунство. Круть.
Еще человека нашел, точнее - человеку, ибо женщина. Лет на 20 меня старше, со старой фирмы - оказалось, что она этими сетями (а уровень там о-го-го) владеет соответственно - и программит их и готовит и на стол подает. Эт вам не на пентюхах 4-5..10-х три нейрона гонять, а на БК-шке (кто помнит) - 133. Круть.
Буду общаться, образовываться.

С уважением

Добавлю, чтоба по-честному было: спасибо y-sha, что натолкнул на мысль знакомства поискать ^friends^
Что-то товарищ парой постов выше не спешит поделиться своими знаниями... а я так хотел послушать про реальные результаты - ууу скромник противный

 

Задам вопрос: а какой в этом смысл? "Свежесть" данных легко регулируется при ретрейне, правильно?

Что-то подобное пробегало мимо, давно. Смысл был в том, что чем "историчнее" данные, тем больше они загрубляются (ну как будто издалека дневные бары, ближе к "сейчас" - мельче и мельче). Как то так.
Вот только смысл я не улавливаю: разве возможно заставить сеть запомнить-анализировать тенденции (тренды) и на основании этого улучшить кач-во предсказания сигнала-учителя?

У меня сейчас более банальный вопрос в процессе. Из стандартных собрал прикольный индикатор. От -100 до +100 примерно, но главное, что достаточно гладкий. Похож на "синусоиду", только еще период меняет немного и амплитуду.
Проверил в стратегии с ледом - все радует, и прибылюха и дродаун. Попробовал предсказать на 3 бара - тож вроде неплохо. А стратегия на нем - еле-еле душа в теле. Вот думаю, чего не хватает. Засада в том, предсказание в основном визуально устраивает, условия-правила для стратегии А<В и А>В, что не жестко, как кроссовер и дает диапазон для настройки ("внутри правила") стратегии... чего-то нехватат

 

Вот смотри. EMA и SMA. EMA получше будет, а в ней как раз последним данным уделяется больший вес.
А теперь представь процесс обучения сетки по уменьшению ошибки при равной значимости всех данных. Прошелся 1 цикл по всем данным и, предположим где то в начале (хронологически) ошибка очень большая, а в конце все здорово (скажем резко изменилась ситуация на рынке). И вот программа будет пытаться уменьшить эту ошибку, в результате скорее всего получится что то среднее. А теперь представь, что более свежим данным уделяется больше внимания. Тогда та самая ошибка будет почти полностью проигнорирована.
Что натолкнуло на это дело. Допустим сеть обучилась правильно, но не смотря на это ее выход постепенно сползает, то есть чем дальше от сейчас, тем хуже результаты. А почему такая закономерность должна быть только при удалении в будущее? Скорее всего она есть и при удалении в прошлое.

 

Да я и не спорю. Надо подумать тож. Но:
1.Цена вопроса. Один из лучших индюков - Чарикаров жма. Соль его - мах. гладкость при мин. задержке. Т.е. надо, по-крайней мере сравнить "геометрию".
2. Опять же Чарикар - практик. Есть ли смысл париться на 60-100 бар обучения при получении достаточного качества на 50 бар? Ретрейн не зря ж придуман (может быть, что отказаться от него просто невозможно в силу ряда причин?). По-другому: сможет ли эта "хитрость" отменить ретрейн, уменьшить его периодичность, увеличить качество (кстати, внятных инструментов для сравнения результатов у нас нет, ну кроме как тупо отчеты крыжить, а хотелось-бы и графически)? Пример: Минимиз Эррор = 36,3 (катастрофа!) а на графике почти тютя в тютю и Сижн аж 96-98% - чему верить? Не постиг я еще многгих моментов. Сформулируется в голове - выложу пачкой.

Не там не столько ложные входы, сколько сигналы съехали относительно модели на леде. Причем съехали даже в тех местах, где предикшн сигнал (визуально) ну точь-в-точь как лед и съехали они в сторону более позднего открытия, вот. ????????

Напомню, что воюю со стратегией, а не "торгующим" предиктом

С уважением