• Для тех, кто не изучал их в университете, я сначала напомню теорию – что это такое, для чего это надо.
• Мы рассмотрим, какие задачи с их помощью можно решать в 1С.
• И в конце для тех, кто любит что-то делать руками (работать, программировать), мы разберем, как по факту собрать нейронную сеть или генетический алгоритм в 1С – что написать в коде и как это потом применить.
Что такое «Нейронная сеть»?
Что мы себе представляем, когда слышим термин «Нейронная сеть»? Наверное, мы представляем себе какой-то искусственный интеллект, что-то такое уникальное, вроде персонажей, изображенных на слайде (в зависимости от того, кто какие фильмы в детстве смотрел).
Реальность же вообще такова, что все намного проще. Конечно, не все так однозначно, потому что уже сейчас есть такие понятия, как глубокие и самообучающиеся нейронные сети, на Youtube уже кошечек научились распознавать – но по факту, это все еще на уровне экспериментов, и явно не для прикладных задач. Поэтому мы поговорим о нейронной сети, которая более типична.
Итак, что такое нейронная сеть? Это некий Black BOX – система, которая позволяет из совокупности входящих данных что-то получить на выходе. Но для этого ее сначала нужно обучить – дать ей соответствие того, что поступает на вход, и того, что она должна выдать нам на выходе. И после того, как нейронная сеть обучится, она сможет нам выдавать данные на выходе уже автоматически.
Для чего все это нужно? Главное преимущество нейронной сети в том, что она не содержит в себе алгоритма. Она позволяет вам не думать, не анализировать закономерности, не писать алгоритм, а просто подстроиться под статистические данные.
Внутри нейронной сети будет что-то похожее на рисунок на слайде. Сначала я хотел это детально разобрать, объяснить, что такое нейрон, связи, веса связей, какие есть функции активации, архитектуры нейронных сетей, но потом решил, что нам сейчас это неважно. Об этом написано много научных работ, это изучают в институтах. А нам сейчас надо просто понимать, что нейронная сеть – это некая структурная модель, имеющая входы и выходы, а нейроны – это некие сущности, между которыми есть связи разного веса, и в процессе обучения просто происходит подстройка этих весов связей. Это – то же самое, что и у вас в голове: у каждого нейрона есть свой импульс – один может быть более возбужден, другой – менее возбужден, и поведение этих нейронов в модели зависит от того, какой вес (больший или меньший) имеют их связи.
Здесь важно то, что нейронов в нейросети может быть много, даже несколько слоев. В простейшем случае вы можете собрать нейронную сеть из одного нейрона, у которой, к примеру, будет два десятка связей. Она, например, может работать, как линейная функция – рисовать прямую или что-нибудь в этом роде. Если в сети будет уже два-три нейрона – вы получите уже нейронную сеть, которая будет аналогом линейной регрессии. Наверное, большинство из вас знает, что это такое – пользовались когда-нибудь линейной регрессией в Excel. В принципе, нейронная сеть в простейшем виде – это аналог линейной регрессии, некоторая модель, которая позволяет вам найти и продолжить ряд чисел, зависимостей. Только простейшая нейронная сеть будет выдавать уже намного более качественный результат, чем просто линейная регрессия. Плюс нейронная сеть, конечно же, сможет выявлять такие зависимости, которые вы сами не увидите, и ни за что в жизни о них даже не догадаетесь. А линейная регрессия, конечно же, этого не может.
Тем не менее, есть вопросы, на которые нейросеть дать ответ не сможет. Например, ее бесполезно спрашивать «Сколько вешать в граммах», потому что здесь по факту работает только вероятностная модель – всегда есть некоторое приближение и аппроксимация. Грубо говоря, если вы при помощи нейронной сети нарисуете параболу или синусоиду, то визуально вы на графике отклонений не заметите, но если вы рассмотрите каждую точку детально, везде будет небольшое расхождение – точный x2 вы нейронной сетью практически никогда не получите.
Что мы, как правило, думаем о нейронных сетях?
- Мы думаем, что нейронная сеть – это сложно. На самом деле, нейронная сеть – это реальная возможность для «халявы». Она позволяет вам не решать задачу, а просто взять и использовать для получения результата статистические данные. Не надо детально разбираться в вопросе, строить полноценную математическую модель – это не усложнение, это скорее, для тех людей, кто стремится решить задачу, не разбираясь в том, как она решается.
- Далее – как правило, нейронная сеть у нас ассоциируется с распознаванием голоса, образов, такими программами, как FineReader, GoogleVoice и т.д. Это лишь потому, что эти задачи без нейронной сети по-другому решить не получится. Но вообще нейронную сеть можно использовать для решения любой задачи, где есть какая-то накопленная статистика, входы и выходы, любые задачи, где применима линейная регрессия. Например, задача распознавания паттернов, аппроксимации функций, любые другие задачи, имеющие на входе модель – все это решается при помощи нейронных сетей.
- Математика. Да, нейронная сеть – это математическая модель, составленная на языке C++, но вам не придется писать этот код C++ самим. Есть удобные конструкторы: несколько кликов, и вы получаете готовую нейронную сеть.
- Ну и, конечно же, нейронная сеть не для 1С. Но я, тем не менее, здесь, и моя цель – убедить вас в том, что 1С прекрасно может работать с нейронными сетями.
Практическое применение нейронной сети для решения бизнес-задачи
Рассмотрим самый главный слайд, который я хочу сегодня показать – это типовой пример применения нейронной сети, типовая ситуация, в которой все хоть раз в жизни бывали.
На примере начальник вызывает программиста и просит, к примеру: «Хочу знать, где у меня много посетителей и мало продаж». Допустим, это розничная сеть, количество посетителей в каждом магазине фиксируется, и начальник хочет знать, какие магазины плохо работают.
Программист говорит: «Ок, завтра будет такой отчет». Конечно, обычно программист говорит по-другому: «Это очень сложно, мне нужен аналитик, опишите мне задачу подробнее, напишите ТЗ» – все этим так или иначе занимались, я сам лично этим все время занимаюсь. Но у нас другой программист, он владеет нейронными сетями, поэтому он сразу соглашается.
Проходит неделя, начальник опять вызывает программиста и говорит: «Твоя программа не работает, она не учитывает, какие продажи были проведены по акции. Если у нас в магазинах была акция, там, конечно, количество продаж увеличилось, но это не значит, что они хорошо отработали, это значит, что мы там просто цены снизили. Почему ты это не учел?»
Программист говорит: «Извините, виноват, через час переделаю». Конечно, на практике мы говорим: «Мне придется все переписывать, я не смогу учесть эти изменения». Но в данном случае будет не так: программист просто добавляет в свою выгрузку новую колонку, обучает нейронную сеть и предоставляет начальнику новый отчет.
Проходит еще неделя. Начальник опять вызывает программиста, говорит: «Ты опять накосячил. У нас каждый сезон посещаемость меняется, и к тому же по выходным совсем другая статистика – нужно учитывать еще и день недели и месяц». Обычному программисту дать на это ответ очень тяжело – я бы потерялся. Но наш программист говорит: «Да вообще не вопрос, дай мне еще часик, и я все сделаю». Добавляет в ту же модель дни недели и месяцы, переобучает нейронную сеть и получает новый вариант отчета.
На это начальник сможет только удивиться: «Как ты это делаешь?» А программист ответит: «Это секрет».
Эта картинка очень важна. Потому что программист не разбирался в задаче, он не понимал, как ее решать, не строил алгоритмов, начальник ему ничего, кроме простых примеров, не объяснял и не собирался объяснять. У программиста просто была статистика в базе, из которой он, не прибегая ни к каким аналитикам, построил модель и дальше использовал ее в отчете.
Это достаточно типовой пример использования нейронной сети для решения бизнес-задач. Где это можно еще использовать? Прогнозы ДДС, задачи бюджетирования, любые прогнозы на основании истории, любые получения из одних чисел других.
Давайте еще раз акцентируем внимание на том, что программист в итоге делает:
- Сначала он определил входы:
- В нашем случае это количество посетителей в магазинах.
- Потом туда добавляется еще наличие в магазинах акций;
- Дни недели;
- И месяцы. Всего получается четыре колонки.
- Дальше он сопоставил входам выходы. Выходы у нас – это продажи по магазинам в разрезе каждой совокупности дополнительных условий. Получился элементарный отчет, который, я думаю, сможет написать любой из тех, кто хоть как-то связан с программированием.
- А дальше он просто обучил нейросеть.
- И использовал ее результаты для решения задачи.
Что такое «Генетический алгоритм»?
Начнем следующую тему, поговорим про генетический алгоритм.
Здесь изображено то, то мы обычно представляем себе, когда думаем о генетических алгоритмах. Кажется, что это что-то такое сложное, как спираль ДНК, где различные атомы связаны друг с другом.
На самом деле, все опять достаточно банально. Генетический алгоритм – это некий алгоритм, в основе которого пять шагов, и пишется простейший генетический алгоритм минут за 15. Слайд в принципе, все это полностью иллюстрирует.
Здесь мне, наверное, стоит только рассказать, что такое особь, популяция и селекция.
Особь – это любой набор параметров, который у вас есть. Что это такое, я объясню на примере типичной задачи коммивояжера. Наверное, все более-менее знают, что это такое – это когда логисту нужно построить маршрут объезда неких точек и на выходе получить порядок объезда этих точек. В этом примере, окончательный или промежуточный порядок обхода точек – это и будет одна особь.
- Сначала генетический алгоритм генерирует этот порядок случайным образом – точка 1, 2, 3, 4, 5, 6 и т.д. Этот первый этап называется созданием начальной популяции.
- На следующем этапе происходит скрещивание особей – меняется порядок точек 3, 2, 1, 6, 5, 4 и т.д. Подробнее о том, что такое скрещивание, я покажу на следующем слайде. Или происходит мутация – замена одного параметра на произвольный для того, чтобы появлялись новые особи, а не только выбирались из существующих.
- Далее происходит селекция – из двух особей нужно выбрать лучшую. Селекция – это ключевая тема. Почему она так важна? Потому что 99% времени работы над генным алгоритмом скрыто именно вот здесь. Но это не сам генный алгоритм – это программируемое вами решение задачи.
- Потом из тех особей, которые мы отобрали, формируется новое поколение. И вы его проверяете – достигнута цель или нет.
- Причем, целью необязательно будет поиск наилучшего маршрута, вы можете поставить цель найти наиболее оптимальный вариант за выбранное время. Например, весь этот поиск может длиться 4 часа, а вам нужно найти решение за 15 минут. Так вот тот лучший маршрут, который вам система успеет выбрать за это время – это и будет ваш результат. Либо вы можете поставить условие – стоимость проезда меньше миллиона рублей. Либо что-то еще. И та результирующая популяция, к которой мы придем при достижении этого условия, и будет содержать в себе окончательную особь – результат вашего поиска.
Как выглядит скрещивание?
Берут первый и второй вариант объезда точек, и дальше его просто скрещивают – берут что-то из первого, а что-то из второго.
Здесь показано три варианта скрещивания – ничего хитрого здесь нет. Просто перемешиваются различным образом наборы параметров, получая новые.
Селекция – это уже интересно. Вам нужно выбрать самую лучшую особь, и эту задачу вам придется решить уже полностью самим. Например, если вы выбираете кратчайший маршрут объезда, вам нужно будет посчитать, сколько времени займет маршрут при таком наборе входящих параметров. Причем, это задача не генетического алгоритма, это задача, которую вы должны решить самостоятельно. Здесь нужно посчитать целевые функции по набору параметров и сравнить их между собой.
Задача селекции занимает до 99% всего времени выполнения генетического алгоритма. Как правило, задачу селекции нельзя отдать во внешнюю систему, поэтому она выполняется в той системе, которую вы оптимизируете.
Вот иллюстрация задачи коммивояжера. Все, наверное, так или иначе, сталкивались с системами управления грузоперевозками TMS (Transport Management System). В них как раз можно посчитать эти кратчайшие маршруты, причем генетический алгоритм туда заложен в 95% случаев – если нет, то это, как правило, плохая TMS-система. Я в своей практике тоже один раз написал для такой задачи генетический алгоритм – он в 5 раз ускорил нахождение маршрута, при этом качество прокладки маршрутов также улучшилось.
У генетических алгоритмов также есть свои минусы. Наверное, вы уже догадались, что точные установки результата в них невозможны. Генетический алгоритм не гарантирует, что он выберет лучшее решение. И если генетический алгоритм после четырех часов работы нашел вам какое-то решение, вы не можете быть уверенным, что оно – лучшее, возможно, найдется и более быстрый маршрут проезда. Генетический алгоритм гарантирует только то, что это решение лучше, чем другие, при выборе данных в такой последовательности.
Технологии для построения нейросети
Вернемся к нейросетям – теперь уже с практической стороны. Рассмотрим, что нужно, чтобы использовать их в своем коде.
Сначала нужно выбрать инструментальное средство. Я в свое время выбирал из трех. Не будем спорить, что лучше, каждый выбирает средство по своим личным предпочтениям:
- Есть языки высокого уровня, которые позволяют решать различные задачи.
- Если вы умеете что-то писать на C++ – можно использовать его для построения нейросети.
- Также можно найти много информации по построению нейросетей на Python – этот язык классически используется для сложной алгоритмики.
- И есть язык R – это язык математики, который так же, как и C++, используется для математических вычислений.
- 1С – это, естественно, наш основной инструмент.
- И Matlab – инструмент, который для этих целей применяется, наверное, чаще всего.
Быстродействие:
- Если мы напишем нейросеть на C++ или на Python, она будет работать чуть-чуть быстрее, чем та, которую мы получим из Matlab, но в целом оба класса инструментов позволяют очень быстро получать результат, потому что в Matlab тоже компилируемая библиотека.
- В 1С, к сожалению, все очень медленно работает. К тому же, если написать нейросеть на 1С, ее придется очень долго обучать – от нескольких часов до нескольких дней.
Скорость разработки:
- На 1С, конечно, быстро разрабатывать, но писать нейросеть придется руками.
- В Matlab есть уже готовые средства визуальной разработки.
- На R или Python есть свои библиотечки, но писать придется тоже руками.
Функциональность:
- Языки R и Python лидируют по функциональности для написания нейросетей, потому что они используют специализированные библиотеки – очень мощные и серьезные.
- В Matlab функциональность по созданию нейросети чуть-чуть уступает, там нет самых последних, самых крутых нововведений, но большая часть функций (20 видов нейронных сетей) там есть.
- А в 1С вам доступно, конечно, только написание простейшего перцептрона и его обучение.
Вывод понятен – я выбрал Matlab.
Использование Matlab для разработки нейросети
Matlab генерирует библиотеку на .NET, дальше мы эту библиотеку используем в 1С – в этом нет ничего сложного.
Как это сделать в Matlab?
- В Matlab есть замечательная кнопка Import Data – она понимает любые форматы – текстовые, csv, xls – в 1С я бы мечтал о такой функции. Импорт очень простой – он разберет файл любого формата, покажет, какие в нем есть колонки, вы выбираете те, которые вам нужны, нажимаете «Записать» – выбираете, что хотите импортировать в матрицу, и он вам это импортирует в свой воркспейс. Matlab всегда работает только с матрицами – там нет никаких переменных, никаких чисел – вообще ничего.
- Дальше вы в командной строке пишите волшебное слово nftool – запускается мастер создания нейронной сети.
- Разобраться с этим мастером проблем не составляет – это все «гуглится». Единственное, что нам нужно будет выбрать из того воркспейса, куда вы импортировали – это:
- Входы (Data), на которых нейросеть должна обучаться (в нашем случае, это будет количество посетителей, месяц, день и наличие акции)
- И итоговые величины, выходы (target) – будут соответствовать продаже магазина.
- Далее там будет кнопка Train, которая запускает обучение нейросети. Можно выбрать метод обучения, но, как правило, все, что Matlab выбирает по умолчанию, в наших случаях будет верно, только для каких-то серьезных задач там нужно будет выбирать особые параметры. Процесс обучения обычно занимает 5-10 минут.
- После этого у вас появляется окошко, где есть кнопка для генерации Matlab Function – вы получаете функцию на языке Matlab.
- Далее в консоли пишете еще одно волшебное слово – deploytool. Это специальный инструмент для того, чтобы сделать саму dll. Здесь тоже ничего сложного и хитрого нет – выбираете функцию, которую будете превращать в dll, называете ее так, как вам нравится, выбираете, что это будет .NET Assembly (сборка .NET). Единственное, что здесь стоит прокомментировать, что версии Matlab бывают x86 и x64. Соответственно, если вы хотите использовать эту dll на сервере, значит, используйте x64, а если на клиенте, то выбирайте x86. Либо вам придется идти на различные хитрости, вроде COM+ оберток и т.д.
Если кто-то захочет разобраться с тем, как нейросеть делается в Matlab – это реально «гуглится» за минут 5-10, там проблем нет.
Использование библиотеки нейросети в 1С
А с 1С все немного сложнее. Дело в том, что Matlab очень плохо работает с COM-объектами, он генерирует не полноценную COM-библиотеку, которую можно использовать в 1С – он подразумевает, что библиотека на входе должна получать какие-то параметры, а с такой библиотекой 1С работать не умеет. Поэтому лучше использовать .NET сразу, да и регистрировать его каждый раз не нужно. Для этого случая на Инфостарт есть замечательная публикация //infostart.ru/public/238584/ – «Использование .NET сборок в 1С». Большое спасибо программисту – мы не раз ее применяли.
Как это работает? Даже если вам не интересно знать про нейросети, сейчас .NET – очень популярный язык, на нем много пишут, поэтому будет полезно научиться использовать его в 1С.
На слайде вы видите пример использования нейросети в 1С. Кода тут 3 строчки – остальное комментарии:
- Создается объект-обертка NetObjetToIDispatch45.
- Далее загружается сборка – это та dll, которую вам генерировал Matlab. Важный момент – эту сборку даже не надо регистрировать. Вы можете этих нейросеток создавать хоть десятками, а потом в коде просто меняете одну строчку, и у вас загружается одна сетка, другая, третья, четвертая. В моем случае это был СКД-отчет, в котором когда пользователь выбирал вариант отчета, у него подгружались разные варианты dll. А сам код отчета, что самое интересное, был один и тот же.
- Потом создаете тип нейросети – когда вы деплоили функцию, вы указали класс, и название самой библиотеки – их и нужно сюда написать.
- Следующим шагом создается массив данных – объект нейросети. Здесь есть небольшая сложность – как я уже говорил, Matlab работает только с массивами, причем только со своими массивами – эти массивы называются MWArray. Для них есть отдельные сборки, и когда Matlab создает сборку dll для деплоя, он рядом помещает библиотеку MWArray.dll – поэтому ее найти не проблема. Но для нас главное, что ее тоже нужно загрузить, чтобы получить тип матлабовского массива.
- Обратите внимание, что массив мы будем создавать на основе обычного массива COMSaveArray – кто в 1С работал с COM-объектами, тот понимает, что если вы передаете массив в COM-объект, то надо создать не 1С-массив, а массив COMSaveArray, чтобы у вас не дай бог ничего не вылетело. Итак, мы создаем массив (здесь у меня единички – это количество строк и колонок).
- Наконец, передаем этот массив внутрь нейросети
- И получаем результат.
Строчек кода получается совсем немного, но дальше на основании этого шаблона вы можете делать любые вариации – допустим, у вас будет не один элемент, а 10 (если у вас 10 входов было).
Технологии для генетических алгоритмов
Теперь несколько слов о практическом применении генетического алгоритма.
Поскольку наша прикладная задача находится в 1С, а основная тема генетического алгоритма – это селекция, следовательно, ни Matlab, ни R, ни C++ мы для генетического алгоритма использовать не будем. Для того чтобы нам выбрать лучшую особь, нужно использовать ту логику, которая заложена в 1С, соответственно, нам нужно использовать генетический алгоритм непосредственно в нашем 1С-ном решении.
Генетический алгоритм – это очень просто: там нет структурных вычислений, нет какой-то нереальной логики, нет математики. Вам достаточно написать 10 строчек кода: выбрать лучшую особь и сгенерировать случайным образом популяцию – это все, что нужно для нормальной работы генетического алгоритма.
Код 1С я здесь даже не привожу, потому что он будет у каждого свой – нужно просто запомнить последовательность действий.
***************
Данная статья написана по итогам доклада, прочитанного на конференции INFOSTART EVENT 2024 DEVELOPER. Больше статей можно прочитать здесь.
В 2024 году приглашаем всех принять участие в 7 региональных митапах, а также юбилейной INFOSTART EVENT 2024 в Москве.
Related Posts
Получение логина и пароля техподдержки 1С из базы
Класс для вывода отчета в Excel
Счет-фактура для УПП
Библиотека классов для создания внешней компоненты 1С на C#- Акт об оказании услуг (со скидками) — внешняя печатная форма для Управление торговлей 11.1.10.86
Прайс-лист с артикулом в отдельной колонке
ничего про нейронные сети не понял, но за труды держите звезду.
Вот на пример кода 1С было бы весьма интересно взглянуть. Если вам не затруднительно, может добавите в статью?
(2) Не, не пришлю… стыдно, да и конкретная там транспортная задача решается будет особо ниочём
ндааа, интересно бьло бы подетальнее в 1С увидеть.
Вот делаем выборку для создания/обучения
Вот когда используем сеть, то делаем еще выборку…. ээээ?
А что мы тогда вначале выгружали?
Не прозрачно, как в работе выглядит использование сети.
Пример с правильным программистом не внес ясности.
Лучше бы вместо красивостей изложения задачу этого программиста детально рассказал.
После каждой реплики начальника, программист куда-то уходит и что-то делает.
Да что он там делает-то??
Как и всегда на конференциях многа слов и ничего полезного.
Пойду гуглить, и зачем тогда статью читал?..
Я вот то же не особо понял прикладную часть. Ну нейросети… ну классно. А что там в итоге на практике получилось? Какая задача была решена, какой эффект, сравнение с другими способами…
А то получается нейросети, ради нейросетей….
Хорошая статья, сложная тема, так понятно описана. Поставил звезду. Спасибо
Давно искал подобную статью где разжевали на эту тему. Лови зеленку
МатЛаб, 1С… Нет бы, свой микросервис написать с нейронкой на tensorflow. Прокачать скиллы в современных технологиях, практической ценности в машинном обучении в задачах, которые на 1С решаются, пока не видно.
для начинающих советую книгу по нс
конечно основной массе 1с-ников нужен сквозной понятный пример
матлаб стоит от 200 т.р. те для разовых задач уговорить купить руководство сложно
может с ценами на мат лаб и ошибаюсь
для версии home — цена терпимая
(9)
Ну есть же библиотеки для C++ и прочего. Суть сети — это линейная алгебра . Фактически строится матрица состояний, а потом для входящих данных производится некая sign-функция, сопоставляющая матрицу состояний с входящими данными для получения некоторого элемента N, который очень походит на входящий. Т.е. мы берем эти четыре параметра и получаем такой искомый элемент входа, на который данная комбинация максимально похожа. Это в таком примитивно упрощенном варианте. Т.е. если у нас на входе посетители, день недели, месяц и продажи, то зная, что мало продаж — это что-то ниже какого-то среднего, а много продаж — выше, мы получаем некую оценку «много/мало» (можно и «средне по больнице») на основании этих показателей. По-сути, тут как раз нейросеть и не нужна особо, но для примера вполне пойдет.
Статья — введение во введение 🙂
Для тех кто хочет поглубже копнуть, рекомендую книгу.
(2)
А в чем сложность написать код? Все же и так разжевали: генерите рандомом первую популяцию, вызываете функцию нахождения лучших «особей», отвечаете на вопрос, есть ли среди них достаточного уровня перс. Если есть — ура, угадали с первого раза, если нет — вызываете функцию скрещивания, порождая новых персов из старых данных (у одного ребенка тут может быть и больше двух родителей). Дальше снова пункт 2. Если в течение энного количества итераций не находите улучшений, а достойного перса все нет, то вызываете функцию мутации популяции, где какой-то процент генов меняются на новые. Ну и так до победного конца.
(4) э… для нейронных сетей же есть пример…. Я даже не знаю что ещё можно добавить
(5) Ну задача в частности решалась прогнозирования финансовых потоков… по понятным причинам конкретный пример выложить не могу :).
Да ещё и не знает же никто что там нейронная сеть работает 🙂
(8)
Ну это из пушки по воробьям… :). Для задач обычной регрессии оно конечно не нужно.
(10) Ну если говорить о покупке оно конечно того не стоит, есть прекрасные библиотеки для phyton и R. В основном вопрос удобства + 2-3 дня на освоение от дружественного матлаба.
(11)
Ну всё-таки от линейной регрессии даже тут будет намного лучший результат..
(15)А на сколько точно прогнозирует? Я думал над тем что бы сделать прогноз продаж для прогнозирования потребности в товарах. Но что то руки не доходят… 🙂
(13)
Да там все еще проще, чувак,
Открываешь 1С
гуглишь матлаб
жмешь кнопку и все
начальник доволен
и правда, о чем весь сыр-бор ))
(14) Ваш пример ничего не показывает и не объясняет.
Гораздо полезнее было бы этот пример изложить в таком виде:
— У меня есть такой набор данных.
— Хочу, чтобы мой отчет выдавал такие вот данные
— Ага! Для этого мне понадобится нейросеть
— Готовлю для создания/обучения сети вот эти данные
— Дальше создаю нейросеть
— Объясняю, что теперь может делать эта нейросеть
— Показываю, в 1С подаю на вход нейросети такой вот набор данных,
— Объясняю что этот набор данных отличается от набора для обучения (или не отличается и почему)
— На выходе получаю нужный набор данных в отчете.
— В конце читателю должно быть кристально ясно, КАК работает нейросеть для решение именно ЭТОЙ задачи
— А также понимание того как читатель сможет сделать и применить нейросеть для своих задач, если захочет
— Должно быть понимание того, что нейросеть пережевала данные со входа на выход именно таким образом потому что мы ее обучили на этих данных
Пока что после вашей статьи я, как тупой читатель, смогу только вашим микроскопом листок на столе придавить, чтобы ветром не сдуло.
Ваша цель чему то научить или похвастать?
«Для тех, кто не изучал их в университете, я сначала напомню теорию – что это такое, для чего это надо»
А те кто изучал ИИ в институте заметили, что очень поверхностный обзор, нейросети есть разные и применяются для разных задач.
Уже отметили в комментариях, что далеко не у всех есть Mathlab, и не дешевое это удовольствие.
(19)
зависит только от вашей фантази… ну и от фазы луны пожалуй :).
Если серьёзно, то очень много влияющих факторов, «средняя температура по больнице» будет. Достаточно знать что точно НС прогнозируют лучше чем линейная регрессия… даже для приводимых к линейным задач. В некоторых случаях векторные машины или деревья решений могут давать лучшие результаты, но не угадаешь.
(21)
Слушайте, ну таких видео полный ютуб… я как то не хочу быть попугаем…
Потому что потом найдётся другой человек, который будет кричать «баян» и обвинять в «копипасте» :)))
пример как это использовать в 1С я показал.
Если бы я мог это рассказать был бы уже Нобелевским лауриатом
(22)
Да, это так.
(24) Пасиб, ткнул в начало… у меня конечно код ГА был такой что не выложишь 🙂
(23)Я понимаю что разные инструменты дают разную точность.
На практике какой точности удалось добиться? Например программа прогнозирует что на следующей неделе поступит 100500 млн мексиканских пессо. А на деле через неделю смотрим и видим что пришло только 100100 млн мексиканских пессо?
На сколько у вас прогноз с фактом сходится?
Иногда на досуге почитываю по ML. В тестовых примерах погрешность в 8-10% считается удовлетворительной для учебных задач.
(28) На практике сталкиваешься с ошибкой построения хромосом. Например, применение ГА для поминутной оптимизации производственного плана, на первом этапе показало, что посчитанный производственный план нереален, так как:
1. в хромосому необходимо было заложить время на транспортную операцию
2. не была учтена задержка времени реакции рабочих на следующий пункт плана
3. оценочная функция не учитывала ограничение по складским площадям для хранения полуфабрикатов
(29) Я спрашивал не про ошибки построения хромосом. А про то какие результаты получили на практике….
(30) На практике:
1) Неудовлетворительный результат для решения задач прямолинейного раскроя
2) Неудовлетворительный результат для решения задач оптимизации производственного процесса
3) Приемлемый результат для решения логистической задачи доставки товаров грузовиками
(20)
Открываешь 1С
гуглишь матлаб
С учетом того, что я описывал генетический алгоритм, Ваш ответ смотрится странно…
А смысл обучать на 1с?
можно сеть сделать на питоне, вычислить веса и перенести в 1с….
хотя 1с это не для нейронных сетей, так как точно не будет поддержки гпу.
(9) не советую читать книги позднее 2016
все кардинально изменилось.
сейчас нейронная сет с батчнормализацией, регуляризацией, с релу, модулем внимания, «мечтаниями» и прочими радостями обучается в десятки раз быстрее и лучне
вообще идеально было бы реализовать компоненту вызова питоновских функций.
(33)
Читайте статью… обучать на 1С бессмысленно — обучаем на матлабе
(35) Баян
(34)
Интересно что же такого изменилось в алгоритмах обученния и логике построения обычных НС? По-моему уже лет 20 одно и то же. Глубокие НС шагнули вперёд, но не принципами, а появляением новых архитектур….
(32) Вы именно так и «описали» этот генетический алгоритм. В смысле так же понятно как и я.
Вы в теме, я — нет.
Ваше «описание» для тех, кто не в теме (для меня) выглядит именно так — непонятно.
Порождает еще больше вопросов.
(25)
а зачем статья тогда? конференция все дела? что нужного и полезного эта статья по-вашему несет?
(23) Олег так не расскажите на сколько в итоге план с фактом совпадают при прогнозировании денежных потоков?
(41) Вы сами то ещё не поняли, что ваш вопрос звучит примерно как
«Каково среднее время внедрения 1С?» :)))))))
(40)
Ну если вам ничего не принесла то либо вы уже эксперт в НС, либо это печально :(.
Статья и доклад никоим образом не претендуют на исчерпывающую информацию — только «стартовый толчок» к изучению новой (если новой) технологии.
(43) Вы пишите:
Вот я и спрашиваю на сколько точно прогнозирует финансовые потоки нейросеть ?
При чём тут среднее время внедрения?
(39)
Ну давайте вопросы. А то Ваша статья даже их не порождает (в плане ГА).
(44) нормально так соскочил с темы ))
Ладно, закроем эту бесполезную полемику.
(46) Я статьи не писал, я же не в теме. Я статью читаю эту. И ничего не понимаю из нее. Вон автор уже намекнул как это «печально».
Вопросы я уже в комментарии выше указал. именно мелочей и не хватает для понимания. Но кому они нужны (может автор и сам в них не силен) мелочи эти?.
По вашему комментарию, раз уж вы заявили себя понимающим в этом вопросе, то может разъясните неучу.
«генерите рандомом первую популяцию»
если речь идет о примере в статье, то конкретно в цифрах и по пунктам, что за популяция и почему рандомом?
«, вызываете функцию нахождения лучших «особей», отвечаете на вопрос, есть ли среди них достаточного уровня перс»
Опять же на примере в цифрах и по пунктам, как искать лучшую особь? что такое достаточный уровень перса?
«. Если есть — ура, угадали с первого раза, если нет — вызываете функцию скрещивания, порождая новых персов из старых данных (у одного ребенка тут может быть и больше двух родителей). »
Опять же пример.
«Дальше снова пункт 2. Если в течение энного количества итераций не находите улучшений, а достойного перса все нет, то вызываете функцию мутации популяции, где какой-то процент генов меняются на новые. »
тут я понял что скрещивание от мутации отличается некими «новыми генами». А что это? Откуда их брать?
«Ну и так до победного конца»
Когда конец победный?
Если лень писать, то пошлите меня на… в гугл или киньте ссылкой
Интересно, какую генетическую задачу гоняют на человечестве — 7 миллиардов популяция, 80 миллиардов неудач — и что пытаются вывести? )
(49)
Ну само человечество — уже удача. Даже достаточно неудачные экземпляры человека живут по большому счету лучше, чем любой представитель других видов. Типа сидим в инете, смотрим киношки, едим булки, пьем чайок н и т.д. Скучно, но лучше так, чем борьба за существование в дикой природе.
(50)одно уточнение: самая нехорошая дуга — это дуга с самым большим временем среди имеющихся в экземпляре?
(52)
и такое может быть. Все зависит от конкретной реализации. Самой плохой может быть и другая дуга, для которой просто есть вариант лучше, при этом для дуги с худшим временем нет лучшего варианта. Т.е. тут как раз пространство для творчества.
(53) Спасибо за разъяснения
— ссылка на достаточно крупный труд. Эту ссылку привел один из авторов публикаций, посвященных генетическим алгоритмам. Там как раз описано множество подходов для создания функций скрещивания, мутации и тестирования результата (fitness-func).
Большое спасибо автору за гениальный принцип создания и применения нейросетей в 1с.
Насчет тех, кто хает статью.
В двух словах объяснить, что такое генетический алгоритм, что такое нейросеть, зачем они нужны и как их применять — невозможно.
Кому надо — читайте научные статьи.
Мне очень понравился простой принцип генерации dll из исходной матрицы данных из 1с для использования внутри 1с.
Матлаб не изучал на эту тему.
Скорее попробую данный принцип в применении 1с.
Применять генетический алгоритмы можно в любой стандартной конфигурации 1с, где есть большие массивы данных.
Можете почитать научные статьи, коих полно.
Например, идеи сходу:
1. Создать нейросети для ответа на простые вопросы, отвечать будем по данным 1с:
— Самый продаваемый товар, его средние характеристики, вес, форма, кто поставляет
— Покупатель, приносящий наибольшую прибыль, какие его средние характеристики, какие предпочтения по товарным категориям, какие характеристики товаров которые он берет.
— В какие дни недели и часы какой товар наиболее популярен?
Построить график и карту по товарным позициям и положении на карте магазина.
— Наибольшие нагрузки на кассы поминутно, на карте, какие продавцы вызывают очереди
Это вопросы являются краеугольным камнем эффективности гипермаркета, они важны для директора магазина.
Для владельца торговой компании средней руки те-же вопросы формулируются одинаково, только заменяем термины:
Покупатель на Контрагент
Касса на Сайт
Продавец на Менеджер.
Благодаря применению нейросетей можно по данным 1с формировать оперативные отчеты по статистическим данным.
Чем быстрее приходят данные в 1с и чем более они актуальны, тем лучше будут прогнозы нейросетей.
Например, сделать нейросеть, обученную на:
1. Каких товаров не хватает на складе, Какие товары скоро закончатся на складе, в течении дня, в течении нескольких часов
2. Благодаря нейросети 1. Создать нейросеть 2, которая оперативно формирует заказы поставщикам по товарам, по которым СКОРО БУДЕТ НЕХВАТКА на складе.
3. В помощь нейросети 1 создать нейросеть, ПРЕДСКАЗЫВАЮЩУЮ скорые продажи товара и его нехватку на складе. Берутся статистические данные по продажам, активности покупателей — делается ближайщий прогноз.
Данные нейросети 3 передаются нейросети 1.
Вообще такие связки нейросетей (одна нейросеть оперирует результатом работы другой нейросети) и есть искусственный интеллект.
(57)
Вообще это в тех же нейросетях называется ««. И там связи тоже разные между слоями.
(58) в теории нейросетей связи между слоями называются просто связями.
Многослойный перцептрон это частный случай нейросети где несколько слоев связаны сетью связей.
Я говорил про принципиально другое.
Я говорил про общее логическое взаимодействие нейросетей.
Неважно как они связаны. В общем случае они вообще никак не связаны, данные могут передаваться через почту, xml, http, любым способом.
Важно то что выходные данные одной нейросети передаются на вход другой.
Передавать данные в общем случае может алгоритм 1с по условиям и желаниям программиста.
Это дает принципиальную свободу выбора.
Например, получили данные нейросети, проанализировали их, исходя из анализа передали на обработку другой нейросети (какой именно передавать — решает алгоритм анализа данных)
(59)
Просто Вы описываете концепцию многослойного перцептрона. Там же как все устроено? Вот есть некая матрица состояний — S-элементы, и есть связи с матрицей понятий — A-элементы. Чем больше получился вес связей, тем выше вероятность, что вот именно этот А-элемент и является ответом на возбуждение. И этот А-элемент является S-элементом для второго слоя логики, который связан с понятиями другого плана. Но обучать ты систему должен комплексно, иначе как поямешь, что этот сформированный выход первого слоя к каким элементам второго привязан по весам? Так что просто без обучения это все бесполезно.
(60) вы сказали: «Просто Вы описываете концепцию многослойного перцептрона.»
Не согласен.
Всем известно, что в многослойном перцептроне несколько слоев нейронов связаны случайными связями (эти связи образуются в момент обучения перцептрона на выполнение определенного круга задач).
У меня совершенно другая концепция.
Обычному специалисту 1с средней руки на сегодня незнакомы ни нейронные сети, ни перцептроны. Он в состоянии посмотреть в кратце что это, но не знает как с этим работать.
Зато его можно обучить работе в матлабе. и даже тому, как обучить простейшую нейросеть в матлабе для конкретной задачи.
Можно показать ему что результаты работы одной нейросети можно использовать для исходных данных работы другой нейросети.
Эта задача обучения посложнее, но можно показать на примерах.
(61)
Кто эти все?
Сам перцептрон уже многослоен — в нем есть слои А- и S-элементов, Но суть все-равно та же: анализ первой S-матрицы сигнальных элементов определяет А-элемент, который во второй нейросети становится S-элементом. То же самое, когда есть второй слой нейросети. Но обучаться они должны совместно, т.к. сначала ты сеть обучаешь на определенном наборе данных, а потом используешь накопленную статистику для определения связанного элемента. И тут уже эффективность повышается наличием обратной связи. И если просто взять две обученных нейросети, результат одной из откорых должен стать сигналом для второй, и не использовать совместное их обучение и обратную связь, то это снижает эффективность такого обучения и количество ошибочных суждений второй сети будет на порядок выше, чем количество ошибочных суждений первой сети, т.к. сигнал будет искажаться относительно выборки при отдельном обучении.
(62) Чего вы добиваетесь этим академическим спором?
Хотите поразить всех читающих своим интеллектом?
я предложил применение на практике для конкретных задач.
А вы начали и продолжаете свой спор о теории нейросетей. Зачем это?
Или вы хотите втоптать меня в грязь показав что лучше понимаете нейросети?
Окей, может вы и лучше их понимаете, я могу признать, если вам от этого станет легче. Спор окончен?
Приступим к практике?
в чем проблема скачать с трекера matlab?)