Супер-быстрый поиск и замена значений на УФ




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2025-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

43 Comments

  1. tormozit

    Не пробовал, но описаны действительно эффективные улучшения.

    Reply
  2. IvanAlekseev

    (1) tormozit, главное в публикации не написано: в предыдущей обработке был код- лапша, который я практически весь удалил. Теперь там пушкинские строки- можно перед сном читать без особого напряжения. Главное на расплакаться от умиления 🙂

    Кстати, предыдущая обработка выполняла не все замены в регистре бухгалтерии (автор сам запутался в своей лапше).

    Reply
  3. hakerxp

    4. На форме расположен прогресс-бар, что позволяет оценить оставшееся время работы.

    Если расположен прогресс-бар, то получается что обработка должна получать данные в фоне. А это значит что обработка должна использовать ранее прописанные экспортные процедуры общих модулей. Это сужает область использования.

    Иначе, прогресс-бар каждый раз лазит с сервера на клиент для отображения состояния, что неэффективно и снижает скорость работы обработки. Обработчики ожиданий не работают для считывания состояния когда форма занята работой в управляемом режиме т.к. управление уходит на сервер.

    Reply
  4. h00k

    (3) hakerxp,

    Если расположен прогресс-бар, то получается что обработка должна получать данные в фоне. А это значит что обработка должна использовать ранее прописанные экспортные процедуры общих модулей. Это сужает область использования.

    ОМГ, изучите уже возможности БСП 2.2+, а то прям странно такое читать.

    Подсказка: Стоит обратить внимание на ОМ ДлительныеОперации и в частности на функции ЗапуститьВыполнениеВФоне, СообщитьПрогресс, ПрочитатьПрогресс и т.д. … ну и другие модули, с названием начинающимся с ДлительныеОперации, тоже достаточно полезны и содержат ряд интересных функций.

    Reply
  5. hakerxp

    (4) h00k, эти модули где находятся? Как раз в общих модулях т.к. внешняя обработка не может запустить свой же код в фоне. Это уже много раз мной проверено. И модули «Длительные операции» так же использует запуск процесса в фоне, а потом при помощи обработчика ожидания считывают состояние. Все это справедливо для конфигураций с данными модулями.

    Reply
  6. IvanAlekseev

    (3) hakerxp, никаких фоновых заданий не используется. Обработка универсальная и не опирается ни на какие общие модули.

    Reply
  7. hakerxp

    (6), я не смотрел код, но как же все таки Вы выкрутились с баром и его состоянием?

    Reply
  8. IvanAlekseev

    (7) hakerxp, на клиенте цикл по количеству шагов прогресс- бара. В цикле вызывается серверная процедура, выполняющая замены.

    Reply
  9. hakerxp

    (8), я угадал) А вообще, я б в угоду скорости отказался от бара, если обработка внешняя. А так бы предусмотрел возможность использовать модули «Длительные операции», если обработка точно будет встроена в конфу.

    Reply
  10. Поручик

    (0) Ты взял эту за основу — http://infostart.ru/public/91837/ ? В ней реализовано всё тоже самое, кроме п. 2., 3., 6.

    Reply
  11. IvanAlekseev

    (10) Поручик, да, и переписал 80% кода.

    п.1 там нет.

    Reply
  12. CheBurator

    некузяво.

    где передовой «такси» ?

    пишем вещи для устаревших вещей 😉

    Reply
  13. Поручик

    (12) Опять ляпнул не в ту степь. Практически все обработки для управляемого приложения, написанные ещё для 8.2., работают в поедем на таксо в интерфейсе «такси» без переделок.

    Reply
  14. hakerxp

    (13), с учетом если режим модальности не стоит «Не использовать». А так в обработке нужно предусматривать варианты работы обработки в зависимости от модальности конфигурации. Иначе будет ошибка. А так же нужна адаптация интерфейса под компоновку элементов под «такси». Следовательно, работать возможно будут вещи с 8.2, но как — это уже вопрос.

    Reply
  15. IvanAlekseev

    (14) hakerxp, модальные окна не используются.

    Reply
  16. hakerxp

    (15), режим модальности зависит от настройки конфы пользователя, а не от вашей обработки.

    Reply
  17. Aleanza

    Столько критики. А кто-то скачал и попробовал обработку в работе?

    Reply
  18. fvadim

    на счёт супер быстро это конечно не правда. просто в некоторых случаях немного быстрее.

    делал тоже самое, кроме п.6. плюс возможность заполнения чтозаменять/начтозаменять запросом.

    Reply
  19. Kiber_

    А что конкретно подразумевается под отключением итогов?

    P.S. Очень порадовала информация:

    >> в предыдущей обработке был код- лапша, который я практически весь удалил. Теперь там пушкинские строки- можно перед сном читать без особого напряжения.

    Молодец!

    Reply
  20. vis_tmp

    Спасибо, отличная обработка!

    Reply
  21. 1cmax

    (1) tormozit, ждем реализации алгоритма в инструментах разработчика.

    Reply
  22. tormozit

    (21) Уже реализовано все, кроме отключения итогов (опасная операция, думаю над сглаживанием углов).

    Reply
  23. jk3

    При замене одной номенклатуры на другую, вывалилось в такую ошибку:

    Платформа: 1С:Предприятие 8.3 (8.3.5.1596)

    Конфигурация: Управление торговлей, редакция 11.1 (11.1.10.145) (http://v8.1c.ru/trade/)

    ———————————————————————————

    28.08.2015 0:31:07

    {ВнешняяОбработка.ПоискИЗаменаЗначений.МодульОбъекта(13)}: Ошибка при вызове метода контекста (Содержит)

    Если Метаданные.Константы.Содержит(МетаданныеГдеЗаменять) Тогда

    по причине:

    Несоответствие типов (параметр номер ‘1’)

    Reply
  24. СержТ

    Спасибо, обработка помогла исправить косяки 1с при переносе адресов из ЗУП 2, ЗиКБУ 1 в ЗУП 3 и ЗКГУ 3 на версиях от 30.12.15

    Reply
  25. thelans

    (23) jk3, А ошибку последнюю исправили в этой обработке или она не воспроизводится?

    Reply
  26. anderson

    Понадобилась данная обработка, но для планов видов расчета. Чуть-чуть добавил в процедуру ВыполнитьЗаменуЗначений

    
    ИначеЕсли СтруктураОбъекта.ПланыВидовРасчета Тогда
    
    Для Каждого СтандартнаяТабличнаяЧасть Из МетаданныеГдеЗаменять.СтандартныеТабличныеЧасти Цикл
    ТабличнаяЧасть    = ОбъектГдеЗаменять[СтандартнаяТабличнаяЧасть.Имя];
    СтрокиСЧтоЗаменять   = ТабличнаяЧасть.НайтиСтроки(Новый Структура(«ВидРасчета», ЧтоЗаменять));
    СтрокиСНаЧтоЗаменять  = ТабличнаяЧасть.НайтиСтроки(Новый Структура(«ВидРасчета», НаЧтоЗаменять));
    
    Если СтрокиСЧтоЗаменять.Количество() > 0 И СтрокиСНаЧтоЗаменять.Количество() = 0 Тогда
    Для Каждого СтрокаСЧтоЗаменять Из СтрокиСЧтоЗаменять Цикл
    СтруктураОбъекта.ОбъектГдеЗаменятьНадоЗаписывать = Истина;
    СтрокаСЧтоЗаменять.ВидРасчета = НаЧтоЗаменять;
    КонецЦикла;
    ИначеЕсли СтрокиСЧтоЗаменять.Количество() > 0 И СтрокиСНаЧтоЗаменять.Количество() > 0 Тогда
    Для Каждого СтрокаСЧтоЗаменять Из СтрокиСЧтоЗаменять Цикл
    СтруктураОбъекта.ОбъектГдеЗаменятьНадоЗаписывать = Истина;
    ТабличнаяЧасть.Удалить(СтрокаСЧтоЗаменять);
    КонецЦикла;
    КонецЕсли;
    КонецЦикла;
    
    ЗаменитьРеквизитыИТабличныеЧасти(ЧтоЗаменять, НаЧтоЗаменять, СтруктураОбъекта);
    
    

    Показать

    Автору спасибо

    Reply
  27. fixin

    (2) да, типовой код в этой обработке был таким, что без слез не взглянешь. Если реально переписал, то красаучык. Сейчас скачаю, протестирую.

    Да, поюзал, недурно-с. Молодец.

    Reply
  28. fixin

    (6) (3) Вместо кривых фоновых процессов можно просто тупо запустить в отдельном окне 1С, 😉

    главное, чтобы работала

    Reply
  29. hakerxp

    В 1 пункте про группировку по объектам при замене ссылок — не вижу смысл группировать т.к. при замене ссылок человек обычно выбирает ссылки одного типа. В объектах врядли будут дубли реквизитов с одинаковыми ссылками. Следовательно, скорость замены останеться прежней, верно?

    Reply
  30. SurmachAU

    Запускаю обработку в 1С Розница 2.2.4.17 (платформа 8.3.8.1964) и не могу выбрать для замены Номенклатуру. Может я не правильно поняла суть обработки?

    Reply
  31. IvanAlekseev

    (30) SurmachAU, в Рознице у справочника «Номенклатура» установлено представление объекта «Позиция номенклатуры». Поэтому первоначальный выбор необходимо выполнять по этому представлению.

    Reply
  32. IvanAlekseev

    (29) hakerxp, например, изменение номенклатуры в документах, где она используется в строках табличной части.

    Reply
  33. SurmachAU

    (31) Спасибо) проверила, все хорошо, очень нужна такая обработка для исправления с работой РИБ

    Reply
  34. ikm

    Получил ошибку, аналогичную (23).

    Клиент-сервер, три строки поиска.

    Попробовал в отладчике по одной строке… и всё отработало.

    Reply
  35. IvanAlekseev

    (34) ikm, (23) jk3,

    Посмотрел код на возможность ошибки. Платформа получает таблицу значений при поиске ссылок и именно значение из этой таблицы не соответствует типу. Так что простым просмотром кода ошибки не вижу. Поэкспериментировал- все отлично заменяется.

    Можете на какой- нибудь демке привести конкретный пример?

    Reply
  36. Strange Device

    Спасибо. Сильно облегчили работу. Работает даже там, где не работают типовые обработки от 1С, в частности, видит и заменяет те реквизиты, которые просто не видны при отключенных функциональных опциях, что доставило мне немало геморроя.

    Reply
  37. script

    У меня с константами какая-то проблема

    {ВнешняяОбработка.ПоискИЗаменаЗначений.МодульОбъекта(13)}: Ошибка при вызове метода контекста (Содержит)

    Если Метаданные.Константы.Содержит(МетаданныеГдеЗаменять) Тогда

    по причине:

    Несоответствие типов (параметр номер ‘1’)

    В комментах пишут про эту ошибку.

    Я так понимаю что ее не исправили?

    Reply
  38. IvanAlekseev

    Ребята, я решил больше не заниматься 1с. Сейчас изучаю С++, буду выполнять анализ сложных данных или что-то другое интересное (например, физическое моделирование). В 1с у меня нет ощущения первооткрывателя, познания истины, творчества в работе…

    Поэтому если кто-то опубликует эту обработку с исправлением текущих ошибок, и возьмется за ее последующую поддержку, то я буду только благодарен этому человеку. В день с нее капает примерно полбакса 🙂

    Reply
  39. v3rter

    То есть разрешаете форкать Вашу обработку?

    Со временем компьютерство перестает дарить ощущения творчества-развития и становится ремеслом. Более того, оказывается, что технологии развиваются по принципу «приведи в дом козу — выведи из дома козу». Ходят по кругу. И чтобы «оставаться на месте, приходится бежать»(с), попутно изучая тонны безсмысленных и безпощадных обновлений, изменений и дополнений, без которых упадет общая сложность технологий капитализация отрасли, и которые через 3-5 лет обесцениваются до нуля. В каком-то смысле это можно считать инфляцией знаний. Будьте морально готовы. А пока есть время и развитие мотивирует — дерзайте )

    Reply
  40. hakerxp

    (38), я бы с вами поспорил по поводу

    «

    В 1с у меня нет ощущения первооткрывателя, познания истины, творчества в работе…

    «. Удачи вам в начинаниях!

    Reply
  41. juliacopper

    Очень хорошая обработка. Спасибо! Особенно для начислений

    Reply
  42. IFK

    Автор, скажите, Вы еще поддерживаете эту обработку?

    Reply
  43. IvanAlekseev

    (42) Нет, я больше не занимаюсь 1с.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *