БП1.6. Просроченная задолженность по 62 счету. Продолжение разговора




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

39 Comments

  1. ValeriTim

    Вот действительно классный отчет с отличной реализацией. Можно было бы поставить +10 — поставил бы ❗

    Reply
  2. anig99

    гыгы… плюсы за идею уже ставил… отчет может и хороший, но я такие не юзаю, поэтому ничего пока не поставлю….(:

    Reply
  3. Ish_2

    (2) Противный !

    Reply
  4. мсе

    Очень приятно, что можно увидеть дату возникновения задолженности.

    Reply
  5. Ish_2

    (5) Да , ладно ,Женя. Чего там..

    Reply
  6. bb1962

    (0) > такая задача может быть решена без кодинга при помощи одного пакета запросов

    Всегда ли это хорошо? По этому пути идут разработчики 1С, но каково потом вносить изменения в эти «многоэтажные запросы».

    Reply
  7. Ish_2

    (9) Вопрос закономерный : Всегда ли это хорошо ?

    Для данной конкретной задачи — считаю , что ДА.

    1. Переносим всю обработку на Сервер БД(отвязываемся от слабости клиента).

    2. Для больших БД такой подход более эффективен (обладает высоким быстродействием), чем кодинг.

    3. «Многоэтажный» запрос — это совокупность небольших простых запросов , последовательное получение временных таблиц. Такой запрос легко может быть разбит при отладке и есть возможность просмотра промежуточных результатов.

    Reply
  8. KapasMordorov

    (9)

    (10)

    Я тут sql.ru пошарил.

    Вроде бы ФИФО запросами они там сделали.

    Но пришли к выводу, что цикл в хранимой процедуре быстрее.

    Reply
  9. Ish_2

    (11) Речь идет методе списания ФИФО ?

    Эффективность реализации метода списания ФИФО — как «все в одном запросе», разумеется, будет определяться по результатам тестирования и сравнения. На SQL.ru я задавал этот вопрос . Кроме общих скептических соображений ничего не услышал и ссылок никто не привел.

    Пока речь идет лишь о решениии некоей абстрактной задачи

    http://infostart.ru/public/63048/?PAGEN_1=3#comm340515

    Reply
  10. KapasMordorov

    Сегодня НДС и не помню какой текст в яндексе вчера набирал для поиска. Попадаю в другую ветку sql.ru

    Будет время, поищу

    Reply
  11. I_G_O_R

    Зачем запрос отдельно от СКД?

    Reply
  12. Ish_2

    (14) Заметил -таки.

    Вначале я планировал так :

    Наборы данных :

    Первый — это сам запрос.

    Второй — это таблица интервалов дней ( вводится пользователем), каждая строка которой содержит два значения «с» и «по» .

    Делаем левое соединение и ОК.

    Но левое соединение в СКД предполагает только соединения по равенству.

    Моё же левое соединение должно быть по условию вхождения в интервал

    > «с» и <=»до» (двойное неравенство).

    Поэтому пришлось всё делать вне СКД.

    А ты еще помнишь тему «Языком запросов раздать N яблок M складам»

    http://infostart.ru/public/21564/

    Ноги третьего абзаца «для любопытных» растут из неё .

    Reply
  13. I_G_O_R

    да я давно заметил, просто сказать было нечего, да и посмотрел только

    а в чем проблема соединение делать в запросе и использовать один набор данны?

    СтрЗаменить — тоже не нравится, я бы все-таки сделал полностью в СКД, в настройках бы добавил отборы, но включал их только если значения заполнены

    Ноги третьего абзаца

    — не понял что это

    Reply
  14. Ish_2

    (16)

    В одном наборе данных , т.е. в одном запросе в СКД нельзя использовать данные из внешнего источника.

    Т.е. тот запрос из текста как есть в СКД не засунешь, т.к. он содержит

    &ВнешнийИсточник.

    Третий абзац текущей темы «Для любопытных» содержит описание задачи

    списания по ФИФО.

    В первый раз я описал эту задачу в коммментарии № 8 твоей темы про яблоки.

    Reply
  15. nikola_piter

    удалите плз

    Reply
  16. I_G_O_R

    а задача с периодами решается вообще в режиме предприятие с помощью пользовательских полей или таким запросом

    ВЫБРАТЬ
    1 КАК НомерИнтервала,
    1 КАК НачалоИнтервала,
    7 КАК КонецИнтервала,
    «от 1 до 7 дней» КАК ИмяИнтервала
    ПОМЕСТИТЬ ТабИнтервалы
    
    ОБЪЕДИНИТЬ ВСЕ
    
    ВЫБРАТЬ
    2,
    8,
    15,
    «от 8 до 15 дней»
    
    ОБЪЕДИНИТЬ ВСЕ
    
    ВЫБРАТЬ
    3,
    16,
    30,
    «от 16 до 30 дней»
    ;
    

    Показать

    Reply
  17. Ish_2

    (19) Такой подход к пострению в запроса оправдан, если интервалы вечны и неизменны.Но так как пользователь должен произвольно назначать интервалы , то такой путь построения запроса сомнителен.

    А на скриншоте у тебя показано то же,что и в моём отчете по кнопке «интервалы». Т.е. пользователь интерактивно заполняет таблицу интервалов, которая потом через параметр &ВнешнийИсточник используется в запросе.

    Reply
  18. WKBAPKA

    😳 нифига себе запрос

    Reply
  19. Ish_2

    (21) Георгий, ты конструктивен. И лаконичен.

    (19) Не сразу понял , что ты вел речь о настройке в типовых отчетах для СКД.

    Reply
  20. WKBAPKA
    Reply
  21. I_G_O_R

    (23)

    ГДЕ
    ВзаиморасчетыСКонтрагентами.ДоговорКонтрагента.БонусДилера = ЛОЖЬ

    — это нужно запихать в параметры виртуальной таблицы, но как я понимаю, таких договоров большинство, так что скорости скорее всего не сильно прибавит.

    ОстаткиИОбороты — сама по себе очень тормозная таблица, смотрел в MS SQL Profiler, 1С генерирует кучу запросов;

    еще нужно заменить

    ВзаиморасчетыСКонтрагентами.Регистратор.Дата

    на

    ВЫРАЗИТЬ(ВзаиморасчетыСКонтрагентами.Регистратор КАК Документ.РеализацияТоваровУслуг).Дата

    — это из базы знаний 1С http://kb.1c.ru/articleView.jsp?id=44#dot_after_component_type

    Reply
  22. Ish_2

    (23) Скажи , Георгий , зависит ли правильность результата отчета от последовательности проведения документов ?

    Reply
  23. WKBAPKA

    2(25): меня зовут не Георгий, а Ярослав…

    я так понимаю, что речь идет о дате возникновения долга… прежде всего, я пользуюсь регистром «Взаиморасчеты с контрагентами по документам расчета». Этот регистр, насколько я понял, используется только тогда, когда для договора контрагента установлен признак «Вести учет по документам расчетов». Т.к. я для себя установил такой признак для всех, то соответственно я использую измерения «Документ расчетов с контрагентом» в качестве отправной точки для расчета задолженности. В этом случае для меня последовательность не важна, т.к. фактически я получаю сальдо по этому измерению, а не по регистратору. А т.к. на предприятии в 99% случаев всегда идет цепочка Заказ — Расход то в моем случае задача упрощается…

    помучаться пришлось с одним, и то, потому как туповат стал… результат запрос по виртуальным показателям по каждой группировке суммируется, чем больше регисраторов тем в большее количество раз, соответственно, при обходе пришлось брать полученный результат делить на конечный долг, получать коэффициент и уже после этого делить полученный результат на этот коэффициент…

    Reply
  24. WKBAPKA

    2(25) не знал. спасибо

    Reply
  25. Ish_2

    (26) Пардон.

    Reply
  26. WKBAPKA

    как бы задача решилась, но не приятный остаток остался …

    2(28): скажите, а манипулирование виртуальными таблицами, кроме хранения промежуточных результатов, что дает?

    например, могу ли я выполнить запрос с подсчетом итогов с помощью предложения «ИТОГИ ПО», поместить результат в виртуальную таблицу, и в другом запросе обратиться к этому результату, выбрать необходимые данные и опять подсчитать итоги… или виртуальные таблицы просто позволяют делить большие запросы на подзапросы с последовательным (каскадным) исполнением, и предназначены сугубо для оптимизации?

    Reply
  27. Ish_2

    (26) Можно сказать , что решение тобой предлагаемое — частное.

    Т.е. в случае если не установлен флаг «Вести учет по документам расчетов», то предложенный тобой алгоритм неприменим при нарушении псоледовательности.

    Reply
  28. Ish_2

    (29) Кажется не совру , если скажу :

    Предложение «ИТОГИ» нельзя использовать при помещении результата во временную таблицу (опция ПОМЕСТИТЬ)

    Reply
  29. Ish_2

    (29)

    виртуальные таблицы просто позволяют делить большие запросы на подзапросы с последовательным (каскадным) исполнением, и предназначены сугубо для оптимизации?

    Согласен.

    Reply
  30. WKBAPKA

    2(30): совершенно верно… это сильно упростило задачу… дело в том, что в типовой сделали закрытие реализации по фифо в платежных документах, но только для этого регистра, грех было не воспользоваться…

    Reply
  31. Ish_2

    (33) Ты договаривай до конца : объем данных регистра после установки расчета по документам резко вырос.

    Reply
  32. tango

    (29),(31)

    Reply
  33. WKBAPKA

    2(34): ыщо пока не проверял… но если учитывать туеву кучу регистров, что натулили в типовой, добавление еще одного регистра особо как то не повлияет на скорострельность…

    но по скорости роста базы, прирост не значителен…

    Reply
  34. WKBAPKA

    2(35): логично, если использовать таблицу значений… есть один нюанс, по крайней мере у меня не получалось, если поле составного типа, то запрос к такой таблице значений не будет работать… требует исключительно типизированные поля…

    и еще, и желательно индексировать поля ТЗ, иначе медленно работает

    Reply
  35. Ish_2

    (35) Ты привёл пример как обойти ограничение : невозможность совместного использования опций ИТОГИ и ПОМЕСТИТЬ.

    Но разумнее , мне кажется, подход , где используется две врем. таблицы :

    1. Запрос без итогов

    2. Запрос с опцией СГРУППИРОВАТЬ

    Reply
  36. Dimel

    Спасибо — хороший отчет только мелкий косячок в запрос передается дата конца дня а при работе с таблицей остатков надо бы границу 😉

    Reply
  37. ivan07

    Спасибо, воспользовался вашим отчетом, все отлично

    Reply
  38. Motor24

    Скачал, спасибо, надеюсь на БП 2.0 (8.2) переконвертируется нормально.

    Reply
  39. Ish_2

    (42) Здесь скорее интерес для программиста.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *