Выборка в запросе из регистра сведений данных на дату из строки запроса. Оптимизация.




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2025-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

23 Comments

  1. hren

    Ничегоне понял, но очень интересно 🙂

    Reply
  2. ДимокШ

    Типичные причины неоптимальной работы запросов и методы оптимизации

    Автор: Рупасов Константин (1С, Москва) http://kb.1c.ru/articleView.jsp?id=44#subquery_in_on

    Reply
  3. alexk-is

    (0) Методы оптимизации очень сильно зависят от техники, состава данных, состояния базы данных. В убитой горем базе данных сканирование может дать больший эффект. Для понимания достигнутого эффекта не хватает замеров производительности до и после, а также параметров техники и базы.

    Приведенный пример очень напоминает получение установленной цены для сравнения с фактической ценой продажи. Помнится задача решалась проще.

    А с учетом того, что цены устанавливаются чаще и номенклатуры больше чем сотрудников, и расчет выполнялся не для каждого документа, а для каждой строки документа, то по объему данных в этом случае наблюдается некоторый паритет.

    Примеры запросов по теме цен на Инфостарте в своё время очень активно обсуждались.

    Reply
  4. DoctorRoza

    А вот вопрос .. нужна ли тут первая временная таблица? Допустим

    ВЫБРАТЬ РАЗЛИЧНЫЕ

    КОНЕЦПЕРИОДА(Договор.Дата, ДЕНЬ) КАК Дата,

    Договор.Сотрудник,

    МАКСИМУМ(Руководители.Период) КАК Период

    ПОМЕСТИТЬ ПериодРуководителя

    ИЗ

    Документ.Договор КАК Договор

    ЛЕВОЕ СОЕДИНЕНИЕ РегистрСведений.Руководители КАК Руководители

    ПО Договор.Дата >= Руководители.Период

    И Договор.Сотрудник = Руководители.Сотрудник

    ГДЕ

    Договор.Ссылка = СсылкаДокумента

    СГРУППИРОВАТЬ ПО

    Договор.Дата,

    Договор.Сотрудник

    ;

    То есть выберем по ссылке документа различных сотрудников, объединим с регистром и сгруппируем.

    Reply
  5. Ivon

    (2). Не читал, к сожалению, нет доступа.

    (3). По поводу оптимизации для разной техники и баз согласен, но в большинстве случаев такая оптимизация даст прирост в скорости выполнения.

    (4). В твоем примере вначале произойдет соединение, а после группировка. Смысл оптимизации в том, чтобы между соединениями был как можно меньший объем данных.

    Reply
  6. DoctorRoza

    (5) Пу почему же? Идея была в том, чтобы одним запросом, из текущего документа по ссылке выбрать Сотрудников и Даты! То есть тут и так будет минимум данных с учетом, что и регистр сведений тоже будет содержать параметры, а именно Сотрудников/Даты из текущего документа!

    P.s. Может сказал глупость, но я только начинаю разбираться .. новичок! 😳

    Reply
  7. Ivon

    (6). А зачем нужно

    ГДЕ

    Договор.Ссылка = СсылкаДокумента

    ?

    Reply
  8. alexk-is

    (7) Видимо ещё не разобрался 🙂

    Reply
  9. alexk-is

    (6) Исключительно для тренировки предлагаю поразбираться с запросами, например, тут http://www.infostart.ru/public/68269/ и тут http://www.infostart.ru/public/69707/ 🙂

    Reply
  10. Ivon

    (9). С календарем интересное решение.

    Reply
  11. MoneG2

    > запросы с временными таблицами выполняются медленнее

    а вы уже пробовали (хотя бы) индексировать поля ВТ, по которым потом соединяете таблицы?

    Reply
  12. Ivon

    (11). Честно говоря нет. А вы считаете, что на индексирование не будет потрачена часть времени? И куда складывается информация из временных таблиц?

    Reply
  13. alexk-is

    (12) На индексирование обязательно будет потрачена часть времени, но это окупится сторицей на соединениях по индексу.

    Reply
  14. Ivon

    (13). Возможно, не буду спорить. Как раз проверю на своих запросах. Пока (сейчас как раз делаю большой запрос для отчета) разницы по времени нет.

    Reply
  15. sipoju

    Проверил оба варианта на своем запросе, с временными таблицами выполнение запроса на файловом варианте базы сократилось с 15 до 6,5 секунд, на клиент/серверном варианте (PostgreSQL) — увеличилось с 0,08 до 0,19 секунды

    Reply
  16. logarifm

    Просьба администрации обратить внимание, что это апгрейд публикации и нарушение правил форума для прокача «+» 👿

    Reply
  17. Ivon

    (16). Мне, в принципе, все равно, сколько у меня плюсов. Плюсы для меня всего-лишь показатель, что работа сделана не зря и статья кому-то помогла. Я делюсь знаниями с пользователями ресурсов бесплатно. При этом стараюсь делать так, чтобы не нужно было использовать платные обработки. У вас тоже есть хорошие статьи, но статьи, подобные этой http://www.infostart.ru/public/72044/ , увы, не красят автора.

    Reply
  18. logarifm

    (17) А зря так. Программисты по своей природе ленивые особи 😀 и им лень лазить и узнавать какие-то другие ресурсы. Вот подруки подвернулась интересная статья которая имеет право на жизнь надо ее довести людям, поскольку есть фанаты именно таки прямых запросов к данным 1С на базе 8.х.

    Reply
  19. Ivon

    (18). Ленивые программисты долго не работают на одном месте, потому что программеру нужно постоянно быть в курсе нововведений, ведь через год-два в компанию придет свежая кровь, которая будет знать и уметь гораздо больше ленивого программиста и у которой будут вполне здоровые амбиции. А про рынок программистов я вообще молчу.

    Reply
  20. logarifm

    (19) очень плохое понимание переносного значения «ленивый программист». Это саммые лучшие программисты им все ручками делать влом, они делают так чтобы программы все считали.

    Reply
  21. Ivon

    (20). Тогда кому же делать ту программу, которая будет все считать для ленивого программиста? Я с такими сталкивался. Выше среднего уровня они не поднимаются. И проект с такими программистами становится дороже, менее оптимизированный и страдающий плохой поддержкой. А все потому, что не самостоятельно пишется. Я не говорю, что стоит вообще отказываться от вспомогательных модулей, но это должно быть экономически выгодно, например, написание подобного модуля самостоятельно будет дороже его приобретения.

    Reply
  22. logarifm

    Они сами и делают эти программы 🙂 Ладно не переводим дискуссию — это все офф. Но по правилам форума нужно делать апгрейд публикации. Минус снял, посмотрел наработки и статьи Ваши — интересны и имеют полное право жизни, просто есть тут ходют сами ниче не понимают зато минусами раскидаются.

    Мир ❓ ❗

    Reply
  23. Ivon

    (22). Ок.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *