Поиск ссылок на объекты средствами SQL УФ (MS SQL, УФ, 8.3)




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

13 Comments

  1. Synoecium

    А есть ли увеличение скорости по сравнению с штатным поиском ссылок на объект? Больше просто в голову не приходит, в чем может быть преимущество такого варианта поиска средствами SQL.

    Reply
  2. v.krivenko

    (1) Synoecium,

    Только что сделал замер в моей средних размеров базе.

    Обработка при первом поиске:

    — 3 элемента разных справочников (контрагенты, сотрудники, физлица) выполнила за 16сек

    — 1 элемент справочника контрагентов — 8сек

    при повторном поиске:

    — 3 элемента разных справочников (контрагенты, сотрудники, физлица) выполнила за 12сек

    — 1 элемент справочника контрагентов — 5сек

    Штатный поиск (может искать только один элемент за раз):

    — первый поиск (контрагент, такой же как в поиске обработки) — 9 сек

    — второй поиск (контрагент, такой же как в поиске обработки) — 9 сек

    Поиск средствами SQL я использовал в одном проекте по свертке базы. База занимает более 100Гб, в ней преимущество такого поиска было более ощутимым.

    Есть другой момент: обработка выводит все места где была найдена ссылка. Штатный механизм, например не выводит в каких записях движений есть ссылка на объект, а выводит только ссылку на документ.

    У меня были несколько раз случаи, когда штатный поиск показывал что ссылка есть в документе, но в самом документе эту ссылку было очень трудно найти.

    Так же я ее выкладывал для программистов, у которых есть потребность в работе с SQL таблицами 1с на прямую, но нет полного понимания.

    Reply
  3. Franco

    А ничего, что обращение к базе данных, на которой работает информационная база 1С, запрещено лицензионным соглашением этой самой 1С?

    Reply
  4. v.krivenko

    (3) Franco,

    А можно ссылку на соглашение и на пункт запрещающий чтение таблиц MS SQL, которые создала 1с?

    Ведь внешние источники по факту могут обеспечить доступ к таблицам 1с, не используя другие инструменты.

    Reply
  5. ChessCat

    (2)

    Штатный поиск ищет очень быстро. Проверял на БП 3.0. База более 100 Гб.

    Основной недостаток штатного поиска — НЕ показывает ГДЕ именно ссылка на удаляемый объект.

    Учитывая тот факт что по документу могут быть движения по десятку регистров и в объектах могут быть скрытые реквизиты идея интересная.

    Странно только что в обработке нет возможности заполнить таблицу всеми помеченными на удаление объектами в базе.

    Но в принципе никто не мешает тому кому это будет нужно взять в руки Конфигуратор и доделать.

    Reply
  6. ChessCat

    Запустил обработку.

    Указал параметры доступа к серверу SQL.

    Проверка подключения прошла.

    В таблице выбрал документ Реализация товаров которая помечена на удаление.

    Нажал на кнопку поиск.

    Обработка думала-думала, писала что выполняется поиск и выдала «Недопустимое значение параметра (параметр номер 1)».

    Конфигурация Бухгалтерия предприятия, редакция 3.0 (3.0.44.102)

    SQL 2005

    В чем нюанс ?

    Reply
  7. DenisCh

    (3) Читать можно (иначе как бекапы делать?)

    писать нельзя

    Reply
  8. ture

    (2) ты проиграл штатному поиску?

    1) хинты таблиц запроса

    2) составные поля (ты указал не все)

    3) на стороне 1С ты заюзал что-то медленное

    Ты облажался в скорости, но получил опыт. Добро пожаловать в мир SQL!

    Reply
  9. ChessCat

    Подскажите где в лицензионном соглашении написано что прямая модификация таблиц БД запрещена ?

    Reply
  10. ChessCat

    (7) DenisCh,

    Подскажите где в лицензионном соглашении написано что прямая модификация таблиц БД запрещена ?

    Reply
  11. v.krivenko

    (6) ChessCat, запустил поиск реализации в БП 3.0.43.253 — отработала без ошибок.

    Запустите с отладкой предприятие и напишите подробную ошибку.

    Reply
  12. v.krivenko

    (8) можно подробней?

    2) составные поля (ты указал не все) — что именно не указал и где?

    я в мире SQL давно.

    Reply
  13. Varang

    Спасибо за обработку! На базе 1 тб работает в 5-6 раз быстрее штатного способа.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *