Быстрая реструктуризация справочника с большим количеством записей (V77 DBF)




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

19 Comments

  1. artbear

    Оригинально.

    А если для всех реквизитов этого справочника удалить галочки «отбор» и «сортировка», сохранить конфу с новым реквизитом, а потом вернуть галочки на место? Будет медленнее?

    Reply
  2. UncleVader

    Будет медленнее в любом случае, поскольку само выполнение указанных действий дольше

    Reply
  3. Ёпрст

    Несчастные обладатели скуля плачут в сторонке …

    Reply
  4. UncleVader

    Я не проверял, но думаю что для скуля эта технология тоже сгодится

    Reply
  5. CheBurator

    мегабаян…

    Reply
  6. O-Planet

    Делал очень давно чистую замену md, когда-то, знал, что структура не изменилась, а поменялся, скажем, модуль проведения или отчет. Все равно, выглядит «как бы чего не вышло»…

    Reply
  7. big60

    Перед окончанием работы внес изменения через конфигуратор, уходя домой запустил на реструктуризацию, утром получил результат. По-моему, телодвижений гораздо меньше, чем в предложенном методе

    Reply
  8. UncleVader

    (7) Хорошо если так… Когда количество записей в справочнике больше 100’000 можно не только до утра ждать, а и до вечера след. дня и результат скорее всего будет — сообщение об ошибке. Проверено!

    Reply
  9. askv

    Очень актуально для слабых компов. Я один раз пытился такое сделать на селероне 1.7. Недождался. Забрал базу и запустил на КореДуо, совсем другое дело. Этим способом я бы все сделал на месте. По-моему способ вполне корректный.

    Reply
  10. bambula

    Старый метод — изврат, но рабочий. (5) поддерживаю. На СКЛ-е я вам скажу таких проблем вооще нема. Меня че хош и как хош. Принцип работы другой )

    Reply
  11. brounbear

    действительно мегабаян.

    + ко всему статья ента впервые появилась в лохматом году на itland.ru

    а писал ее парниша вооон в том углу кабинета сидит 😉

    однако пользительность в ней есть и на сегодняшний день

    Reply
  12. UncleVader

    (11) Когда столкнулся с этой проблемой инета рядом не было, так что шевельнул извилиной и сделал. После этого не раз пользовался и после очередного раза решил что можно поделиться с народом. Так что может оно конечно и баян, спорить не буду, но если кому поможет — уже хорошо

    Reply
  13. UncleVader

    (11) «+ ко всему статья ента впервые появилась в лохматом году на itland.ru»

    Она не могла появиться в лохматом году, она появилась недавно! Ну разве что мы с твоим товарищем ментально едины ,)

    Reply
  14. userwar

    (13) Могла-могла, еще как могла появиться в лохматом году, и появилась. Статья была в блогах итланда с 2005 года по 2007, потом ее убрали, т.к. основной уклон сайта сейчас в сторону 8.х и ООП на 7.7 (1С++ то бишь).

    Счас найти ее можно в журнале «1С для профессионалов» №6 за 2005 год, там еще ФИ мое засвечено.

    Reply
  15. UncleVader

    (14) Плагиатом никогда не занимался и не буду- все совпадения случайны

    Reply
  16. userwar

    (15) Тебя никто ни в чем не обвиняет. Тем более что у меня статья более развернуто была написана.

    Reply
  17. UncleVader

    (16) «Тебя никто ни в чем не обвиняет»

    Слава богу… а то подумал что наезд ))

    Вообще иногда полезно когда всплывает хоть и баян, зато нужный ,)

    Reply
  18. tsd

    (15) дааа, все уже украдено до нас :))

    Reply
  19. andru_dv

    Делал раньше такую реструктуризацию. Очень проблематично по времени, примерно 4-6 часов и вечером после работы чтобы никому не мешать. Результат получал уже после полуночи что не есть хорошо для полноценного сна. Надеюсь данный метод облегчит в будущем изменения в больших справочниках. Спасибо за подсказку!

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *