Платформенные методы анализа данных. Игрушка аналитика




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

15 Comments

  1. KroVladS

    Не знал о существовании таких механизмов. Спасибо.

    Вам удалось хоть одного «продвинутого пользователя (аналитика)» знающего что такое Кластерный анализ и Дерево решений и понимающий как эти знания применять пересадить с их любимого Excel или более специализированного статистического ОП на 1с?

    Reply
  2. nomadon

    (1) Эксель это вообще зло, а публикация про добро )

    Reply
  3. KroVladS

    (2) Зло, это я согласен.

    Вот только как перетянуть «продвинутого пользователя (аналитика)» на сторону добра мне непонятно.

    Reply
  4. nomadon

    (3) зависит, конечно, от упертости пользователя, но, думаю, алгоритм примерно следующий (как и при переходе с любого ПО)

    — обозначить задачу, которую мы решаем таким способом, убедившись все задачи, решаемые в других ПО возможно решить (без значительных потерь ресурсов)

    — заручиться поддержкой вашего и их руководителей, и желательно руководителя руководителей

    — предложить фишку, которой нет в том ПО, например автоматическая рассылка нужных отчетов без участия пользователя, подготовка исходных данных в 1с и т.д.

    — ну и самое главное, обозначить конкретный бесповоротный срок отказа от того ПО, или штрафы за использование не 1с))

    Reply
  5. ifilll

    (2) Почему Excel зло?

    Reply
  6. kote

    (5) Потому что Microsoft не 1С у нас импортозамещение

    Reply
  7. ifilll

    (6) Такой аргумент не ожидал тут увидеть, мы же тут вроде вне политики, или я опять что то пропустил?

    Reply
  8. UralKIT

    Да ладно Excel. Бывают случае потяжелее,иногда не возможно пересадить с бухгалтерии 77 на 8.

    (7) Мы вне политики, она в нас.

    Reply
  9. ifilll

    (8) Прошу не обобщать, политикой не занимаюсь ))

    Ожидал то, спора более предметного, почему Excel плохо, а 1с хорошо.. «вяленько» как то, к новому году готовятся все видимо ))

    Reply
  10. UralKIT

    (9) ваще не вижу предмета спора, так мелкое цепляние к словам на уровне ботчата ))

    Reply
  11. ifilll

    (10) Ты видишь спор? нет.. и я не вижу… а он есть ))

    Excel крутая программа.. и все.

    Reply
  12. UralKIT

    (11) да ваще до одного места, нет предмета спора )

    Reply
  13. viramen

    Отличная статья.

    Где примеры прикладного применения кластерного анализа с помощью 1С? Аналитика чеков через 1С(корзина покупателя) — не реально — там где работают аналитики более 10 000 чеков в день. Оптовые продажи — возможно, но там специфика другая (матрица товаров и так ограничена). Еще с версии 7,7 все строят кубы во внешних системах.

    Reply
  14. Hatson

    Снимаю шляпу! Жаль, что так мало звезд. Тема непопулярная в среде 1С по очень простой причине: нет таких аналитиков или руководителей, квалификации которых хватит для постановки подобных задач — всё управление на сельском рабоче-крестьянском уровне и такие инструменты не востребованы.

    Reply
  15. nomadon

    (14) спасибо, думаю, это основы будущего, за тонкими нотами хайпа и пятилеткизатригода мы переступим и будем жить с мат ожиданием, соответствующим корреляции наших познаний сущностей.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *