Простой бесплатный DashBoard с помощью http сервиса




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

30 Comments

  1. zavbak

    Молодец. Мы тоже копаем grafana. Единственное с правами доступа там вроде не очень.

    Очень хорошо стыкуется с zabbex и астериск.

    Reply
  2. Mi11er

    Супер, в закладки, как будет время, запустим у себя =)

    Reply
  3. ValeriTim

    ААаа … ах вот он оказывается как умеет … а я собирался костыли лепить через Zabbix.

    Спасибо огромное! В закладки однозначно!

    Reply
  4. dewersia

    (1) С правами да, там все не слишком гибко, разграничение есть только по ролям и организациям. Стыкуется то она много с чем, только вот сначала в это надо данные запихнуть, если говорить про мониторинг систем и оборудования там есть много приложений, которые передают данные в тот же zabbex, graphite. А для 1с это будет являться лишним шагом. А через http сервис получаем все в реальном времени и напрямую.

    Reply
  5. Vovanches

    Хорошая статейка, практичная. Молодец!

    Reply
  6. Makushimo

    Автор написал «Я постарался максимально прокомментировать там все, что я делаю».

    Это все круто.

    Но автор забыл написать, зачем он использует этот инструмент.

    То есть тыкаем сюда, потом сюда, потом сюда. тут график какой то. (гы гля какой красивый).

    Йопта, а зачем это все?

    Ну вот настроил ты это и что с ним дальше делать будешь? как использовать?

    Или, пардон, я опять влез на закрытую вечеринку?

    Reply
  7. dewersia

    (6) Максим, добрый день. Собственно идея статьи была не выложить готовый продукт, который что-то показывает, а объяснить как работать с одним из сервисов по созданию дашбордов. Где и для чего это будет использовано каждый выбирает сам. У себя я это использую в качестве вывода показателей по сети, выполнение плана, продажи в час и т.д.. В обычные дни это может не так актуально, но при пиковых периодах, когда от быстрого и правильного принятия решения зависит выручка, оценивать показатели, в графическом виде намного эффективней, чем читать полотно с цифрами.

    Reply
  8. Makushimo

    (7) то есть это используется для демонстрации высшему менеджменту итоговых цифр, чтобы не лазили в 1С.

    В 1С есть продажи и много документов, Менеджменту лень и хочется видеть итого.

    Берем такой вот инструмент и

    дальше пошла ваша статья.

    Согласитесь пару предложений сразу расставляют все по местам. ))

    Reply
  9. dewersia

    (8) Согласен, спасибо за критику, в следующих публикациях учту этот момент. 😉

    Reply
  10. user721966

    Круто, однозначно в закладки

    Reply
  11. spezc

    Круто) спасибо что поделились)))

    Reply
  12. baracuda

    Ответьте пожалуйста кто то, зачем писать http-сервисы на 1с, если есть автоматически генерируемый REST Odata?

    Reply
  13. Stepa86

    (12) REST Odata вернет нужные данные с нужным форматом?

    Reply
  14. baracuda

    (13) Json/XML что еще кроме этого нужно?

    Reply
  15. Stepa86

    (14) Нужен JSON конкретной структуры, в котором будут нужные поля и в нужной последовательности. Ваш вопрос выглядит примерно так — зачем нужно писать обмены между конфигурациями, если они обе умеют в xml?

    Reply
  16. baracuda

    (15) Rest дает тебе полную инфу о сущности, что использовать а что нет, решать самому.

    Мне просто почему такую полезную, интересную и дико универсальную штуку никто не юзают. Прочитают таких статей и бегутся писать http-сервисы.

    Reply
  17. Stepa86

    (16) ну напишите статью как с помощью RESTа сделать красивый дашборд, плюсцов отхватите и позицию свою отстоите.

    Reply
  18. baracuda

    (17) видимо придется написать

    Reply
  19. dewersia

    (18)Олег, добрый день. Ну давайте я попробую объяснить, почему не oData. Первое и самое главное, у сервиса который использовал я, нет возможности напрямую делать запросы по этому протоколу. Во вторых, даже используя вашу логику, как получить не выборку из регистра накоплений, а сформировать структуру данных в определенном формате? Как можно получить выборку из двух регистров и скомпоновать их в требуемый результат, используя только http запрос, который должен вернуть json определенной структуры. Я конечно не так тесно работал с протоколом oData, но насколько мне известно это не возможно без обработчика на стороне клиента, подключаемого к 1С. Для работы с oData, можно использовать ну допустим power BI, там есть стандартные методы для работы с данным протоколом.

    Reply
  20. dewersia

    (20)Так о том и речь, что ваш комментарий к данной статье, немного не в тему. Да, можно сделать дашборд с использованием и протокола oData, но для этого потребуется либо использовать другой инструмент или писать что-то свое. Да даже для этого сервиса можно написать свой плагин, который будет строить запросы через oData, но сколько на это потребуется человеко часов и будут ли они оправданы? И тогда наверное это будет тема для другого обсуждения ). Здесь нужно учитывать для какой задачи использовать тот или иной инструмент. Например для сайта, который должен выдавать пользователю актуальные данные хранящиеся в 1С это может быть очень полезно, но в данном конкретном случае, это не возможно использовать.

    Reply
  21. dewersia

    (22)Олег, тут ключевое слово «Написать», если бы я писал свой сервис этот диалог я воспринимал, как конструктивную критику с еще одним вариантом решения. Но еще раз повторюсь, в данном конкретном случае, при использование стороннего сервиса и для конкретной задачи, это не рентабельно. Зачем делать второй велосипед, который будет с теми же характеристиками, но другого цвета, если первый стоит у тебя в гараже готовый к выезду.

    Reply
  22. herfis

    (12) Странный вопрос. Ответ на поверхности — для этого как минимум необходим клиентский обработчик, который будет формировать правильные запросы к 1С и нужным образом обрабатывать получаемые от 1С данные. Сторонние сервисы практически никогда не дают такой возможности — они просто предоставляют простой API. А писать дополнительную прослойку между сторонним сервисом и Odata на своей стороне — это очевидный и ненужный гемор. Единственная возможная причина для этого — возможность работы с типовой без снятия с поддержки. На первый взгляд, это может быть достаточной причиной. Но если упираться именно в это, то проще и универсальнее будет работать через конфигурацию-прослойку, которая будет стучаться в типовую по COM и «отдаваться» через http-сервисы. Odata далеко не панацея, хотя на первый взгляд может показаться таковой.

    Reply
  23. tvm

    А кто-нибудь из MySQL пробовал данные отображать?

    Reply
  24. tvm

    разобрался

    Reply
  25. nomadon

    (12)

    а я бы проголосовал немного за другое, при изменении структуры данных изменения в сервис в носит разработчик 1с, а другая система остается не тронутой используя ту же саму точку входа

    Например, сервис остатков товаров на складах. Допустим использует два регистра, товары на складах и товары организаций.

    1. odata получает две сущности как то связывает и выводи

    2. сервис — запрос 1с.

    теперь мы сделали крутой регистр типа партий со стоимостью по организация

    1. odata — нужно вносить модификацию в механизм формирование запросов ( а если потребитель услуг не вы а те кто вам платят, как объяснять почему перестало работать?)

    2. в случае сервиса — меняем текст запроса

    Reply
  26. VVi3ard

    (12)

    зачем писать http-сервисы на 1с, если есть автоматически генерируемый REST Odata

    Затем что grafana не умеет работать с ODATA.

    ODATA это протокол обмена данными, следовательно обе стороны должны уметь с ним работать.

    ODATA — это совокупность формата + структуры + протокол (описание методов и свойств).

    Формат данных ODATA (JSON) совпадает с форматом который понимает grafana, а вот структуры данных и протокол обмена не совпадают.


    Json/XML что еще кроме этого нужно?

    Вы путаете формат данных и структуру данных.

    grafana понимает не просто данные в формате Json а данные с определенной структурой, у ODATA эта структура совсем другая.

    Reply
  27. user960034

    подскажи пожалуйста как получилось, у меня не получается графики построить(

    Reply
  28. Кадош

    Как то слишком убого и затратно выглядит.

    Проще на связке MS PowerBI + oData

    Reply
  29. dewersia

    (30) Ну по поводу убого, это дело сугубо индивидуальное. По поводу PowerBI, ну почему бы нет, как альтернатива. Только что-то мне подсказывает, что он платный. Бесплатная версия только desktop и она работает на 1 машине (могу ошибаться, но вроде так). Во вторых, не уверен, что в BI будет проще составить запрос по данным, чем написать тот же запрос в 1С. И главное скорость работы с данными, дашборд это не аналитика, которую можно подождать мин. 20, а данные в графическом виде в реальном времени.

    Reply
  30. Кадош

    (31) PowerBI действительно платный.

    Во вторых, не уверен, что в BI будет проще составить запрос по данным, чем написать тот же запрос в 1С. И главное скорость работы с данными, дашборд это не аналитика, которую можно подождать мин. 20, а данные в графическом виде в реальном времени.

    Для запросов есть уже готовые инструменты. Скорость работы думаю будет даже повыше чем в вашем случае, а графика в тыщу раз красивее и нагляднее

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *