Обфускация данных в 1С




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

23 Comments

  1. spy-83

    по мне — так лучше делать названия типа

    Цена1, Цена2, ЦенаN

    Контрагент1, Контрагент2, Контрагент N

    и т.п.

    Reply
  2. insurgut

    На втором скрине читается любая строка без заглядывания в первый скрин. Уникальная способность есть у мозга человеческого воспринимать совокупность символов (даже если они перетасованы) как единое слово.

    Reply
  3. Brawler

    Обфускация такая штука дрюка, которая не скроет финансового состояния организации, по которой ведется учет в базе данных, будут как на ладони объемы сделок, себестоимость продукции, и тд. и тп.

    Ладно там замылить название контрагентов, имена физиков, продукции, так еще нужно замылить номера ИНН, СНИЛС, и тд. и тп.

    Вот так вот забудешь, что либо и ушли на просторы инета сведения коммерческой тайны или защищаемые 152-фз.

    Нужно не ленится создавать пустую базу и на ней делать тестовые примеры.

    Бывает так, что находишь ошибку в рабочей базе, вернее о ней сообщают.

    Ты такой ее геройски пытаешься оттебажить, вроде выявляешь место в коде, где она возникает.

    Только письмо в 1С писать, а потом, ан нет, дай я попробую на пустой базе такую ошибку получить.

    И не могу ее получить.

    Оказывается косяк в установленных/снятых неведомых галочках в рабочей базе данных.

    Reply
  4. tormozit

    Обфускация больших объемов данных — весьма долгая операция. Ее разумно выполнять многопоточно или через СУБД.

    Касательно числовых значений кажется лучшее решение — умножение на случайный дробный коэффициент в диапазоне [1;2]. В таком случае нули в первичных строках таблиц сохраняются, что очень важно для вопроизведения ошибок платформы, но в строках итогов они конечно не сохраняются, поэтому обфускация чисел наиболее сильно влияет на воспроизводимость ошибок платформы.

    Reply
  5. kser87

    (4) tormozit, бесспорно.

    Но я и не рассчитываю на то, что обработкой будут пользоваться клиенты с большими базами данных. Она предназначена для тех, кто не может себе позволить нанять программиста для таких задач. Для мелких организаций вполне подойдет

    Reply
  6. kser87

    (2) insurgut, это когда данных немного

    Reply
  7. kser87

    (3) Brawler, ну обработка и не претендует на универсальность.

    Reply
  8. qwed557

    Чем не утраивает обработка с ИТС «Изменение конфиденциальной информации»?

    Reply
  9. kser87

    (8) qwed557, она разве работает на упр. формах?

    Reply
  10. kser87

    (3) Brawler, Нужно не ленится создавать пустую базу и на ней делать тестовые примеры. — обычно тестовая база является более или менее свежей копией рабочей. И обычно именно справочники точно копированы. Это делается как раз из-за неведомых галочек.

    Reply
  11. premierex

    А я бы такую базу даже в работу бы не взял.

    Во первых, между программистом и заказчиком должен существовать определённый уровень доверия, подкрепленный договором или устно — неважно.

    Во вторых отладка в такой базе будет существенно затрудняться, ведь при отладке иногда приходится прерывать работу программы, а при последующем запуске надо ещё вспомнить с каким «ёпрст» объектом ты работал.

    Пустая база — тоже не вариант. Тратить время на заполнение базы данными для отладки — абсурд, да и на практике чаще встречаются ситуации, когда ошибки возникают именно из-за неправильного заполнения данных пользователями, ну а программист-то, конечно, всё грамотно внесет.

    Такая вот «обфусцированная» база сразу наводит на мысль — заказчик не доверяет. Почему же я тогда должен ему доверять? И не получу ли я в качестве гонорара «обфусцированную» сумму, где завершающие ноли станут лидирующими?

    Reply
  12. kser87

    (11) premier, могут быть совершенно разные ситуации. Бывает у программиста и заказчика заключен официальный договор, сложились доверительные отношения. А бывает фирме не нужен постоянно специалист 1С. Например, они наняли фри на какую-то мелкую работу.

    Reply
  13. premierex

    (12) фри, как правило, мелкую работу выполняют в офисе заказчика, чтобы зафиксировать отработанное время. А чтобы не получить «обфусцированную» базу для отладки, достаточно подписать договор о неразглашении коммерческой информации или пообещать это заказчику устно.

    Reply
  14. kser87

    (13) premier, фри часто заказчика часто в лицо даже не знают и могут находится в другом городе. На то они и фри

    Reply
  15. h00k

    (9)

    она разве работает на упр. формах?

    Нет, но, что мешает открыть конфигурацию в режиме обычное приложение и запустить обработку?

    П.С.: ИТС-овкая обработка очень «прожорливая». Запускал на нашей базе УТ 11.1, с приличным объемом данных — рпхост вырос до 35Гб, но обработка отработала правильно.

    Reply
  16. kser87

    (15) h00k, Нет, но, что мешает открыть конфигурацию в режиме обычное приложение и запустить обработку? мне конечно ничего не мешает. Но для большинства простых пользователей это пустые слова.

    Reply
  17. kser87

    (15) h00k, почему рпхост так раздулся? Есть идеи?

    Reply
  18. revned

    Скачал, хотел чуть побаловаться, но не работает.

    Ошибка получения информации набора данных

    по причине:

    Ошибка в запросе набора данных

    по причине:

    {(1, 1)}: Ожидается выражение «ВЫБРАТЬ»

    платформа 8.3.9.1818, база самописная

    Reply
  19. kser87

    (18) revned, киньте скрин настроек

    Reply
  20. revned

    (19) kser87, настроек чего? Форма обработки не открывается. Причем ставлю точки останова ПриОткрытии, ПриСозданииНаСервере — нет эффекта, не заходит в отладчик.

    Reply
  21. revned

    (19) kser87, В типовой бухгалтерии 3.0 то же самое

    Reply
  22. user1201613

    Всем привет! Данная обработка подойдет для конфигурации ERP 2.0?

    Reply
  23. kser87

    (22) да

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *