Опыт обслуживания базы 1С в PostgreSQL.




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2025-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

25 Comments

  1. DitriX

    тоже встал вопрос о том на чем ставить 1с, постгри на линуксе или мускул на Р2…

    Не сравнивали ли Вы случайно вот таких 2 варианта, а то интересно, где же шустрее и проще…

    Reply
  2. MaratL

    2DitriX 1C на мускуле не живёт.

    Или я не так понял?

    Reply
  3. sashacd

    (1) Производительность одной и той же базы(текущей) в PostgreSQL и MS SQL к сожалению не сравнивали. Второго аналогичного по ТТХ сервера нет, на рабочем ставить MS SQL не судьба. А на обычном компе не интересно. Все сравнения были в начале, и в общем то на маленьких по объему базах.

    Reply
  4. Vladimir7799

    Год назад делал сравнение производительности , пробывал sql 2000, 2005 and postgres под windows. Под виндой 1. место — 2000, второе 2005, третье postgres. При условии установки по умолчанию, без тонкой настройки. После настройки postgres повышает производительность, но проигрывает мелкософтовским продуктам. Под linux с минимальной насторойкой postgres показывает производительность почти как 2000 под виндой. Сейчас у меня 2 сервака крутятся под linux — надежно и без гемора. При активном использовании базы претензий к работе вообще нет. Серваки перегружаются где то раз в пол года, по причине что в конторе просто выключают электроэнергию для профработ на выходные. По поводу статьи — вакуум можно делать и почаще 😀 Можно использовать pgAdmin.

    Reply
  5. Vladimir7799

    Да забыл .. тест производил под windows server 2003 r2, Linux openSuse 11.1 . железо использовалось для тестов одно и тоже, на чистую операционку.

    Reply
  6. fastwriter

    Очень нужная статья — по работе 1ц с Linux и Postgree материалов пока недостаточно.

    Reply
  7. sashacd

    (4) Чаще vacuum не делаем(там есть FULL) — и надеемся на autovacuum

    Reply
  8. Vladimir7799

    Зря надеетесь на autovacuum. хотя full достаточно раз в одну- две недели делать, зависит от нагружености базы. Кстати какой из linux -ов используете?

    Reply
  9. sashacd

    (8) На рабочем сервере сейчас стоит MOPS 32bit, ядро пересобрали(памяти много, поэтому добавляли PAE). Для различных эксперементов успешно устанавливалось еще на SLES 64bit, Slackware.

    Reply
  10. iceflash

    опыт хороший, но я бы хотел узнать как у вас так быстро выросла БД, или если это не БД, а всего лишь каталог Data где лежит «много» всего. Сам использую Postgres и доволен, сама бд очень нарвиться, не только в качестве субд для 1С (1с, кстати очень извратились из-за лени видимо, со своим патчем по поводу блокировок, чем самым, производительность данной субд значительно падает и при хорошей производительности будет равна ms sql)

    интересен так же конфиг, разделы автовакуума, анализа, и распределения памяти. На моеми проекте работает 28-30 пользователей, база 11 Гб.

    Опять же бесит еще одна ошибка 1С (ух, как же я люблю их называть 1ц) это проблемы со штатным бэкапом когда конфигурация стоит на поддержке.

    Reply
  11. sashacd

    (10) Путь базы — 01.01.2008 старт в файл сервере — 01.08.2008 старт в PostgreSQL — август 2010 работаем дальше в PostgreSQL. Предприятие у нас производственное — много документов отчет производства за смену(наработка и выпуск).

    Одновременно работает в базе наверно пользователей 35(плюс минус), вообще ключей 50 и все были заняты.

    Конфиг, разделы автовакуума, анализа, и распределения памяти, а также все эксперементы это тема отдельной статьи….

    Штатный бекап делается ночью в wine(dt). Еще pgdump запускается ночью и в обед.

    Reply
  12. iceflash

    Просто меня на данный момент интересуют пара вопросов, по тюнингу постгрес в этих направлениях потому и было бы очень интересно сравнить/посмотреть. А зачем делает еще выгрузку информационной базы штатными средствами 1С? (были случаи когда из бэкапа постгреса не смогли восстановить?)

    Reply
  13. sashacd

    (12) Зачем штатными? — это когда с утра хотят пользователи поэксперементировать со вчерашними данными — и побыстрее хотят. Или дома посмотреть базу.(Если не корректные параметры postgresql.conf, то не сделает архив, логи конечно будут, но шанс пролететь есть)

    А postgresql.conf можем и обменяться + sysctl + config ядра

    Reply
  14. iceflash

    Ага, надо будет обменяться=) Кстати пару раз возникала проблема с присвоением нового номера для документа, штатными средствами, не встречались с таким, было именно несколько раз за пол год. т.е. при вызове метода установки нового номера возвращается значение существующего уже документа (это как то связанно с обработкой самой БД) но данная проблема, как пришла так и ушла без изменения кода=)

    Reply
  15. sashacd

    (14) Нет, такого не было. Вот только на последнем сервере предприятия установили только 4 рабочих процесса, на предыдущем релизе делали 6. Но с 6 стало как то тормозить.

    Reply
  16. iceflash

    у нас на том объекте 2 процесса на сервере 1ц. А баз 3 :

    2 типовых бух-ии (6-10 пользователей в каждо)

    1 разработка отдельная (28-30 пользователей)

    Reply
  17. sashacd

    да кстати тоже не стали мудрить — все на один сервак взвели — pgsql и сервер предприятия, freenx и базы в файл-серверном исполнении. Получилось как раз до кризиса сервак купили — пока тянет. А кстати у вас в postgresql несколько баз 1с?

    Reply
  18. iceflash

    там сейчас такая структура один сервак(8Гб процессор мощный не помню какой точно, но общая загрузка 10-13% рэйд массив 5) на нем 1ц сервер, и постгрес для конфы разработанной на 11 Гб (28-30 пользователей)

    Другой комп, просто средний с сата дисками на нем постгрес для 2-х баз бухгалтерии и еще там 2 зупа файловых, работает там в этих базах не много народу, до 10 пользователей.

    Но в 1-ой базе крутится служебный пользователь которы, из бух-ии тянет данные по 60,62 счету, и все документы для акта сверки (Счет, Реализация, Поступление услуг, банковские выписки)

    Reply
  19. zhleonid8

    проверено, терминал ставь , рейд массив,

    Reply
  20. imshev

    а в чем причина таково нереального размера вы не разбирались?

    Reply
  21. йцукенн

    Под Win 2008R2, медленно работал 1с в связке с PostgresqL.

    Перенесли Postgresql на cервер Linux, поставили автовакуум, последний релиз сервера 1с и сборки Postgresql для 1с. В настоящий момент быстродействие увеличилось примерно в полтора раза. Тестировали на проведении документов за весь период ведения учета.

    Reply
  22. йцукенн

    Посмотрите логи БД, почистите их по необходимости.

    Reply
  23. sashacd

    Проблема : После обновления УПП с 1.2.х на 1.3.х, не работает создание резервной копии средствами СУБД PostgreSQL, а именно работа pg_dump завершаеся с ошибкой — «pg_dump: Команда была: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;».

    Решение этой проблемы приведено в статье http://infostart.ru/public/18771/

    Для выполнения запросов иcпользуем PgAdminIII

    1) “SELECT FROM Config WHERE DataSize > 125829120” — увидеть, что такая запись есть;

    2) “DELETE FROM Config WHERE DataSize > 125829120” ;

    Reply
  24. ГМВ

    «Проблема : Как только из 60 остается свободными 1-3 лицензии, тогда 1С у пользователя начинает сильно тормозить в своей работе. Решения пока не нашли.»

    По моим наблюдениям, проблема существует и при большем количестве свободных лицензий, если поиск ключей происходит в режиме BROADCAST = Enable.

    Reply
  25. Shaka13

    У меня на останавливается и не перезапускается демон pgsql кто-нибудь сталкивался с таким?

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *