<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55
global $wpdb2;
global $failure;
global $file_hist;
///// echo '<H2><b>Старт загрузки</b></H2><br>';
$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
///// echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}
$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
///// echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}
/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
///// echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
///// echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist); ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7]; ////получаем размер файла
$m_mtime_file=$masiv_data_file[9]; ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file
///// echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
///// echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
///// echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);
if ($results)
{ foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));
////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
///// echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
///// echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}
////загружаем данные
$table='vin_history'; // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация // (путь от корня web-сервера)
$delim=';'; // Разделитель полей в CSV файле
$enclosed='"'; // Кавычки для содержимого полей
$escaped='\
Советую сделать ввиде статьи, нафига это качать потому, как непонятно, ничего там такого эзотерического нет…одним словом — для новичков.
(1) учел ваше замечание, сделал пометку в анонсе
(2). Совет был не в том, чтобы добавить пометку «для новичков», а в том, чтобы переделать обработку в статью.
Добавлено
Да и статья как-то не очень. Куча текста, а зачем — непонятно.
(3) я так полагаю, всем не угодишь одним текста мало, другим много
файл решил оставить на загрузке, добавив пометку в анонсе
(4). Да всем годить не надо. Если у тебя текст — оформляй как статью. Если конфа, база, компонента, обработка или отчет, тогда прикрепляй соответствующий файл.
(5) спасибо, учту на будущее
Можно я, в виде исключения как тутошний новичек, эту статью оставлю в виде файла? Или таки надо переделать?
(6). Дело твое, конечно, я же не модератор. Только учитывай то, что те, кому может понадобиться эта информация, по каким-то причинам просто не скачают файл, а значит не узнают что в файле, а это в свою очередь значит, что они не будут иметь возможности понять, что именно это им и нужно.
(7)Да…, с этой точки зрения я не рассматривал. Тут же ограничение на количество скачиваний. В ближайшее время переделаю.
Как вариант, можно просто здесь изложить кратко основные положения, а полный текст в файле, если много иллюстраций и сложно все оформлять статьей.
Лучше переделать. Потренироваться в редактировании и расположении рисунков прямо в тексте .
Сейчас тема не открывается в IE8.
Подход , описанный в статье :
Откажемся от регистра для хранения информации из-за медленной записи
И будем использовать SQl-таблицы.
— представляется глубоко ошибочным.
Для решения таких задач нужно использовать справочник с табличной частью.
Табличная часть справочника — это обычная таблица SQL без индексов.
На всякий случай (про запись в табличную часть справочника) :
«Если менялись только отдельные строки табличной части или добавлялись новые строки, то будут записаны только измененные или добавленные строки.» (с) Радченко с.42. «Профессиональная разработка в системе 1сПредприятие8»
Другими словами запись в табличную часть уже оптимизирована.
(12) Цитата «Табличная часть справочника — это обычная таблица SQL без индексов.» неверна.
Цитата из почти официальной статьи на kb.1c.ru
Индекс Условие
Ссылка + Ключ (Кластерный) Всегда.
Реквизит Объект конфигурации включен в критерий отбора через реквизит «Реквизит» табличной части или для реквизита табличной части установлено свойство «Индексировать».
(13) Не путай людей — лицензия 1С расходится со статьями соответствующего закона.
ЗЫ КАК МОДЕРАТОР предупреждаю — говорим только по теме этой статьи, считаю разговоры о лицензии для сабжа оффтопиком и буду удалять посты о лицензии.
(12) сейчас приемлемо отображается?
(9) эх вот ведь, так и было изначально…
(14) Ты приведи связный текст цитаты (сейчас набор символов), приведи точную ссылку.
Я же подразумеваю прежде всего , что таблиная часть не содержит тех обязательных индексов на измерения в регистре и запись в табличную часть осуществляется значительно быстрее , чем в регистр.
(16) Нет, неверное отображение, последнее,что видно
<!—[endif]—><!—[if !vml]—><!—[endif]—>
(17) Вот и писал бы точную фразу, а не подразумевал что-то, что путает 🙂
С (17) согласен, с (12) нет
(20) Постой я, правда , не знаю какие индексы на табличную часть будут , если ни на один реквизит табличной части не поставлено «Индексировать». Тебе трудно что ли ссылку дать ?
(17) У меня нет сейчас доступа к этой закрытой части сайта 🙂
Вот начало статьи (думаю, что этого достаточно)
«« Рубрикатор / Просмотр статьи (ID: 20)
Разделы рубрикатора:
/ Техническая информация / 1С:Предприятие 8.1
Индексы таблиц базы данных
Автор: Рупасов Константин (1С, Москва)
ЗЫ вроде что-то такое еще на ИТС есть.
И в «гроссбухе» на 1000 страниц (название не помню) также эта инфа должна быть
(15) ваше право, но ИМХО когда учите людей (особенно новичков, которым адресована данная статья) стоит предупреждать их о возможных последствиях использования полученных навыков
(22)
(16) Все также, теперь осталось
<!—[if !vml]—><!—[endif]—>
(26) Ага , прочитал.
Для справочника с табличной частью и отсутсвием реквизитов в табличной части с признаком Индексировать
индекс будет только один «Ссылка + Ключ (Кластерный)» . Спасибо.
(27) вроде победил <!—[if !vml]—><!—[endif]—>
Сама же статья поучительна тем , что даёт предметный урок «новичкам»:
прежде чем изобретать — изучи встроенные возможности платформы 1с.
(23) на мой взгляд в статье четко указано в каких случаях можно это использовать
(29) да, с отображением статьи все хорошо.
(30) а какое решение вы бы предложили в ситуации, описанной в статье?
(32) Использовать для хранения таких таблиц справочник с табличной частью.
Такой подход даёт максимально быструю запись , не требует ADO-соединения к внешней базе.
Что по само по себе является большим выигрышем , по сранению с Вашим подходом.
И цель моего выступления была именно в этом.
Конкретный же сценарий обработки таких данных — это отдельный разговор и требует отдельной статьи и со сравнительным анализом. В планах у меня нет такой статьи.
(0) Ведь платформа 1С 8.х оптимизирована для работы с SQL!
С этого места по-подробнее, пожалуйста.
(35) речь о запросах
у вас есть иные данные? Хотелось бы ознакомиться
(36) хм… о запросах, да?
ок, что есть «оптимизация» по-вашему и что, соответственно вашему определению «оптимизации», оптимизировано в 8 для работы с запросами?
что касается моего ИМХО, то 1ска просто делает запросы к скл как может 🙂
в скльном «диалекте» 1С есть некоторые «примочки» типа «через» точку, но назвать это «оптимизацией для скл» я бы не риснул
(38) а если сравнить с 1С 7.7?
Присоединяюсь к (35) . Это, что значит? Если оптимизирована с SQL запросами, по вашеиу тогда зачем люди напрямую обращаются к sql и тогда о чем ваша статья? Ведь бывает что — пусть уж лучше в некоторых случаях связка com-ado, чем 1С запросы. По мне 1С как переводчик, а переводчики не всегда точны. И потом 1С запросы работают с сущностями, с объектами в отличие от SQL, который ни в пень ногой, что там за справочник и какие у него свойства. Потому сравнение запросов 1С и sql, и то что они там как-то оптимизированы весьма и весьма вопрос темный. ….»
PS Что в черном ящике?»(игра что?где?когда?)
(39) Не спеши присоединяться к (35). Этот пост ни о чём , т.е. пальцем в небо.
Лучше думать своей головой.
Первая задача 1с-ника изучить встроенные возможности платформы и эффективно их использовать.
Если кто-то крикнул , что ему не хватает встроенных возможностей платформы в типовых учетных задачах —
в 99.99% случаях он просто не умеет решать задачи.
(40) Я вообще не о том…я про странные высказывания — то, что 1С 8 оптимизирована с SQL — что это значит? Как, по сравнению с чем и откуда такие сведения.
ЗЫ А первая задача 1С-ника — это руководствоватся первой задачей программиста — быстрый, качественный результат за минимум необходимых средств и действий. Вряд ли 1С-ник, если потребуется один раз сравнить таблицы из базы 1С и из другой базы(тоже на SQL) будет использовать 1С.
(38) а попу с пальцем? то же самое. имхо, сравнивать 77 и 8 — некорректно
вот еще, с чем и как сравнивать, например:
Для новичков всё-таки это круто очень. Не отквоченный кусок в смысле, а вообще прямой доступ к sql. Можно ведь сломать базу с концами..
Если б я увидел новичка, ковыряющего в 1С-ной sql таблице, отправил бы его на галеры :).
По статье — не нашел как новичку определить, что поле «V8_InfoReg1152_1.V8_Fld6853» это именно нужный ему реквизит из нужного ему регистра. Кроме того, если планируется частое обращение к sql, лучше сразу создать view с названиями таблиц и полей по образу и подобию 1С метаданных и не попадать в ситуацию, когда становится мучительно больно от одной перепутанной цифры во всех этих «reg», «fld» и пр.
Наверное, есть уже удобные и простые обработки автоматически создающие view по метаданным 1С?
(44) Доступ к SQL проходят на втором, третьем курсе института. Те же, кто не учил это в институте — сталкиваются с доступом sql, когда работают с базами даннами. А 1С здесь частный случай.
ЗЫ Обработок создающих view куча
(44) Чего-то найти не могу…проще самому наверное написать скрипт — CREATE VIEW DBO.Справочник_Траляля
ЗЫ на работе у меня точно такая штука есть
(44) хватит придираться ))))
забыл поменять V8_InfoReg1152_1.V8_Fld6853 на MyTable.ПолеСценСсылка )))))
так на всякий случай, это таблица не 1с, а всего-лишь её копия: V8_ и _1 должны вам что-то говорить
(44) Для определения поля и самой таблицы в помощь
(48)
Я искренне восхищен интергратором и объемом проделанной работы,.. но стараюсь по возможности обходится программами с меньшим количеством кнопок и окон :).
— вот эта очень нравится.
(49) спасибо за ссылочку, простенько и со вкусом
1. А почему Вопрос() в транзакции? Да, я понимаю, что нет ни repeatable read, ни holdlock, ни serializable, но всё равно как-то криво.
2. CONVERT(DateTime,'»+Формат(НачалоДня(ДатаНач), «ДФ = «»YYYY.MM.dd HH:mm:ss»»»)+»‘ ) не совсем правильно. В соответствии с лучше исльзовать формат { ts ‘1998-05-02 01:23:56.123’ } или { ts ‘1998-05-02 01:23:56’ }
3. Много мелких неаккуратностей: использование «Conn.Execute(«BEGIN TRANSACTION»);» (а вдруг используется connection pooling?), нигде явно не указаны блокировки (то ли есть уверенность, что режимы по умолчнию подходят, то ли нет понимания темы), не указываются режимы исполнения ADO (т.е. зачем-то получаются рекордсеты при операциях DML), не используются параметры запросов (возможно, запросы бы ускорились) и многое другое
(51) 1.- посоветуйте, как было бы лучше?
3. можно узнать подробнее о connection pooling?
если вас не затруднит, хотелось бы раскрытия темы по всему 3 пункту
по первому пункту отвечу сегодня, по третьему завтра или чуть позже.
Тут момент такой, что управлять транзакциями с клиента — суть зло. Иногда необходимое зло, но всё равно возникает лишний момент, который надо постоянно учитывать. В данном случае — какая разница где начата транзакция в 1С или в АДО, если внутри транзакции работа сервера приостанавливается чтобы спросить у пользователя: «уверен?». Пользователь может несколько секунд думать, а если выполнение транзакции предполагает какую-то блокировку, то все будут ждать. Плюс автоматом манипулирование транзакциями на клиенте означает, что транзакцию нужно обеспечить в 2 системах (иначе прощай целостность данных). Плюс есть интересная специфика, если используется уровень изоляции readcommited snapshot. В данном-то случае всё относительно гладко — по умолчанию используется уровень изоляции readcommited и блокировка снимается сразу после завершения чтения запроса (тем более, что sysobjects в MS SQL 2005 и выше лишь представление над системными таблицами, и его использование, кстати, желательно исключать, заменяя на INFORMATION_SCHEMA.TABLES).
Еще сразу можно добить, что вообще говоря есть случаи (connection pooling), когда каждая из последовательных команд не гарантирует, что выполнится в одном и том же соединении, но опять же в данном случае, это к счастью не так.
Завтра допишу про остальное.
PS: ой, не заметил, что там в цикле с транзакцией и вопросом «drop table». Тогда вопросу() нет оправдания — блокировки будут накладываться Sch-M и до конца транзакции.
Зачем надо знать, что таблица есть или нет. Поставте галку — перезаписывать или нет заранее. Затем есть такая вещь как NamedParameters. Ну и в качестве примера произвольный текст
|;
|SET ANSI_WARNINGS ON
|;
|SET NOCOUNT ON
|;
|SET ANSI_NULLS ON
|;
|if exists (select * from sysobjects where Чего там надо ) drop table какую надо
И здесь же сразу можно создать table.
Рекордсеты в этом случае излишне. Серверу, чтобы выполнять операции dml действительно не нужны.
locktype же — ну все зависит от ситуации. Если применительно к данной статье, то не думаю что стоит заморачиватся с connection pooling.
(55) Прекрасный ответ и рекомендации.
(56) Это да.
(0) Еще если интересно — почитайте(мне вот эта статья понравилась) Вообще блог Гилева рекомендую.
(57) Это не Гилёвская статья. Ссылку на оригинал я дал. Но в целом руководство зачетнейшее.
(58) Сорри, не заметил…вы прям мои мысли читаете 😀 …но такие ссылки не стыдно баянить 😉
(57) интересно, читаю
Лучше всё же пример для 2005/2008 скуля написать, там и инсерт в табличке поприятнее слеплен, да и еще много вкусностей
Полезная статья, как раз начинаю ковырять эту тему, пригодилось Ваши функции 😉
Респект автору!
И статья полезная, и обсуждение полезнейшее… Всем спасибо, зачёт автору, благодарности продвинутым комментаторам…
INsert в цикле на больших объемах как ведет ?
Если в запросе разом писать по 10 строк в таблицу — будет ли прирост производительности ?
И вместо знаков вопроса можно именновые параметры ? Что то в 1С не взлетело (
(65)что не взлетело в 1С со знаками вопроса? все взлетает
(62,63) спасибо
(66)
Со знаками да, конечно.
Вопрос был про именованные параметры.
(68) я на знаках вопроса остановился