Ввод адреса с подсказкой и разбиением по структуре КЛАДР (dadata.ru)




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

30 Comments

  1. seermak

    Появился новый бесплатный ресурс http://fias.nalog.ru/Public/SearchPage.aspx?Division=2 Вот если его прикрутить к 1С было бы куда интереснее

    Reply
  2. mnemchinov

    (1) seermak, Не понимаю чем он интереснее… Во первых, ФИАС на данный момент еще сырой и неудобоваримый продукт (загружать и обрабатывать xml в 1,5 Гига то еще удовольствие + в самих данных ФИАС пока есть ошибки). Во вторых, в dadata до 10000 запросов в сутки бесплатно — для бухгалтера или даже расчетчика среднего предприятия более чем достаточно. Ну и в третьих, задача ввода адреса по структуре удобным для пользователя способом и без написания сложного механизма (для программиста) — решена.

    Reply
  3. seermak

    (1) 1.О скачивании данных с сайта разговору не было (проверка производится Online) 2. ресурс государственный и бесплатный 3. 10000 / 3 = 3333(букв) всего обращений к ресурсу при вводе адреса — улетают мухой при работе. 4.Посмотрите, как реализован ресурс поиска адресов по яндекс-картам(здесь где-то на сайте есть обработка). В остальном согласен

    Reply
  4. mnemchinov

    (3) seermak, Посмотрел обработки по работе с Яндекс картами — везде поиск идет по api. На сколько мне известно, фиас предназначен для скачивания и не имеет api (могу ошибаться, поправьте если не прав). Возможно есть варианты с использованием ПолеHTMLДокумента, но получится полный изврат, учитывая, что это онлайн подсказка.

    Есть еще бесплатный ресурс для адресов: kladr-api.ru, но там возврат идет в json. Обещали сделать xml, но когда не известно. Вот если прикрутить его, то было бы совсем интересно.

    Пока вполне удовлетворяет предложенная реализация.

    Reply
  5. mnemchinov

    (3) seermak, >…3. 10000 / 3 = 3333(букв) всего обращений к ресурсу…

    А почему именно на «3»? 🙂

    Reply
  6. seermak

    потому что обращение в ресурсу в процедуре автоподбор начинается после ввода 3 символа. Я смотрел реализацию в ФИАС = одни POST- запросы. Кладр-облако обращается: «Сервис предоставляет он-лайн интерфейс к базе адресов Российской Федерации(«ФИАС»)». Просто интересно — все равно все скатывается к ФИАС (включая разговоры об уходе от КЛАДРа).Я в своей конфигурации организовал поиск места рождения по яндекс картам — переставить полученную строку в «правильном» формате КЛАДРа труда не составляет(в общих модулях КонтактнаяИнформация и УправлениеконтактнойИнформацией есть все необходимые процедуры для преобразования строки в структуру хранения КИ. «Возможно есть варианты с использованием ПолеHTMLДокумента» — надо использовать не ПолеHTMLДокумента, а HTTP-запросы…. Получить адрес без привязки к КЛАДРу но в его формате это ведь здорово (а не таскать в базе более 4 млн адресных записей — бухи любят загружать весь КЛАДР на всякий случай). Ваш вариант — тоже вариант(не нравится только одно — частный ресурс и платность)

    Reply
  7. mnemchinov

    (6) seermak, На счет платного и частного ресурса полностью поддерживаю. Идея с пост запросами в фиас понятна — надо будет как-нибудь попробовать, пока нет времени. Идея с Яндекс картами тоже интересна и понятна. У нас на Облако МФО крутится уже около 30 баз на сервере (каждые два дня прирост +1 база в среднем), вводят адреса каждый день, пока укладываемся в бесплатные 10000, но скоро видимо будем превышать этот суточный лимит. Тогда придется реализовывать данные идеи. Как сделаю что-нибудь — выложу на инфостарт.

    Reply
  8. mnemchinov

    (6) seermak, Так и не понял про «3». Ведь вроде экономим три символа, а вы делите….

    Reply
  9. lyalius

    (7) неужели цена 2800 рублей в год за платную версию dadata.ru (24*7, неограниченное кол-во запросов) так останавливает? если пересчитать на ваши часы, вы же больше потратите на собственный сервис.

    Reply
  10. lyalius

    (7) кстати определение геокоординат по яндекс картам будет в дадате к осени.

    Reply
  11. mnemchinov

    (9) lyalius, Дело вовсе не в жалко 🙂 Не в качестве рекламы, сервис отличный — ребята постарались, молодцы. Цены, в принципе, тоже адекватные. Но когда есть бесплатная альтернатива и делаешь «для себя» вопрос переходит в статус принципа + спортивный интерес. Это по поводу платности. А по поводу «частный», то здесь всё просто: нет гарантий, что завтра владельцы сервиса не прекратят поддержку или не взвинтят цены или что-то еще по каким-либо субъективным причинам. Нет договоренности — нет ответственности. И тогда переделывать всю концепцию… нет уж, увольте. Только поймите меня правильно — я говорю о рисках, а не называю разработчиков/владельцев сервиса безответственными.

    Reply
  12. seermak

    (7) и мне стукните в личку — эта тема инткресна для меня

    Reply
  13. lyalius

    Дали на вас ссылку на dadata.ru, как на рекомендуемую интеграцию с 1С. Поздравляем 🙂

    Reply
  14. lyalius

    (6) seermak, а мне вариант с частным ресурсом и платностью больше нравится. Есть кому поддерживать сервис и понятно, на какие деньги.

    Reply
  15. seermak

    (14) вот альтернатива = http://kladr-api.ru/ причем я уже сделал обработку и для 8.2 и 8.3

    Reply
  16. lyalius

    (15) seermak, да, альтернатива 🙂

    Мы от них отличаемся тем, что делаем скрипты для проверки всех компонентов форм (адреса, ФИО и компаний), не только для адресов. Плюс еще возвращаем всякие приятные плюшки типа стоимостей квартир и в ближайшем будущем — метро и геокоординат 🙂

    А так да, каждый выбирает то, что ему ближе. Kladr-api бесплатен для некоммерческого использования, для коммерческого у них тарифы больше, чем у нас.

    Reply
  17. mnemchinov

    (17) lyalius, Интересно… Надо подумать куда прикрутить к нашему сервису…

    Reply
  18. lyalius

    (15) seermak, mnemchinov, кстати посмотрите у нас ввод юрлиц еще появился 🙂 Пара интернет-магазинов уже подключила, прикольно выглядит — вводят первую букву компании, а сервис находит полное название, ИНН, ОГРН и юридический адрес.

    Reply
  19. sikvel2012

    (7) типа ресурс свой пропиарили, только я не понимаю дураков которые доверяют свои учетные данные онлайн сервисам, получить адрес это одно а доверить учетные данные хрена пойми кому это другое

    Reply
  20. lyalius

    (19) reznic, вы доверяете данные hflabs.ru (разработчик dadata.ru), мы уже 9 лет на рынке работаем с клиентскими данными. Вот список наших клиентов: http://hflabs.ru/clients-partners/.

    Reply
  21. sikvel2012

    (20) lyalius, а Вы тут причем?

    Reply
  22. lyalius

    (21) reznic, я руководитель hflabs.ru и проекта dadata.ru

    Reply
  23. sikvel2012

    Ну та если Вы заметили о дадата я ничего плохого не сказал, и мы им даже пользуемся

    Я против хранения учетных, персональных и прочих данных в облоках

    Reply
  24. lyalius

    (23) reznic, спасибо 🙂 По поводу учетных данных — в том-то и дело, что мы их не храним 🙂 Если у нас обрабатывают файлы, мы их удаляем в течение 2 часов. А запросы через API не сохраняются.

    Reply
  25. sikvel2012

    Да речь не о Вас была а о скрытой рекламе облака мфо из 7 поста

    Обезличенные адреса меня не интересуют а другого мы через Вас не гоняет 🙂

    Раз говорите что удаляете то пусть так оно и будет 🙂

    Reply
  26. olegmedvedev
    HTTPЗапрос = Новый HTTPЗапрос();
    HTTPЗапрос.АдресРесурса = «/api/4_1/rs/suggest/address»;
    
    HTTPЗапрос.Заголовки.Вставить(«Content-Type», «application/xml»);
    HTTPЗапрос.Заголовки.Вставить(«Accept», «application/xml»);
    HTTPЗапрос.Заголовки.Вставить(«Authorization», «Token «+Token);
    HTTPЗапрос.УстановитьТелоИзСтроки(«<req><query>» + Текст + «</query></req>»);
    
    Соединение = Новый HTTPСоединение(«suggestions.dadata.ru/suggestions»,,,,,, Новый ЗащищенноеСоединениеOpenSSL);
    
    ОтветHTTP = Соединение.ОтправитьДляОбработки(HTTPЗапрос);
    

    Показать

    изменился API dadata

    Reply
  27. ollega

    Из обработки не вываливается список адресов, хотя под отладкой смотрю — пополняется список выбора. Получает список, тупо для выбора его не видно. У Элемента Адрес надо поставить галочку «Режим выбора из списка» и всё фурычит.

    Reply
  28. alex_4x

    Добрый день, подскажите, а зная ИНН контрагента, можно с Вашего сервиса получить адрес данного контрагента ? Или хотя бы адрес налоговой, где зарегистрирован контрагент. Цель — зная ИНН — заполнить к какому региону и городу данный контрагент относится.

    Reply
  29. SurmachAU

    (26) Спасибо, Ваш комментарий очень помог)))

    Reply
  30. for_sale

    (2)

    Привет из 2019-го! Сейчас бонуса в 10000 бесплатных запросов в сутки НЕТ. При регистрации даётся 100 бесплатных запросов, потом по 10 копеек за запись. Халява кончилась.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *