D365FO - импорт файлов периодической операцией через BULK INSERT

[pedrozzz]

Процесс:

1. Некая сторонняя система или человек выкладывает файл в некий каталог
2. Периодическая операция в аксапте видит новые файлы и вызывает хранимую процедуру на SQL, в которую параметром передается путь к файлу
3. SQL засасывает содержимое через BULK INSERT и возвращает либо Ок, либо ошибку
4. В зависимости от ответа файл перемещается либо в каталог архива, либо в ошибки

На Ax2012 задача решалась просто, через сетевую шару и настройку доступа к каталогам всем, кому надо.

В D365FO насколько я понял аналог сетевой шары можно сделать через Azure File Storage, который можно замаунтить и использовать, как диск. Но во всех примерах с Azure BULK INSERT используется Blob storage, который, как я понял, замаунтить нельзя.

Вопросы к тем, кто, может быть, уже решал аналогичную задачу.

1. Можно ли на SQL использовать в качестве external datasource не Blob, а File storage?
2. Если нет, то как быть?

На второй вопрос пока вижу ответ, средствами Ах копировать из File в Blob, передавать на SQL Blob, после успешной/неуспешной вставки данных этот Blob удалять и манипулировать дальше с File опять из Ах. Но как-то сложно это всё выглядит Может есть путь проще? Размеры файлов, кстати, от 4 до 10 Гб, как там с копированием File -> Blob? Оно в облаках выполняется или сначала скачивается файл, а потом закачивается обратно?

[Vadik]

https://github.com/Microsoft/Recurri...ions-Scheduler

[pedrozzz]

Цитата:

Сообщение от Vadik

https://github.com/Microsoft/Recurri...ions-Scheduler

Спасибо за ссылку, почитаю. Пока не совсем понял, как оно может помочь. Здесь полный цикл в том числе и механизмы для импорта файлов? Или оно только помогает раскидывать файлы по каталогам? Как оно ведет себя с большими и очень большими файлами? Пока интересуют около 10 Гб и до 100 миллионов записей в файле.

[EVGL]

Цитата:

Сообщение от pedrozzz

Спасибо за ссылку, почитаю. Пока не совсем понял, как оно может помочь. Здесь полный цикл в том числе и механизмы для импорта файлов? Или оно только помогает раскидывать файлы по каталогам? Как оно ведет себя с большими и очень большими файлами? Пока интересуют около 10 Гб и до 100 миллионов записей в файле.

Полный цикл. Забрасывает файл через HTTP, файл попадает в BLOB, а потом передает его в DIXF aka Data management aka Recurring integration.

[trud]

https://community.dynamics.com/365/f...e-file-storage
можно наверное прочитать во временную таблицу и сделать insert_recordset или типа того

[Vadik]

Цитата:

Сообщение от trud

https://community.dynamics.com/365/f...e-file-storage
можно наверное прочитать во временную таблицу и сделать insert_recordset или типа того

уверен, что наверняка есть способы и позамороченнее, только вот RIS в связке со стандартным data management работает "из коробки"

[pedrozzz]

Цитата:

Сообщение от trud

https://community.dynamics.com/365/f...e-file-storage
можно наверное прочитать во временную таблицу и сделать insert_recordset или типа того

Эта ссылка есть у меня среди прочих в исходном сообщении, но спасибо за ответ. Как вы верно заметили insert_recordset сделать можно, так и было сделано ранее, но всё упёрлось в производительность именно чтения файла из Ах. Было достаточно медленно, файл содержит несколько десятков миллионов записей. Не знаю, как оптимизирован BULK INSERT, но он справляется с поставленной задачей за считанные минуты. Теперь вот заново приходится переизобретать велосипед.

[DSPIC]

Или через SFTP:

Renci.SshNet

Обертка для D365
SFTP.ZIP