Импорт данных

Механизм импорта позволяет администраторам собирать данные из различных источников, а затем сопоставлять эти данные с соответствующими таблицами.

Механизм импорта SimpleOne поддерживает:

• различные типы источников данных.
• различные форматы файлов (если в качестве типа источника выбран Файл).

Выберите источник данных, поместите данные из него во временную таблицу Набора для импорта. С помощью схемы трансформации и соотношения полей сопоставьте данные из источника и целевой таблицы.

Ниже представлено графическое представление процесса импорта:

Ключевые понятия

Источники импорта

Создание источника импорта необходимо для загрузки необработанных данных в систему для дальнейшей обработки и преобразования. Вы можете настроить источник импорта с различными типами источников данных и форматами файлов.

1. Перейдите в Импорт → Источники импорта.
2. Нажмите Создать и заполните поля. 

3. Если вы выбрали тип Файл, нажмите на иконку скрепки и прикрепите нужный файл.

4. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Поля формы Источник импорта

[
  {
    "property": "value"
  },
  {
    "property": "value"
  }
]

После сохранения, на форме источника импорта появятся действия пользовательского интерфейса, которые отвечают за дальнейшую обработку импорта.

После загрузки данных в источник импорта, сохранения записи и вызова одного из действий загрузки данных, в связанном списке Наборы для импорта появляется новая запись.

Использование формата JSON

В качестве источника импорта можно использовать файлы, содержащие данные в формате JSON. В этом случае убедитесь, что файлы соответствуют следующим критериям:

1. Файлы JSON должны быть актуальными. Используйте документ RFC 8259 в качестве руководства. 
2. Типы данных, доступные для использования в структуре JSON, перечислены ниже. Использование dot-walking не поддерживается.

  {
    "top500": 1,
    "name": "More",
    "sector": "Oil and gas"
  }

Результат: один элемент. В таблице есть поля top500, name, sector и одна запись.

[ 
 {
    "top500": 1,
    "name": "More",
    "sector": "Oil and gas"
  },
  {
    "top500": 2,
    "name": "Nevermore",
    "sector": "Oil and gas"
  }
]

Результат: создан набор для импорта со связанной таблицей. Таблица имеет поля top500, name, sector и содержит две записи.

// Path for Each Row == exportField
{
   "exportField":[
      {
         "top500":1,
         "name":"More",
         "sector":"Oil and gas"
      },
      {
         "top500":2,
         "name":"Nevermore",
         "sector":"Oil and gas"
      },
	  {
		"top500": 4,
		"name": "Givememore",
		"sector": "Oil and gas",
		"more_info": "https://instance.example.com/company/34"
	  }
   ]
}

Результат: создан набор для импорта со связанной таблицей. Таблица имеет поля top500, name, sector и содержит три записи.

Преобразование имени таблицы импорта и колонок

Во время конвертации данных для импорта системные названия колонок и системные названия таблиц, которые отображаются в поле Наименование таблицы импорта в таблице Источники для импорта, транслитерируются и преобразуются по следующим правилам:

1. Каждый символ из списка символов кириллицы заменяется на символ, соответствующий порядковому номеру в списке символов латиницы:
   
   Таблица соотнесения

   Кириллица		Латиница
   а	А	a	A
   б	Б	b	B
   в	В	v	V
   г	Г	g	G
   д	Д	d	D
   е	Е	e	E
   ё	Ё	io	Io
   ж	Ж	zh	Zh
   з	З	z	Z
   и	И	i	I
   й	Й	j	J
   к	К	k	K
   л	Л	l	L
   м	М	m	M
   н	Н	n	N
   о	О	o	O
   п	П	p	P
   р	Р	r	R
   с	С	s	S
   т	Т	t	T
   у	У	u	U
   ф	Ф	f	F
   х	Х	h	h
   ц	Ц	ts	Ts
   ч	Ч	ch	Ch
   ш	Ш	sh	Sh
   щ	Щ	shch	Shch
   ъ	Ъ	\	\
   ы	Ы	y	Y
   ь	Ь	\	\
   э	Э	e	e
   ю	Ю	yu	Yu
   я	Я	ya	Ya

2. Затем все символы, не удовлетворяющие регулярному выражению /[^A-Za-z0-9_]+/u, заменяются на нижнее подчеркивание _ . То есть все символы, кроме больших и маленьких букв, цифр и нижнего подчеркивания, заменяются на _.
3. Текущее имя колонки разбивается на части по символу _, а затем они склеиваются символом _, например, для _DOC_____1 в итоге получим doc_1. При этом повторяющиеся символы нижнего подчеркивания сливаются в один. 

4. Текущее имя колонки приводится к нижнему регистру.

   Если полученное во время конвертации имя колонки пустое, то устанавливается имя imp_invalid_column + номер колонки. Номер колонки определяется ее порядком в таблице, нумерация начинается с 0, например imp_invalid_column0.

5. К имени добавляется префикс imp, например, imp_spisok_klientov.

Набор для импорта

Набор для импорта создается автоматически на основе необработанных данных, загруженных в источник импорта. Набор для импорта – временное хранилище записей, импортируемых из источника данных.

Поля формы Набор для импорта

Table structure: (top500 | name | sector)

Записи Набора для импорта находятся в отношениях родитель-потомок с записями таблицы Элементы наборов. 

Схема трансформации

Схема трансформации представляет собой набор соотношений полей. В этом наборе соотношений полей указывается корреляция между полями временной таблицы импорта и полями целевой таблицы.

Для каждой операции импорта требуется по крайней мере одна запись схемы трансформации, которая показывает связь временной таблицы импорта и целевой таблицы. 

После создания первого набора для импорта, создайте запись схемы. Для этого выполните следующие шаги:

1. Нажмите на Схемы трансформации на форме записи источника импорта, который вы настраиваете. 
2. В появившемся всплывающем сообщении пройдите по ссылке Создать схему трансформации. 
3. Заполните поля в появившейся форме. 
4. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Поля формы Схема трансформации

Скрипт преобразования

Скрипт преобразования позволяет настроить импорт данных с помощью JS-скриптов и классов серверного API после создания схемы трансформации. Для этого выполните следующие шаги:

1. Перейдите на нужную форму записи Схемы трансформации. 
2. В области Связанные списки выберите вкладку Скрипты преобразований.
3. Нажмите Создать и заполните поля. 
4. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Поля формы Скрипт преобразования

Соотношение полей

Соотношения полей используются для создания связи между полями временной таблицы импорта и полями целевой таблицы. Для этого необходимо определить значения из исходной таблицы, которые будут добавлены в целевую таблицу. 

Чтобы создать соотношение полей, выполните следующие действия:

1. Перейдите в Импорт → Схемы трансформаций.
2. Откройте запись соотношения таблиц, которую вам нужно настроить. 
3. Нажмите Создать соотношения полей, чтобы открыть виджет Соотношения полей. Смотрите скриншот в таблице ниже.
4. Настройте соотношения полей в текущем процессе преобразования.
5. Нажмите Создать, чтобы сохранить изменения.

Поля формы Соотношение полей

Запуск преобразования

1. Перейдите в Импорт → Наборы для импорта.
2. Откройте набор для импорта, который вам нужно преобразовать. Убедитесь, что статус набора Загружен.
3. Нажмите Трансформировать.

В результате появится всплывающее сообщение Импорт завершен. Импортированные данные будут перенесены в целевую таблицу.

Последовательность трансформации

 На схеме ниже показана последовательность событий, вызванных преобразованием:

1. Последовательность начинается со скрипта преобразования При старте импорта. Он выполняется в начале преобразования до того, как будет прочитана какая-либо запись Элемента набора.
2. (опционально) Скрипт, указанный в записи Соотношения полей, принимает объект записи таблицы Элемент набора в качестве аргумента и возвращает значение для помещения в целевое поле.
3. (опционально) Скрипт, указанный в записи Схемы трансформации, преобразует значения полей из исходной строки в целевую строку.
4. Скрипт преобразования В начале трансформации выполняется до преобразования исходной строки в целевую.
5. Между выполнением скриптов В начале трансформации и По окончании трансформации создается или обновляется целевая запись.
6. Скрипт преобразования По окончании трансформации запускается, когда исходная строка преобразуется в целевую.
7. Сценарий преобразования При завершении импорта выполняется, когда преобразуются все исходные строки.