Различия

Показаны различия между двумя версиями страницы.

--- tech:customer:rsv:install [2025/11/21 09:13]
dmitry_kalashnikov
+++ tech:customer:rsv:install [2025/11/21 10:47] (текущий)
dmitry_kalashnikov [Инструкция по установке Модуля проверки]
@@ Строка 1: / Строка 1: @@
 ====== Инструкция по установке Модуля проверки ======
-Создано тестовое приложение в виде server.js-файла, который запускается на Node.js как веб-сервер.
+Модуль проверки представляет собой приложение в виде server.js-файла, который запускается на Node.js как веб-сервер.
 Исходный код находится в репозитории: https://git.hitsoft-it.com/e-dictation/rsv
 Пользователь: ''ecopsy''\\
-Пароль: //направляется отдельно//
+Пароль: //экопси_пароль//
 ===== Установка =====
@@ Строка 11: / Строка 12: @@
 Сервер, собранный в docker-образ, имеет следующий идентификатор ''reg.hitsoft-it.com/e-dictation/rsv/server:latest''
-Последняя версия 0.1.2 аналогична идентификатору: ''reg.hitsoft-it.com/e-dictation/rsv/server:0.1.2''
 Чтобы получить доступ к репозиторию, необходимо авторизоваться в хранилище образов reg.hitsoft-it.com
@@ Строка 23: / Строка 22: @@
 Далее, ввести пароль и логин пользователя, указанные выше.
-Для этого пользователя сгенерирован токен ecopsy_token:токен поэтому авторизоваться также можно через команду:
+Для этого пользователя сгенерирован токен ''ecopsy_token'', с ключом //токен_ключ//, поэтому авторизоваться также можно через команду:
 <code>
-docker login reg.hitsoft-it.com -u ecopsy_token -p токен
+docker login reg.hitsoft-it.com -u ecopsy_token -p токен_ключ
 </code>
@@ Строка 64: / Строка 63: @@
 Затем сервер будет доступен по адресу http://localhost:8980/calcResult на сервере, где запущен docker (либо на на другом порту, на который будет заменён 8980).
-Полный цикл установки был проверен на чистой системе Ubuntu 22.04.2 LTS, в которую был установлен только docker и его компоненты.
+<note>
+Полный цикл установки проверен на чистой системе Ubuntu 22.04.2 LTS, в которую был установлен только docker и его компоненты.
+</note>
+===== Программный интерфейс и параметры =====
-===== Проверка работы =====
+Адрес порта задаётся в конфигурации модуля при установке. Модуль проверки имеет точку входа через вызов функции ''calcResult''.
+POST http://localhost:8980/calcResult \\
+Content-type: ''application/json''\\
-Создано тестовое приложение в виде server.js-файла, который запускается на Node.js как веб-сервер по адресу ''0.0.0.0:8080'', и реализует метод ''/calcResult'', который принимает три параметра:\\
+Тело запроса JSON:
-''dictId'' — строка, \\
+<code javascript>
-''userId'' — строка, \\
+{
-''text'' — строка.\\
+  dictId: string, //идентификатор диктанта для выбора соответствующего скрипта проверки;
+  dictSubId: string, //идентификатор подверсии диктанта для выбора соответствующего скрипта проверки;
+  userId: string, //идентификатор пользователя, написавшего текст (для логирования);
+  text: string, //текст диктанта, который написал пользователь;
+  returnStats: boolean //флаг возврата аналитических данных;
+}
+</code>
-При заданных параметрах сервер вернёт HTTP-код 200 и фиксированный (отладочный) результат в виде JSON.
+Ответ:
+<code javascript>
+{
+  userId: string, //внешний идентификатор пользователя;
+  skipped: boolean, // флаг пропуска проверки;
+  skipDetails: {
+            reason: string, //причина пропуска, приоритет по порядку: textSizePercent, obsceneWords, penaltyErrors
+textSizePercent: float, // процент объёма входного текста от текста диктанта;
+obsceneWords: string[], //список найденных слов из словаря;
+penaltyErrors: int //число штрафных ошибок;
+          },
+  errors: {
+  orfo: int, // число орфографических ошибок;
+  punct: int, //число пунктуационных ошибок;
+  typo: int //число опечаток;
+}
+  stats: // массив с аналитической статистикой, передаётся, если в вызове returnStats был true;
+  {
+    name: string, // имя столбца, например var_id или word1_orph1_rule33;
+    value: string // значение в этом столбце;
+   }[]
+}
+</code>
-Сервер может принимать как GET-запросы с параметрами в URL-е, так и POST-запросы с параметрами, закодированными в форматах multipart/form-data, application/x-www-form-urlencoded или JSON-объекта.
+===== Подмодуль фильтрации =====
+Подмодуль фильтрации текстов включает в себя следующие функции:
+  * Фильтрация текстов по признаку объема (текст отличается от текста в задании, меньше/больше/другой) не более чем на 20% слов. Причина фильтрации и процент логируется. Текстовое задание, прошедшее фильтрацию, передаётся далее подмодулю проверки текстовых заданий.
+  * Предобработка текста на аберрантное поведение (в тексте нет обсценной лексики, частей HTML разметки). Предобработка проверки текстового задания осуществляется функциями на поиск слов из заранее заданного словаря обсценной лексики. Если одно или несколько слов найдены, то выставляется соответствующий флаг пропуска проверки с причиной ''obsceneWords''. Текстовое задание далее не проверяется на ошибки, проверка останавливается.
+  * После проверки каждого текстового задания на выходе выдаётся файл в формате JSON, содержащий следующие данные:
+      * флаг пропуска проверки (параметр ''skipped''),
+      * причина пропуска, параметр reason принимает одно из значений причины фильтрации: ''textSizePercent'', ''obsceneWords'', ''penaltyErrors'',
+      * процент соответствия объёма текста, написанного респондентом, от текста задания (параметр ''textSizePercent''),
+      * список найденных стоп-слов из словаря обсценной лексики (параметр ''obsceneWord''), предоставленного Заказчиком, число штрафных ошибок в текстовом задании (параметр ''penaltyErrors'').
+===== Пример приложения =====
+Ниже указан javascript-код, который сканирует подкаталог''texts'' с текстами написанных диктантов, отправляет каждый на проверку и считает среднюю скорость обработку файла.
+<code javascript>
+const path = require('path'); // Модуль для работы с путями файловой системы
+const fs = require('fs'); // Модуль для работы с файловой системой
+const request = require('request'); // Библиотека для HTTP-запросов
+const process = require('process'); // Модуль для взаимодействия с процессом Node.js
+// URL для POST-запроса
+const url = 'http://127.0.0.1:8979/calcResult';
+// Путь к директории с текстовыми файлами
+const dirpath = path.join(__dirname, '/texts')
+// Константа для перевода секунд в наносекунды (используется с process.hrtime)
+const NS_PER_SEC = 1e9;
+// Чтение всех файлов в директории
+fs.readdir(dirpath, function(err, files) {
+  // Отмечаем время начала обработки всех файлов
+  const allStart = process.hrtime();
+  // Фильтруем только .txt файлы
+  const txtFiles = files.filter(el => path.extname(el) === '.txt')
+  // Рекурсивная функция для последовательной отправки POST-запросов
+  function run(idx) {
+    if (idx < txtFiles.length) {
+      // Время начала обработки конкретного файла
+      const start = process.hrtime();
+      // POST-запрос на сервер с содержимым файла и параметрами
+      request.post(
+          url,
+          {
+            json: {
+              returnStats: true,
+              dictId: 'v1',
+              dictSubId: 'v1_1',
+              userId: idx.toString(),
+              text: fs.readFileSync(dirpath + '/' + txtFiles[idx], {encoding:'utf8', flag:'r'}) // читаем файл
+            }
+          },
+          function (error, response, body) {
+            if (!error && response.statusCode == 200) {
+              console.log(body); // выводим ответ сервера
+            }
+            // Логируем время обработки конкретного файла
+            console.log('text '  + idx + ' take ' + process.hrtime(start));
+            // Рекурсивно вызываем следующую итерацию для следующего файла
+            run(idx + 1);
+          }
+      );
+    } else {
+      // Когда все файлы обработаны, выводим общее время
+      const time = process.hrtime(allStart);
+      const nanoTime = time[0] * NS_PER_SEC + time[1]
+      console.log('All time is ' + time + ' for ' + txtFiles.length);
+      // Выводим среднее время обработки одного файла
+      if (txtFiles.length > 0) {
+        console.log('Average time is ' + ((nanoTime / txtFiles.length)/NS_PER_SEC).toFixed(4));
+      }
+    }
+  }
+  // Запускаем рекурсивную обработку с первого файла
+  run(0)
+});
+console.log(global.txtFiles)
+</code>
-Если какой-то параметр пропущен, сервер выдаст ошибку.