Различия

Показаны различия между двумя версиями страницы.

--- tech:customer:rsv:install [2025/11/21 09:41]
dmitry_kalashnikov [Установка]
+++ tech:customer:rsv:install [2025/11/21 10:47] (текущий)
dmitry_kalashnikov [Инструкция по установке Модуля проверки]
@@ Строка 1: / Строка 1: @@
 ====== Инструкция по установке Модуля проверки ======
-Создано тестовое приложение в виде server.js-файла, который запускается на Node.js как веб-сервер.
+Модуль проверки представляет собой приложение в виде server.js-файла, который запускается на Node.js как веб-сервер.
 Исходный код находится в репозитории: https://git.hitsoft-it.com/e-dictation/rsv
 Пользователь: ''ecopsy''\\
-Пароль: //направляется отдельно//
+Пароль: //экопси_пароль//
 ===== Установка =====
@@ Строка 65: / Строка 66: @@
 Полный цикл установки проверен на чистой системе Ubuntu 22.04.2 LTS, в которую был установлен только docker и его компоненты.
 </note>
-===== Проверка работы =====
+===== Программный интерфейс и параметры =====
+Адрес порта задаётся в конфигурации модуля при установке. Модуль проверки имеет точку входа через вызов функции ''calcResult''.
-Создано тестовое приложение в виде server.js-файла, который запускается на Node.js как веб-сервер по адресу ''0.0.0.0:8080'', и реализует метод ''/calcResult'', который принимает три параметра:\\
+POST http://localhost:8980/calcResult \\
-''dictId'' — строка, \\
+Content-type: ''application/json''\\
-''userId'' — строка, \\
-''text'' — строка.\\
-При заданных параметрах сервер вернёт HTTP-код 200 и фиксированный (отладочный) результат в виде JSON.
+Тело запроса JSON:
+<code javascript>
+{
+  dictId: string, //идентификатор диктанта для выбора соответствующего скрипта проверки;
+  dictSubId: string, //идентификатор подверсии диктанта для выбора соответствующего скрипта проверки;
+  userId: string, //идентификатор пользователя, написавшего текст (для логирования);
+  text: string, //текст диктанта, который написал пользователь;
+  returnStats: boolean //флаг возврата аналитических данных;
+}
+</code>
-Сервер может принимать как GET-запросы с параметрами в URL-е, так и POST-запросы с параметрами, закодированными в форматах multipart/form-data, application/x-www-form-urlencoded или JSON-объекта.
+Ответ:
+<code javascript>
+{
+  userId: string, //внешний идентификатор пользователя;
+  skipped: boolean, // флаг пропуска проверки;
+  skipDetails: {
+            reason: string, //причина пропуска, приоритет по порядку: textSizePercent, obsceneWords, penaltyErrors
+textSizePercent: float, // процент объёма входного текста от текста диктанта;
+obsceneWords: string[], //список найденных слов из словаря;
+penaltyErrors: int //число штрафных ошибок;
+          },
+  errors: {
+  orfo: int, // число орфографических ошибок;
+  punct: int, //число пунктуационных ошибок;
+  typo: int //число опечаток;
+}
+  stats: // массив с аналитической статистикой, передаётся, если в вызове returnStats был true;
+  {
+    name: string, // имя столбца, например var_id или word1_orph1_rule33;
+    value: string // значение в этом столбце;
+   }[]
+}
+</code>
+===== Подмодуль фильтрации =====
+Подмодуль фильтрации текстов включает в себя следующие функции:
+  * Фильтрация текстов по признаку объема (текст отличается от текста в задании, меньше/больше/другой) не более чем на 20% слов. Причина фильтрации и процент логируется. Текстовое задание, прошедшее фильтрацию, передаётся далее подмодулю проверки текстовых заданий.
+  * Предобработка текста на аберрантное поведение (в тексте нет обсценной лексики, частей HTML разметки). Предобработка проверки текстового задания осуществляется функциями на поиск слов из заранее заданного словаря обсценной лексики. Если одно или несколько слов найдены, то выставляется соответствующий флаг пропуска проверки с причиной ''obsceneWords''. Текстовое задание далее не проверяется на ошибки, проверка останавливается.
+  * После проверки каждого текстового задания на выходе выдаётся файл в формате JSON, содержащий следующие данные:
+      * флаг пропуска проверки (параметр ''skipped''),
+      * причина пропуска, параметр reason принимает одно из значений причины фильтрации: ''textSizePercent'', ''obsceneWords'', ''penaltyErrors'',
+      * процент соответствия объёма текста, написанного респондентом, от текста задания (параметр ''textSizePercent''),
+      * список найденных стоп-слов из словаря обсценной лексики (параметр ''obsceneWord''), предоставленного Заказчиком, число штрафных ошибок в текстовом задании (параметр ''penaltyErrors'').
+===== Пример приложения =====
+Ниже указан javascript-код, который сканирует подкаталог''texts'' с текстами написанных диктантов, отправляет каждый на проверку и считает среднюю скорость обработку файла.
+<code javascript>
+const path = require('path'); // Модуль для работы с путями файловой системы
+const fs = require('fs'); // Модуль для работы с файловой системой
+const request = require('request'); // Библиотека для HTTP-запросов
+const process = require('process'); // Модуль для взаимодействия с процессом Node.js
+// URL для POST-запроса
+const url = 'http://127.0.0.1:8979/calcResult';
+// Путь к директории с текстовыми файлами
+const dirpath = path.join(__dirname, '/texts')
+// Константа для перевода секунд в наносекунды (используется с process.hrtime)
+const NS_PER_SEC = 1e9;
+// Чтение всех файлов в директории
+fs.readdir(dirpath, function(err, files) {
+  // Отмечаем время начала обработки всех файлов
+  const allStart = process.hrtime();
+  // Фильтруем только .txt файлы
+  const txtFiles = files.filter(el => path.extname(el) === '.txt')
+  // Рекурсивная функция для последовательной отправки POST-запросов
+  function run(idx) {
+    if (idx < txtFiles.length) {
+      // Время начала обработки конкретного файла
+      const start = process.hrtime();
+      // POST-запрос на сервер с содержимым файла и параметрами
+      request.post(
+          url,
+          {
+            json: {
+              returnStats: true,
+              dictId: 'v1',
+              dictSubId: 'v1_1',
+              userId: idx.toString(),
+              text: fs.readFileSync(dirpath + '/' + txtFiles[idx], {encoding:'utf8', flag:'r'}) // читаем файл
+            }
+          },
+          function (error, response, body) {
+            if (!error && response.statusCode == 200) {
+              console.log(body); // выводим ответ сервера
+            }
+            // Логируем время обработки конкретного файла
+            console.log('text '  + idx + ' take ' + process.hrtime(start));
+            // Рекурсивно вызываем следующую итерацию для следующего файла
+            run(idx + 1);
+          }
+      );
+    } else {
+      // Когда все файлы обработаны, выводим общее время
+      const time = process.hrtime(allStart);
+      const nanoTime = time[0] * NS_PER_SEC + time[1]
+      console.log('All time is ' + time + ' for ' + txtFiles.length);
+      // Выводим среднее время обработки одного файла
+      if (txtFiles.length > 0) {
+        console.log('Average time is ' + ((nanoTime / txtFiles.length)/NS_PER_SEC).toFixed(4));
+      }
+    }
+  }
+  // Запускаем рекурсивную обработку с первого файла
+  run(0)
+});
+console.log(global.txtFiles)
+</code>
-Если какой-то параметр пропущен, сервер выдаст ошибку.