Проблемы с подключением web и клиенту

Started by Argonauts, June 02, 2026, 10:42:48 AM

Previous topic - Next topic

Argonauts

Доброго дня!
Ubuntu 24.04.4 LTS
Обновился с 6.1.1 до 6.1.3 сегодня, столкнулся с тем, что не могу подключиться к серверу ни с Web-UI, ни через клиент. "Request time out" в обоих случаях. По логам сервер вроде как стартанул, даже бухтеть на ноды начал, но подключения не проходят. В логе netxmsd как-то отмечается момент полного старта процесса?

Victor Kirhenshtein

Да, полный старт отмечается сообщением в логе:
2026.06.02 10:44:39.157 *I* [startup            ] NetXMS Server started

Argonauts

Ага, т.е. полностью он так и не стартанул - не было таких записей в логах за сутки от перезапуска
На 4-ом дебаге запустил
Node::syncDataCollectionWithAgent:
Node::syncDataCollectionWithAgent:
Node::syncDataCollectionWithAgent:
Node::syncDataCollectionWithAgent:
по нодам идет.
Причем как минимум некоторые ноды не по одному разу повторяются
Что имеет смысл проверить? На конкретном дебаг уровне мб
Грешил на алерты - ранее все скопом падало, но нет, в базе их всего 87 было

Argonauts

Сервер стартанул, 3 дня в логи спамило записями по синхронизации и удалению выполненных задач распространения пакетов и таки завелся. С версии 6.1.1 что-то изменилось в последовательности старта? Файлы логов с момента запуска до старта сервера я сохранил, если нужно - могу скинуть. Прикрепил сюда момент старта сервера

Argonauts

Дополнение от 9.6.26
Рестарт netxms-server привел к тому же процессу - "*D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node" по куче нодов по логам и пока не стартанувший полностью сервер

Filipp Sudanov

Могли быть недавние изменения в работе с прокси

что дальше в этих строчках в логе, "synchronized" или "not synchronized", каких строчек больше?

насколько большая система, покажите вывод sh st в debug console

сколько нод с агентами, работают ли они напрямую или через прокси, есть ли такое что на зонах указано больше одного прокси?

включен ли cache mode на агентах?

Argonauts

Syncronized
not syncronized grep не обнаружил в текущем и ближайших логах

Без запуска сервера это возможно сделать? gdb мб - в выводе help от него не нашел аналога

Большинство нод на Windows с агентами - что-то около 2-3 тысяч. Прокси в 99.999% случаев не используется ни с нодами, ни в настройках зон

Не припомню такой настройки, этот параметр отдельно заводится или дефолтный?

Filipp Sudanov

sh st - только при запущенном сервере, но в принципе оттуда только количество нод нужно было.

cache mode тут в доке описан: https://netxms.org/documentation/adminguide/data-collection.html#offline-data-collection

Argonauts

sh st
Objects............: 58867
   Nodes...........: 9113
   Interfaces......: 47716
   Access points...: 0
   Sensors.........: 0
Collectible DCIs...: 168107
Active alarms......: 245
Uptime.............: 3 days, 13:25:08

В ноды вообще все скопом эндпоинты идут? В духе точек, принтеров и т.п.

Cache mode в default, в настройках сервера off

Argonauts

Обновился сегодня до 6.1.4, картина та же - в логах
2026.06.15 09:14:46.273 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [1019137] synchronized
2026.06.15 09:14:47.378 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [24221] synchronized
2026.06.15 09:14:47.854 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [1156814] synchronized
2026.06.15 09:14:48.502 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [30735] synchronized
2026.06.15 09:14:51.565 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [1124015] synchronized
2026.06.15 09:14:53.247 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [25299] synchronized
2026.06.15 09:14:53.267 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [25294] synchronized
2026.06.15 09:14:53.283 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод  [25290] synchronized
2026.06.15 09:14:53.297 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [25279] synchronized
2026.06.15 09:14:56.335 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [24221] synchronized
2026.06.15 09:15:15.217 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [1169854] synchronized
2026.06.15 09:15:22.324 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [1169854] synchronized
2026.06.15 09:15:22.341 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [1228844] synchronized
2026.06.15 09:15:33.625 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод  [40143] synchronized
2026.06.15 09:15:37.719 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [51255] synchronized
2026.06.15 09:15:39.234 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [46110] synchronized
2026.06.15 09:15:39.550 *D* [dc.agent.cache     ] Node::syncDataCollectionWithAgent: node именаНод [61507] synchronized

Argonauts

Может быть проблемой изменение в 6.1.3 "-   Server no longer attempts to retry agent package deployment after non-transient errors"?
Ближе к старту логи перемежаются с
*D* [packages           ] Completed package deployment job [13196459] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages           ] Completed package deployment job [13196460] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages           ] Completed package deployment job [13196461] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages           ] Completed package deployment job [13196462] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages           ] Completed package deployment job [13196463] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages           ] Completed package deployment job [13196464] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages           ] Completed package deployment job [13196465] (package [4] "nxagent-6.0.1-x64.exe") removed
простыней таких записей. Причем даже после пары стартов сервера(по нескольку дней тваких записей -_-) он не перестает их спамить.
Я пересадил интереса ради сервис на пустую базу - мгновенно запускается без проблем. История о деплоях я так понимаю в базе хранится, ее принудительно есть вариант зачистить?

Filipp Sudanov

А можете попробовать собрать дамп потоков сервера в в то время, когда сервер так тупит при старте? Инструкция тут: https://netxms.org/documentation/adminguide/advanced.html#collecting-a-thread-dump

Скрипт нужно запустить 3 раза, получившиеся файлики прислать нам

Argonauts

По ссылке попадаю в шапку Advanced topics и раздела collecting-a-thread-dump я там не вижу.
Не уверен правильно ли сделал
-Пакеты netxms-*-dbg стоят
-Debug 6
-Скрипт capture_netxmsd_threads.sh от 9.12.2025

Скрипт отрабатывает, файлы создаются, но в терминал отдает некоторые ошибки. Ссылку на файлы в pm отправил

~$ sudo ./capture_netxmsd_threads.sh
Saving output to /tmp/netxmsd-threads.1858.20260709-091508
warning: 198    ../sysdeps/x86_64/multiarch/memmove-vec-unaligned-erms.S: No such file or directory
~$ sudo ./capture_netxmsd_threads.sh
Saving output to /tmp/netxmsd-threads.1858.20260709-091611
warning: 275    ./stdlib/qsort.c: No such file or directory
~$ sudo ./capture_netxmsd_threads.sh
Saving output to /tmp/netxmsd-threads.1858.20260709-091700
warning: 198    ../sysdeps/x86_64/multiarch/memmove-vec-unaligned-erms.S: No such file or directory

Filipp Sudanov

Треды нормально собрались, все хорошо. Дока возможно через cloudflare не обновилась сразу.

А это такие запрос к базе покажут:

SELECT count(*) FROM package_deployment_jobs;

SELECT status, count(*) FROM package_deployment_jobs GROUP BY status;

Argonauts

Скрин
Откуда столько 0_о В этот счетчик подсчитываются только задачи на deploy пакетов или то, что отдается шаблонами тоже?