Доброго дня!
Ubuntu 24.04.4 LTS
Обновился с 6.1.1 до 6.1.3 сегодня, столкнулся с тем, что не могу подключиться к серверу ни с Web-UI, ни через клиент. "Request time out" в обоих случаях. По логам сервер вроде как стартанул, даже бухтеть на ноды начал, но подключения не проходят. В логе netxmsd как-то отмечается момент полного старта процесса?
Да, полный старт отмечается сообщением в логе:
2026.06.02 10:44:39.157 *I* [startup ] NetXMS Server started
Ага, т.е. полностью он так и не стартанул - не было таких записей в логах за сутки от перезапуска
На 4-ом дебаге запустил
Node::syncDataCollectionWithAgent:
Node::syncDataCollectionWithAgent:
Node::syncDataCollectionWithAgent:
Node::syncDataCollectionWithAgent:
по нодам идет.
Причем как минимум некоторые ноды не по одному разу повторяются
Что имеет смысл проверить? На конкретном дебаг уровне мб
Грешил на алерты - ранее все скопом падало, но нет, в базе их всего 87 было
Сервер стартанул, 3 дня в логи спамило записями по синхронизации и удалению выполненных задач распространения пакетов и таки завелся. С версии 6.1.1 что-то изменилось в последовательности старта? Файлы логов с момента запуска до старта сервера я сохранил, если нужно - могу скинуть. Прикрепил сюда момент старта сервера
Дополнение от 9.6.26
Рестарт netxms-server привел к тому же процессу - "*D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node" по куче нодов по логам и пока не стартанувший полностью сервер
Могли быть недавние изменения в работе с прокси
что дальше в этих строчках в логе, "synchronized" или "not synchronized", каких строчек больше?
насколько большая система, покажите вывод sh st в debug console
сколько нод с агентами, работают ли они напрямую или через прокси, есть ли такое что на зонах указано больше одного прокси?
включен ли cache mode на агентах?
Syncronized
not syncronized grep не обнаружил в текущем и ближайших логах
Без запуска сервера это возможно сделать? gdb мб - в выводе help от него не нашел аналога
Большинство нод на Windows с агентами - что-то около 2-3 тысяч. Прокси в 99.999% случаев не используется ни с нодами, ни в настройках зон
Не припомню такой настройки, этот параметр отдельно заводится или дефолтный?
sh st - только при запущенном сервере, но в принципе оттуда только количество нод нужно было.
cache mode тут в доке описан: https://netxms.org/documentation/adminguide/data-collection.html#offline-data-collection
sh st
Objects............: 58867
Nodes...........: 9113
Interfaces......: 47716
Access points...: 0
Sensors.........: 0
Collectible DCIs...: 168107
Active alarms......: 245
Uptime.............: 3 days, 13:25:08
В ноды вообще все скопом эндпоинты идут? В духе точек, принтеров и т.п.
Cache mode в default, в настройках сервера off
Обновился сегодня до 6.1.4, картина та же - в логах
2026.06.15 09:14:46.273 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [1019137] synchronized
2026.06.15 09:14:47.378 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [24221] synchronized
2026.06.15 09:14:47.854 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [1156814] synchronized
2026.06.15 09:14:48.502 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [30735] synchronized
2026.06.15 09:14:51.565 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [1124015] synchronized
2026.06.15 09:14:53.247 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [25299] synchronized
2026.06.15 09:14:53.267 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [25294] synchronized
2026.06.15 09:14:53.283 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [25290] synchronized
2026.06.15 09:14:53.297 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [25279] synchronized
2026.06.15 09:14:56.335 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [24221] synchronized
2026.06.15 09:15:15.217 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [1169854] synchronized
2026.06.15 09:15:22.324 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [1169854] synchronized
2026.06.15 09:15:22.341 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [1228844] synchronized
2026.06.15 09:15:33.625 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [40143] synchronized
2026.06.15 09:15:37.719 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [51255] synchronized
2026.06.15 09:15:39.234 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [46110] synchronized
2026.06.15 09:15:39.550 *D* [dc.agent.cache ] Node::syncDataCollectionWithAgent: node именаНод [61507] synchronized
Может быть проблемой изменение в 6.1.3 "- Server no longer attempts to retry agent package deployment after non-transient errors"?
Ближе к старту логи перемежаются с
*D* [packages ] Completed package deployment job [13196459] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages ] Completed package deployment job [13196460] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages ] Completed package deployment job [13196461] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages ] Completed package deployment job [13196462] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages ] Completed package deployment job [13196463] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages ] Completed package deployment job [13196464] (package [4] "nxagent-6.0.1-x64.exe") removed
*D* [packages ] Completed package deployment job [13196465] (package [4] "nxagent-6.0.1-x64.exe") removedпростыней таких записей. Причем даже после пары стартов сервера(по нескольку дней тваких записей -_-) он не перестает их спамить.
Я пересадил интереса ради сервис на пустую базу - мгновенно запускается без проблем. История о деплоях я так понимаю в базе хранится, ее принудительно есть вариант зачистить?
А можете попробовать собрать дамп потоков сервера в в то время, когда сервер так тупит при старте? Инструкция тут: https://netxms.org/documentation/adminguide/advanced.html#collecting-a-thread-dump
Скрипт нужно запустить 3 раза, получившиеся файлики прислать нам
По ссылке попадаю в шапку Advanced topics и раздела collecting-a-thread-dump я там не вижу.
Не уверен правильно ли сделал
-Пакеты netxms-*-dbg стоят
-Debug 6
-Скрипт capture_netxmsd_threads.sh от 9.12.2025
Скрипт отрабатывает, файлы создаются, но в терминал отдает некоторые ошибки. Ссылку на файлы в pm отправил
~$ sudo ./capture_netxmsd_threads.sh
Saving output to /tmp/netxmsd-threads.1858.20260709-091508
warning: 198 ../sysdeps/x86_64/multiarch/memmove-vec-unaligned-erms.S: No such file or directory
~$ sudo ./capture_netxmsd_threads.sh
Saving output to /tmp/netxmsd-threads.1858.20260709-091611
warning: 275 ./stdlib/qsort.c: No such file or directory
~$ sudo ./capture_netxmsd_threads.sh
Saving output to /tmp/netxmsd-threads.1858.20260709-091700
warning: 198 ../sysdeps/x86_64/multiarch/memmove-vec-unaligned-erms.S: No such file or directory
Треды нормально собрались, все хорошо. Дока возможно через cloudflare не обновилась сразу.
А это такие запрос к базе покажут:
SELECT count(*) FROM package_deployment_jobs;
SELECT status, count(*) FROM package_deployment_jobs GROUP BY status;
Скрин
Откуда столько 0_о В этот счетчик подсчитываются только задачи на deploy пакетов или то, что отдается шаблонами тоже?
Это напереповторявшиеся задачи на деплой пакетов. Там есть косяк, что у переповторов нет ограничения: https://github.com/netxms/netxms/issues/3277
Ну и второй косяк, что при старте сервер всю эту таблицу грузит в память: https://github.com/netxms/netxms/issues/3402
У колонки статус в базе значения такие 0=scheduled ... 5=running states, 6=completed, 7=failed, 8=cancelled.
Можно стереть все со статусом 7 (при остановленном сервере). Ну или вообще очистить эту таблицу, а то они опять наповторяются (ну или в UI эти задачи отменить).
DROP TABLE IF EXISTS package_deployment_jobs;
или
TRUNCATE TABLE package_deployment_jobs;
?
TRUNCATE
Очистил таблицу, сервер завелся нормально. Благодарю!