AppWorx, Dollar Universe and Sysload Community

 View Only
  • 1.  DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jun 22, 2022 09:47 AM
    Bonjour,

    je fais appel à la communauté : nous rencontrons des problèmes de latences sur le déclenchement des exécutions sur un DUAS en v6.10.71 installé sur un serveur windows 2016

    Constat : 
    - Au lancement d'un job , il reste en pending pendant plusieurs secondes avant de s'exécuter.
    - A la création d'un nouveau lancement , le champ "queue batch" met plusieurs secondes avant d'afficher la queue 
    - Le mode commande est très lent : exemple purge d'évènement planifié en uproc  (uxdlt EVT dure jusqu'à 30 mins pour purger une base de 500 évènements)
    - La durée d'un job sans traitement particulier (uproc de début qui effectue uniquement 1 commande de passage de paramètre) dure 15 à 20 s au lieu de 3 ou 4 s max.

    Impact :
    - Certains déclenchements se retrouvent retardés et provoquent un décalage dans notre plan de production.


    Infos techniques sur le noeud impacté :
    DUAS v6.10.71 
    SSL activé

    Hôte : VM (vmware) Windows server 2016


    Nous avons vérifier tous les paramètres techniques du noeud ,les purges , etc .. qui sont ISO par rapport à un autre noeud windows (2012) avec lequel nous n'avons aucun problème.

    Avez-vous déjà) rencontré ce type de problème , si oui quelle version DUAS et Hôte windows ?

    Merci d'avance pour toute information et partage utile !

    Samuel



  • 2.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 11, 2022 03:55 PM
    Bonjour @Samuel BOURDALE

    Dollar Universe 6.10.x est complètement compatible avec Windows Server 2016, donc je ne crois pas que le soucis vienne ​de l'OS. 

    Quelques questions afin d'avancer:

    - Est-ce que ce noeud fonctionnait correctement dans le passé et ce problème est nouveau? Est-ce que c'est un noeud nouvellement déployé? 
    - Est-ce qu'il y a beaucoup d'autres applications qui utilisent des resources sur ce serveur? Lorsque le problème est présent, que dit le gestionnaire de tâches ("Task Manager")?
    - Avez-vous des fichiers "*_inv" ou "*_rst" dans votre répertoire data? 

    Voici quelques articles de la base de connaissances qui pourraient expliquer une telle latence. Vous pouvez vérifier si ça s'applique à votre situation:

    https://knowledge.broadcom.com/external/article/193921/du-xa-lines-not-correctly-purged-from-u_.html
    https://knowledge.broadcom.com/external/article/220322/optional-uproc-launches-slow-in-schedule.html

    Par contre, je dirais que ce problème s'agit d'un incident qui devrait être traité par votre équipe de support (Broadcom ou partenaire), si vous y avez accès.

    ------------------------------
    Regards,

    Domenico Cotugno
    Automation
    Apta Solutions, a Tricise Company
    ------------------------------



  • 3.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 12, 2022 04:27 AM
    Bonjour @Domenico Cotugno

    merci pour votre retour, ci-dessous mes réponses :

    - Est-ce que ce noeud fonctionnait correctement dans le passé et ce problème est nouveau? Est-ce que c'est un noeud nouvellement déployé?
    Il s'agit d'un noeud nouvellement installé

    - Est-ce qu'il y a beaucoup d'autres applications qui utilisent des resources sur ce serveur? Lorsque le problème est présent, que dit le gestionnaire de tâches ("Task Manager")?
    OUI , notamment un ETL (datastage) assez consommateur. Nous avons travaillé avec le service Infrastructure sur l'analyse des charges CPU/ Mémoire /  IO Disque / Réseau .. Pas de résultats probants, on a même augmenté la CPU à 4 vcpu (il s'agit de serveur VMware). 


    - Avez-vous des fichiers "*_inv" ou "*_rst" dans votre répertoire data?
    OUI, des .rst  : 
    u_prmfile.dta_rst
    u_jobfile.dta_rst
    u_quefile.dta_rst


    A NOTER que la latence est flagrante lorsque nous lançons la purge des évènements (cmde uxdlt EVT) , nous effectuons cette purge quoitidiennement via un job dollaru en local sur le noeud concerné par la purge. Cette purge peut durer jusqu'à 30mins pour purger entre 500 et 600 évènements.
    Lorsque nous purgeons "manuellement" ces évènements , depuis la fenêtre "Job Events" sur Univiewer, cela ne dure que quelques secondes.

    Concernant l'article Broadcom https://knowledge.broadcom.com/external/article/193921/du-xa-lines-not-correctly-purged-from-u_.html
    J'ai appliqué la procédure de purge suivi d'une reorg sur l'espace APP qui est l'espace principal d'exécution , en date du 20220701 
    => 1671 records supprimés.

    A vue de nez je n'ai pas l'impression que cela ait changé quelque chose sur les latences, à confirmer

    D:\ORSYP\DUAS\SWSLBP_xxxxxx\bin>uxpurevt app 20220701 

    Processing D:\ORSYP\DUAS\SWSLBP_xxxxx\data\app\u_fmev60 ...

    ******************************************************
    Simulation Output
    ******************************************************
    Event type R (Realised) read = 3043
    Event type R (Realised) deleted = 1671
    Event type A (Awaited) read = 10
    Event type A (Awaited) deleted = 2

    Total events R & A read = 3053
    Total events R & A deleted = 1673

    duration: 0 s




  • 4.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 12, 2022 10:04 AM
    Merci pour ces informations supplémentaire, @Samuel BOURDALE.

    Les fichiers .dta_rst ​semblent indiquer un potentiel problème avec vos fichiers de données DQM. Je peux recommander la réinitialisation de ces fichiers de données en suivant la procédure dans cet article (ne vous en faites pas pour les symptômes, ce n'est que la résolution qui nous intéresse):

    https://knowledge.broadcom.com/external/article/86887/jobs-remain-in-pending-status.html

    Pour ce qui est de vos procédures de purge d'évènements, je sais que la commande uxdlt evt peut avoir une mauvaise performance. Ça a grandement été amélioré depuis la version 6.10.01, mais des commande uxdlt evt qui visent tous les objets (*) peuvent encore être lents:

    https://knowledge.broadcom.com/external/article/131810/duas6-uxdlt-uxlst-evt-performance-issue.html

    De plus, il y a eu d'autres améliorations à cette commande depuis la version 6.10.91:

    https://knowledge.broadcom.com/external/article/222370/command-uxdlt-evt-fails-with-object-not.html

    Il serait intéressant de voir si les problèmes de performance sont toujours présents avec la version 6.10.91 et si vous utilisiez des commandes uxdlt evt plus restreints en scope. Par exemple, au lieu de faire 'uxdlt evt upr=*' vous pouvez scripter de faire la commande seulement sur les objets nécessaires.

    ------------------------------
    Regards,

    Domenico Cotugno
    Automation
    Apta Solutions, a Tricise Company
    ------------------------------



  • 5.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 13, 2022 05:11 AM
    Hello,

    j'ai appliqué toutes les préco : suppression des _rst  / reinit des fichiers u_prmfile.dta_rst , u_jobfile.dta_rst , u_quefile.dta_rst , reorg etc ..
    Cela ne change rien.

    Par contre je constate que ces "latences" sont dues avant tout au mode commande dollaru :
    - Sur un job de test , utilisant un script de prod (job de début sans traitement)  :  les commandes UXSET MSG provoquent un allongement de la durée de l'uproc de presque 0,5 secondes par commande.

    => En retirant ces commandes UXSET MSG , le job se termine normalement , instantanément.

    Le problème se situe donc bien au niveau du mode commande, les temps de réponses sont anormalement long. On constate également ce problème lors de la purge d'évènement en mode commande.





  • 6.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 13, 2022 08:32 AM
    C'est bien que vous ayez trouvé la source des latences. Sur votre noeud en Windows 2012 (qui fonctionne sans latences), est-ce que les commandes 'uxset msg' sont aussi présents? 

    Pour info, je ne reproduis pas cette anomalie sur mon noeud Windows 2016. Donc il se peut que ce soit environnemental. On a déjà vu des solutions anti-virus qui ralentissent $U. Les commandes 'uxset MSG' écrivent directement dans le fichier u_fmhs60.dta, donc vous pouvez possiblement tracer si un antivirus fait des scans de ce fichier pendant que vos tâches contenant ces commandes s'exécutent. 

    Dans tous les cas, je crois qu'il s'agit d'un incident qui devrait être rapporté au support Broadcom.

    ------------------------------
    Regards,

    Domenico Cotugno
    Automation
    Apta Solutions, a Tricise Company
    ------------------------------



  • 7.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 13, 2022 09:01 AM
    Bonjour,

    oui tout à fait concernant l'antivirus , c'est probable d'autant plus que l'anti-malware est actif sur ce serveur windows 2016.
    Sur le noeud en windows 2012 oui nous avons les mêmes jobs et mêmes commandes. 
    En fait ce nouveau serveur 2016 est une réplication DollarU du noeud en 2012 (migration de serveur).

    Je vais ouvrir un call , et remonter l'analyse à notre service Infra.

    Merci pour votre collaboration !
    Samuel


  • 8.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 13, 2022 09:38 AM
    @Domenico Cotugno sur votre test sur le serveur 2016, windows defender est-il actif ?  et anti-malware ? 

    Merci
    Samuel


  • 9.  RE: DollarU v6.10 - windows 2016 server - Latences à l'exécution

    Posted Jul 13, 2022 10:30 AM
    Oui, Windows Defender est actif sur mon serveur. Les cas où j'ai vu des ralentissements $U causés par des solutions AV étaient avec des applications tierces. McAfee est celui que j'ai vu le plus souvent, mais il y en a eu d'autres aussi.

    ------------------------------
    Regards,

    Domenico Cotugno
    Automation
    Apta Solutions, a Tricise Company
    ------------------------------