CPU usage

[sed]

OUi bonjour les experts,

J'ai un script qui m'utilise >200% répartis sur un mes 4 CPU, je voudrais savoir (i) si ça sent le fromage de base, et (ii) si je peux le lancer en parallèle sur un autre set de données sans faire crasher mon système et sans rallonger le temps d'exécution (24h en l'état actuel).
J'ai un intel core i5, 4 coeurs 3GHz. Je n'y connais pas grand chose comme vous l'aurez constaté, mais des pointes à >200% * 2 ça fait >400%, donc sur 4 coeurs, je me dis intuitivement que ça va planter.

Bien le merci.

[Loner]

Installe ou réinstalle Linux.

[Conrad]

Les lois de la thermodynamique et des mathématiques sont claires, plus de 100% est impossible.

[nassos]

Tu devrais aller au pole emploi le plus proche et demander combien t'as de crédit DIF pour un stage de reconversion.

[hohun]

Moi je pense que c'est parce que The Script c'est de la merde.

[Kane]

Sérieux, a votre taf avez pas des gens pour s'occuper de cas comme toi?

[nassos]

Sérieux, a votre taf avez pas des gens pour s'occuper de cas comme toi?

La RH puis la compta et enfin le PC sécurité à qui tu rends ton badge avant de partir sans te retourner ?

[Kane]

Mais pour répondre à ta question, si tu lances un process mono-thread qui utilise 100% d'un core de ton cpu (200% c'est pas possible, hein), tu peux le lancer 4 fois pour utiliser ton CPU à fond (sans parler de l'hyperthreading). Chaque process prendra le même temps que si il était lancé individuellement... hors problématique d'IO disque/mémoire/réseau qui peuvent faire goulot d'étranglement.

[sed]

Sérieux, a votre taf avez pas des gens pour s'occuper de cas comme toi?

La RH puis la compta et enfin le PC sécurité à qui tu rends ton badge avant de partir sans te retourner ?

Pas de pôle emploi ici bas, mais comme tu as l'air de bien t'y connaître, je reviens vers toi dès que je rentre. Et je peux pas me faire virer, j'ai mon propre financement.

Comme mes chefs ne savent ni coder ni utiliser un terminal, et que mon environnement est pluridisciplinaire, au final c'est un peu la jungle. J'apprends quasi en autodidacte depuis le début, alors oui c'est lent et frustrant mais je vais pas trop m'en plaindre, là où j'y gagne c'est que personne ne me dit quoi faire, je peux rester bosser de chez moi en slip toute la journée ou bosser de nuit si ça me chante.

[sed]

Mais pour répondre à ta question, si tu lances un process mono-thread qui utilise 100% d'un core de ton cpu (200% c'est pas possible, hein), tu peux le lancer 4 fois pour utiliser ton CPU à fond (sans parler de l'hyperthreading). Chaque process prendra le même temps que si il était lancé individuellement... hors problématique d'IO disque/mémoire/réseau qui peuvent faire goulot d'étranglement.

Ca dépasse les 200% régulièrement, il passe en multithread vraisemblablement. Et je suis quasi sûre que le lancer 2 fois en parallèle passera pas du coup. Je vais utiliser les CPU des autres ordi en réseau en attendant.

[Kefka]

je peux rester bosser de chez moi en slip toute la journée ou bosser de nuit si ça me chante.

Tu sais vivre et je respecte ca.

[sed]

Non mais voilà sans autre info on ne peut pas répondre. ll faut plus de détails sur le système environnant et le script.

Bin Linux et quoi comme info sur le script? c'est un script en perl auquel je ne vais pas toucher.

[sed]

Les lois de la thermodynamique et des mathématiques sont claires, plus de 100% est impossible.

fixed.

[hohun]

Ah toi aussi tu es indé et tu bosses en slip sed ? On nique ?

[Kane]

hey, preums !

[Plume]

Si tu bouffes tous les CPUs de ta machine, ça ne va pas planter, juste ramer parce que les processus qui gèrent ton bureau vont batailler pour avoir du CPU.


Pour éviter que ça rame, change la priorité de tes scripts pour qu'ils s'exécutent avec une priorité inférieure.
Lance les avec la commande nice.


Genre:

code : Tout sélectionner

$nice hmmscan

[sed]

Un collègue vient justement de m'expliquer la même chose ))

On a regardé un peu plus en détail le script et

code : Tout sélectionner

Additonal options:
-cpu <n>          : number of parallel CPU workers to use for multithreads (default all)

Il m'a expliqué que si je veux en lancer 2 en parallèle, il faut que j'alloue 4 cores sur l'un et 4 cores sur l'autre pour éviter justement qu'ils se croisent sur le même CPU (je parle ici d'une autre machine à 8 cores).

Merci anyway

[sed]

Ah toi aussi tu es indé et tu bosses en slip sed ? On nique ?

Ah mais dégueulasse!

[noway]

Laisse faire l'OS tout seul il le fera mieux que toi (des gens plus intelligents que toi et moi se sont déjà penchés sur le problème).
Evite de surcharger ta bécane.
Tu as un load de 1,77/1,80. Tu as 4 core donc tu peux aller à un load de 4 mais pas plus.

Pas salut

[Plume]

Un collègue vient justement de m'expliquer la même chose ))

On a regardé un peu plus en détail le script et

code : Tout sélectionner

Additonal options:
-cpu <n>          : number of parallel CPU workers to use for multithreads (default all)

Il m'a expliqué que si je veux en lancer 2 en parallèle, il faut que j'alloue 4 cores sur l'un et 4 cores sur l'autre pour éviter justement qu'ils se croisent sur le même CPU.

Merci anyway

Pas tout à fait.

Si t'as 4 CPUs, il faut que tu lances tes 2 scripts avec -cpu 2 pour occuper tes 4 CPUs.

Si tu lances les 2 scripts avec -cpu 4, ça fait une charge de travail pour 8 CPUs, répartie sur 4 CPUs, donc ça ne va pas aller plus vite.

Et probablement plus lentement car chaque CPU va devoir executer 49% du temps le script A, puis 49% le script B, et les 2% correspondent au travail de transition que doit effectuer le CPU quand il change la tâche (de A vers B et inversement) qu'il est en train d'executer.

[sed]

J'ai édité juste avant que tu postes, dsl pour la confusion, je parlais d'une autre machine avec plus de cores (8 en l'occurence).

Sur ma machine à 4 cores, je vais pas le relancer, je sens que ça va ramer. Sur la machine à 8 cores (j'ai dû y installer toutes les dépendances, miam), j'en ai lancé 2 en parallèle allouant 4 + 4 et ça m'utilise ça. Je pense pas en lancer un 3ème je l'entends déjà raler là.

[noway]

t'as oublié de mettre du noir sur tannat

[sed]

Tu n'as pas suivi !

[noway]

le seul truc qui t'importe c'est le load.

[sed]

J'ai pas encore réussi à grasper le concept du load. C'est fait beaucoup pour aujourd'hui déjà, n'oubliez pas que je suis une fille.