Questions sur multiprocessing

1
réponses

multiprocesseur en python-partage d'un grand objet (par exemple, une base de données pandas) entre plusieurs processus

j'utilise Python multiprocessing, plus précisément from multiprocessing import Pool p = Pool(15) args = [(df, ... enant un peu confus. Quelles options y a-t-il pour partager la mémoire, et laquelle serait la meilleure dans ce cas?
demandé sur 2014-03-18 21:56:48
2
réponses

Demandes concurrentes avec IRM Ruby

j'ai assemblé un exemple simple en essayant de prouver des requêtes concurrentes dans des Rails en utilisant un exempl ... dth (note: le projet est en regardant de plus que cette question de la multi-processus/d'enfilage sur le serveur)
demandé sur 2015-04-30 00:55:17
3
réponses

Sur quels noyaux CPU mes processus Python fonctionnent-ils?

L'installation j'ai écrit un logiciel assez complexe en Python (sur un PC Windows). Mon logiciel démarr ... un nouveau script Python. Quoi qu'il en soit, les deux approches sont-elles similaires dans ce qu'elles atteignent?
demandé sur 2016-04-22 16:23:32
3
réponses

Python multiprocessing: Comment puis-je rediriger de manière fiable stdout à partir d'un processus enfant?

NB. J'ai vu sortie Log de multiprocessing.Processus - malheureusement, il ne répond pas à cette question. ... eul choix, je pense que je serais probablement plump pour faire toute la chose manuellement avec pywin32 à la place.
demandé sur 2011-10-10 19:10:49
5
réponses

Partager Un Grand Nombre De Tableaux En Lecture Seule Entre Les Processus De Multi-Traitement

j'ai un tableau SciPy de 60 Go (matrice) je dois partager entre 5+ multiprocessing Process objets. J'ai vu numpy-shar ... la doit fonctionner sur Ubuntu Linux et peut-être Mac OS, mais la portabilité n'est pas une grande préoccupation.
demandé sur 2013-07-22 14:31:16
14
réponses

Multiprocessing: comment utiliser Pool.carte sur une fonction définie dans une classe?

quand je cours quelque chose comme: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p. ... d J'ai vu un billet D'Alex Martelli traitant du même genre de problème, mais il n'était pas assez explicite.
demandé sur 2010-07-20 13:25:32
4
réponses

Problèmes de classification des images en temps réel Python avec les réseaux neuronaux

j'essaie d'utiliser caffe et python pour faire une classification d'image en temps réel. J'utilise OpenCV pour diffuse ... opy[:] = frame #Getting keyboard input key = cv2.waitKey(1) #exit on ESC if key == 27: break
demandé sur 2016-09-16 04:46:46
3
réponses

Python Processus de Piscine non démoniaque?

serait-il possible de créer un Pool python non-démoniaque? Je veux qu'une piscine soit capable d'appeler une fonction ... function_b est exécuté dans un processus de démon, et les processus de démon ne peuvent pas créer de processus.
demandé sur 2011-08-07 22:08:04
19
réponses

Comment dois-je me connecter en utilisant multiprocessing en Python?

en ce moment j'ai un module central dans un framework qui génère plusieurs processus en utilisant le module de python ... dans le cadre, encore moins pour tous les clients du cadre. Existe-il des solutions de rechange je ne pense pas?
demandé sur 2009-03-13 07:02:31
5
réponses

Partager un objet complexe entre des processus Python?

j'ai un objet Python assez complexe que je dois partager entre plusieurs processus. Je lance ces processus en utilisan ... yClass, instance) , il échoue avec: TypeError: this type has no size une idée de ce qui se passe?
demandé sur 2010-09-09 00:36:37
3
réponses

Traitement d'un seul fichier à partir de plusieurs processus en python

j'ai un seul gros fichier texte dans lequel je veux traiter chaque ligne ( faire quelques opérations ) et les stocker ... jeté avec les données dont j'ai besoin. mais je ne suis pas en mesure de comprendre comment aborder cela.
demandé sur 2012-06-25 23:54:19
3
réponses

Python-daemon ne tue pas ses enfants

en utilisant python-daemon , je crée des sous-processus comme: import multiprocessing class Worker(multip ... serais reconnaissant pour des pensées et des commentaires sur la façon dont cela devrait être fait. Merci.
demandé sur 2010-03-30 06:59:56
2
réponses

Objets mémoire partagée en multiprocesseur

supposons que j'ai un grand tableau numpy en mémoire, j'ai une fonction func qui prend dans ce tableau géant comme e ... oi y a-t-il un tel plafond, si nous n'avons pas copié le tableau? Et quelle partie de la mémoire partagée me sauve?
demandé sur 2012-05-23 18:20:21
5
réponses

Pourquoi ce code n'est-il pas linéaire?

j'ai écrit ce code de solver. Ne vous embêtez pas trop de ce que fait cet algorithme, ce n'est pas le problème ici. Mai ... r ses frais généraux, ce qui le rend plus rapide. Les opérations atomiques ne font aucune différence.
demandé sur 2014-10-06 23:27:38
4
réponses

Limite de processus du Pool de Python multiprocessing

en utilisant L'objet Pool du module multiprocessing, le nombre de processus est-il limité par le nombre de cœurs CPU? Par exemple: si j'ai 4 cœurs, même si je crée un Pool avec 8 Processus, seulement 4 seront lancés en même temps?
demandé sur 2013-11-18 07:37:09
1
réponses

Une façon simple d'utiliser les options parallèles des fonctions scikit-learn sur HPC

dans de nombreuses fonctions de scikit-learn mis en œuvre parallélisation facile à utiliser. Par exemple, dans skle ... l des fonctions sklearn sur plusieurs nœuds de calcul en utilisant simplement l'argument mpirun et n_jobs ?
demandé sur 2016-07-27 01:43:34
3
réponses

Pourquoi puis-je passer une méthode d'instance à multiprocessing.Processus, mais pas un multiprocesseur.Piscine?

j'essaie d'écrire une application qui applique une fonction concurremment avec un multiprocessing.Pool . Je voudrais qu ... up __builtin__.instancemethod failed Pourquoi peut-Processus gérer les méthodes liées, mais non de Piscines?
demandé sur 2014-12-05 17:39:52
8
réponses

Le clavier S'interrompt avec le Pool de multiprocesseurs de python

Comment puis-je gérer les événements de Keyboard avec les Pools de multiprocesseurs de python? Voici un exemple simple ... érieurement. je veux pouvoir appuyer sur ^C à tout moment et faire sortir tous les processus avec élégance.
demandé sur 0000-00-00 00:00:00
5
réponses

Utilisez le tableau de numpy dans la mémoire partagée pour le multiprocessing

je voudrais utiliser un tableau numpy dans la mémoire partagée pour une utilisation avec le module multiprocessing. L ... serait partagée plus. il semble qu'il y aurait une solution standard à ce qui doit être un problème commun.
demandé sur 2011-10-25 23:34:31
1
réponses

Python Pandas Multiprocessing Appliquer

je me demande s'il y a un moyen de faire une fonction pandas dataframe appliquer en parallèle. J'ai cherché partout et ... pool.join() # re-assemble pieces into the final output output = data9_2.head(1).concatenate(res) print output.head()
demandé sur 2014-08-26 20:12:53