Cos'è un'infrastruttura appropriata per il Deep Learning? [chiuso]

4

Lavoro sulla competizione Galaxy Zoo di Kaggle con Keras / Tensorflow, ma l'enorme quantità di dati (molte immagini) invia il mio computer al limbo. Il mio è un PC più o meno ordinario (i5) con un generoso 48GB di RAM anche se non riesco a utilizzare la mia GPU (la mia scheda video non è compatibile con CUDA). Io uso Ubuntu e Anaconda combo.

Il vero problema è che Python lancia "Errore memoria" durante la lettura delle immagini da disco su un array numerico impilato. Apparentemente la mia memoria è insufficiente per il lavoro e potrei immaginare che lo stesso sarebbe vero per qualsiasi attività seria (ovviamente, ci sono progetti oltre la classificazione MNIST).

Quindi, la mia domanda è, che cos'è e come posso ottenere un'infrastruttura in grado di gestire lavori di questa portata? In realtà, qual è il vero collo di bottiglia qui? Memoria? Il comando top di Linux mostra solo il 10% circa dell'utilizzo della memoria nel caso in cui venga eseguito il processo Python, il che è curioso.

Naturalmente, non sono al livello dei giocatori istituzionali, quindi sono accettabili solo i costi ragionevoli ...

    
posta Hendrik 19.01.2017 - 10:48

1 risposta

0

Velocità di Numpy vs Cython su Stack Overflow discute diversi modi per ottimizzare la velocità dell'esecuzione pesante operazioni numeriche usando part-cython per l'ottimizzazione del compilatore statico per Python e C.

Come suggerisce la descrizione del pacchetto part-cython nell'app di Ubuntu Software, è richiesta la conoscenza di C e Python.

  

Il linguaggio Cython è un superset del linguaggio Python che supporta anche il richiamo di funzioni C e la dichiarazione di tipi C su variabili e attributi di classe. Ciò consente al compilatore di generare codice C molto efficiente dal codice Cython.

Non sono un fan di Anaconda. Sebbene python-pip e python3-pip dai repository di Ubuntu predefiniti abbiano una curva di apprendimento impegnativa, sono strumenti di installazione di pacchetti Python più facili da usare a lungo termine.

    
risposta data karel 19.01.2017 - 11:18

Leggi altre domande sui tag