Very basic Hadoop

// Apri Virtualbox e importa Cloudera
// click su terminal (icona nera)
// vai su cartella con file da leggere (cd cartella, ecc.)
// comando per copiare file su HDFS:
hadoop fs -copyFromLocal nomefile.estensione

// se dà errore perché in "safe mode" allora prima eseguire:
hdfs dfsadmin -safemode leave
// verifica se copiato con:
hadoop fs -ls
// per farne un'altra copia:
hadoop fs -cp file.est file2.est
// per copiare in locale:
hadoop fs -copyToLocal file2.est
// per rimuovere un file da HDFS:
hadoop fs -rm file2.est

// MapReduce 
// vedere esempi di programmi MapReduce:
hadoop jar /usr/jars/hadoop-examples.jar
// per vedere gli argomenti del programma WordCount (conta numero di volte di ciascuna parola da un testo)
hadoop jar /usr/jars/hadoop-examples.jar wordcount
// per lanciare il programma WordCount sul file words.txt (da copiare prima su HDFS):
hadoop jar /usr/jars/hadoop-examples.jar wordcount words.txt out
// a seguito del comando precedente è stata creata una cartella di output "out". Per entrarci:
hadoop fs -ls out
// Per copiare in locale il file di output creato (part-r-00000):
hadoop fs –copyToLocal out/part-r-00000 local.txt
// Per aprire il file copiato:
more local.txt

No comments:

Post a Comment