// Apri Virtualbox e importa Cloudera
// click su terminal (icona nera)
// vai su cartella con file da leggere (cd cartella, ecc.)
// comando per copiare file su HDFS:
hadoop fs -copyFromLocal nomefile.estensione
// se dà errore perché in "safe mode" allora prima eseguire:
hdfs dfsadmin -safemode leave
// verifica se copiato con:
hadoop fs -ls
// per farne un'altra copia:
hadoop fs -cp file.est file2.est
// per copiare in locale:
hadoop fs -copyToLocal file2.est
// per rimuovere un file da HDFS:
hadoop fs -rm file2.est
// MapReduce
// vedere esempi di programmi MapReduce:
hadoop jar /usr/jars/hadoop-examples.jar
// per vedere gli argomenti del programma WordCount (conta numero di volte di ciascuna parola da un testo)
hadoop jar /usr/jars/hadoop-examples.jar wordcount
// per lanciare il programma WordCount sul file words.txt (da copiare prima su HDFS):
hadoop jar /usr/jars/hadoop-examples.jar wordcount words.txt out
// a seguito del comando precedente è stata creata una cartella di output "out". Per entrarci:
hadoop fs -ls out
// Per copiare in locale il file di output creato (part-r-00000):
hadoop fs –copyToLocal out/part-r-00000 local.txt
// Per aprire il file copiato:
more local.txt
Categories
Bash
(3)
BOT
(2)
C#
(1)
Cluster Analysis
(1)
Data Cleaning
(6)
Data Ingestion
(2)
Data Science Specialization
(10)
Data Visualization
(15)
ggplot2
(1)
Hadoop
(1)
Hashnode
(3)
Machine Learning
(5)
MapReduce
(1)
Maps
(1)
Markdown
(7)
Market Basket Analysis
(1)
MATLAB
(1)
Matplotlib
(3)
Numpy
(2)
Octave
(1)
Pandas
(3)
Python
(17)
R
(22)
Regression
(7)
scikit-learn
(1)
Seaborn
(1)
Shell
(3)
Shiny App
(1)
SSIS
(3)
Statistical Inference
(2)
T-SQL
(8)
Unix
(3)
No comments:
Post a Comment