installazione di Hadoop su macOS

L'installazione di Hadoop su macOS può essere effettuata seguendo alcuni passaggi specifici. Ecco una guida dettagliata su come installare Hadoop su macOS:

Prerequisiti

- **Java**: Hadoop richiede Java per funzionare.
È necessario avere installato Java Development Kit (JDK).
Per verificare se Java è già installato, apri il terminale e digita:

    
java -version
    
    

Se Java è installato, vedrai la versione.
Altrimenti, puoi installare Java usando Homebrew:

brew install openjdk

Installare Hadoop

Puoi installare Hadoop utilizzando Homebrew o scaricando manualmente i file binari.

brew install hadoop

Installazione manuale

Scarica l'ultima versione di Hadoop

dal sito ufficiale di Apache Hadoop: [Hadoop Downloads](https://hadoop.apache.org/releases.html).

Estrai il file scaricato

In una directory a tua scelta.

tar -xzf hadoop-3.x.x.tar.gz
mv hadoop-3.x.x /usr/local/hadoop

Configura le variabili di ambiente

Aggiungendo le seguenti righe al tuo file
`~/.bash_profile` o
`~/.zshrc` (a seconda della shell che stai usando):

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

Carica le nuove variabili di ambiente:

source ~/.bash_profile

Configurare Hadoop

Modifica il file `hadoop-env.sh`

Modifica il file `hadoop-env.sh` per assicurarti che punti alla tua installazione di Java.
Puoi trovare il file in:

   
   $HADOOP_HOME/etc/hadoop/hadoop-env.sh
   
   

Aggiungi o modifica la riga seguente:

    
   export JAVA_HOME=$(/usr/libexec/java_home)
    
    

Configurare `core-site.xml`

Crea un file di configurazione `core-site.xml` in `$HADOOP_HOME/etc/hadoop/` con il seguente contenuto:

   
   ```xml
   <configuration>
    <property>
           <name>fs.defaultFS </name>
           <value>hdfs://localhost:9000 </value>
    </property >
    </configuration >
   
   

Configurare `hdfs-site.xml`

Crea il file `hdfs-site.xml` in `$HADOOP_HOME/etc/hadoop/` con il seguente contenuto:

   
   ```xml
   <configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
          <name>dfs.name.dir
          <value>file:///usr/local/hadoop/hdfs/namenode
     </property>
     <property>
           <name>dfs.data.dir</name>
           <value>file:///usr/local/hadoop/hdfs/datanode</value>
     </property>
   </configuration>
   

Configurare `mapred-site.xml`

Copia il file di esempio e modificalo:

   
   ```bash
   cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
   

Aggiungi la configurazione seguente:

   
   ```xml
  <configuration>
    <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
     </property>
     </configuration>
   
   

Configurare `yarn-site.xml`

Crea il file `yarn-site.xml` in `$HADOOP_HOME/etc/hadoop/` con il seguente contenuto:

   
   ```xml
   <configuration>
       <property >
           <name>yarn.nodemanager.aux-services</name >
           <value>mapreduce_shuffle</value>
        </property>
    </configuration>
   
   

Formattare il Namenode

Prima di avviare Hadoop, è necessario formattare il Namenode:

    
hdfs namenode -format
    
    

Avviare Hadoop

Puoi avviare i demoni Hadoop con i seguenti comandi:

start-dfs.sh
start-yarn.sh

Per verificare che tutto funzioni correttamente, puoi aprire il browser e andare a questi indirizzi:
- HDFS NameNode: [http://localhost:9870](http://localhost:9870)
- ResourceManager: [http://localhost:8088](http://localhost:8088)

Esecuzione di un Job MapReduce

Per testare l'installazione, puoi eseguire un esempio predefinito:

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 16 1000

Questo eseguirà un job MapReduce che calcola il valore di Pi.

Arrestare Hadoop

Per arrestare Hadoop, utilizza i seguenti comandi:

stop-yarn.sh
stop-dfs.sh