Los InputFormat son los formatos que definen los tipos de datos de entrada que recibe las función map en un programa MapReduce.
La clase base en la que están basados los InputFormat es FileInputFormat, que provee la definición de qué ficheros se incluyen como input en un Job y una implementación para dividir en partes los ficheros de entrada.
Los InputFormat pueden clasificar según el tipo de datos que van a recibir en:
- Texto
- Binarios
- Múltiples
- Databases
(Podréis encontrar los ejemplos con el código completo en la pestaña de
Código Fuente)
InputFormat de tipo texto:
Hadoop se destaca por su capacidad de procesar ficheros de texto no estructurado y dispone de varios tipos según cómo están constituídos los ficheros de datos.
TextInputFormat
Es el formato por defecto de MapReduce, si no se indica nada en el Driver a la hora de programar, será el tipo que considera.
Cada registro es una línea de la entrada, la key será de tipo LongWritable indicando el offset de la línea (el offset es el número de bytes, no el número de la línea) y el value será el contenido de la línea, una cadena de tipo Text.
En este tipo de ficheros la key no suele tener ninguna utilidad a la hora de desarrollar los algoritmos.
Como ejemplo de este formato podemos ver el ejercicio
WordCount publicado anteriormente, que como digo, en el Driver no se indica el formato porque toma el
TextInputFormat por defecto.
KeyValueTextInputFormat
Muchas veces la línea de texto que recibimos a la entrada suele contener el par key/value que nos servirá para el algoritmo separados por un separador, normalmente una tabulación. Así que, el recibir como key el offset no nos es de ninguna utilidad.
Este tipo nos va a ayudar a recibir como key la primera parte y como value el resto de la línea después de la tabulación.
Como ejemplo tomamos de nuevo el ejercicio WordCount ya publicado. El programa va a recibir un fichero con este formato
01-11-2012 Pepe Perez Gonzalez 21
01-11-2012 Ana Lopez Fernandez 14
En el que la fecha y el nombre están separados por una tabulación. En principio vamos a hacer algo simple, que es contar cuántas veces aparece cada fecha.
Esta vez en el Driver añadimos esta línea:
job.setInputFormatClass(KeyValueTextInputFormat.class);
La clase Mapper será:
public class TestKeyValueMapper
extends Mapper<Text, Text, Text, IntWritable> {
private final static IntWritable cuenta = new IntWritable(1);
public void map(Text key, Text values, Context context)
throws IOException, InterruptedException{
context.write(key, cuenta);
}
}
La clase Reducer del WordCount se puede quedar como está.
NLineInputFormat
En todos los casos anteriores y como ya hemos visto, el tamaño de un InputSplit corresponde al tamaño de un bloque HDFS y por lo tanto puede contenter un número indefinido de líneas de entrada.
El formato NLineInputFormat permite definir
InputSplits con un número determinado de líneas de entrada (si no se indica nada, por defecto está a 1).
Con este formato podemos definir que en la división se envíe más de un par key/value y que nuestro Mapper reciba N pares key/value.
Los grupos de líneas que recibe el Mapper tendrán un formato par key/value de la forma TextInputFormat, es decir, con el offset como key y el resto de la línea como value.
Hay que tener cuidado, no quiere decir que se reciban 2 líneas en la función map, si no que la misma función map se va a ejecutar N veces recibiendo ese número de registros par key/value.
En el Driver añadimos esta línea:
job.setInputFormatClass(NLineInputFormat.class);
//Definimos el número de pares key/value
NLineInputFormat.setNumLinesPerSplit(job, 3);
La clase Mapper, como ya he comentado, estará declarado con el formato "estándar" (TextInputFormat), pero podemos operar en la función de tal forma que sabemos que va a ser llamada N veces, podemos concatenar textos, hacer operaciones, etc con los N pares que va a recibir.
Así que si, por ejemplo, hemos puesto nuestro número de líneas a 2 y tenemos esta entrada:
01-11-2012 Pepe Perez Gonzalez 21
01-11-2012 Ana Lopez Fernandez 14
01-11-2012 Maria Garcia Martinez 11
01-11-2012 Pablo Sanchez Rodriguez 9
Podemos hacer que la salida sea la concatenación de las entradas quedando:
01-11-2012 Pepe Perez Gonzalez 21 + 01-11-2012 Ana Lopez Fernandez 14
01-11-2012 Maria Garcia Martinez 11 + 01-11-2012 Pablo Sanchez Rodriguez 9
InputFormat de tipo binario:
Aunque MapReduce se destaca por su tratamiento de textos no estructurados, no es exclusivo a este tipo de ficheros, también es capaz de tratar ficheros binarios.
SequenceFileInputFormat
Los sequence files de Hadoop almacenan secuencias de datos binarios en forma de pares key/value. Son splittable (con sus puntos de sincronización sync), soportan compresión y se pueden almacenar múltiples tipos de datos.
Este formato de entrada, las key y value están determinados por el mismo sequence file y al desarrollar el programa hay que asegurarse que escogemos los tipos que corresponden.
Para probar un ejemplo sería conveniente haber leído el artículo de Secuences Files y haber hecho el ejercicio Crear un SequenceFile y así disponer de un fichero de este tipo en nuestro HDFS.
Así que deberíamos disponer de un fichero en HDFS pruebas/poemasequencefile en el que la key es un número (número de línea) y el value es una línea de texto (los versos del poema).
En el Driver se declara el input format:
job.setInputFormatClass(SequenceFileInputFormat.class);
Y las declaraciones del Mapper será con los tipos del key/value que sabemos que tiene el fichero (entero y texto) y lo único que haremos será emitir estos pares key/value:
public class TestSeqFileMapper
extends Mapper<IntWritable, Text, IntWritable, Text> {
public void map(IntWritable key, Text values, Context context)
throws IOException, InterruptedException{
context.write(key, values);
}
}
En este ejemplo no he considerado la tarea reducer poniéndola a 0.
SequenceFileAsTextInputFormat
Es una variante del anterior que convierte los key/value en objetos de tipo Text.
Estableciendo el tipo en el Driver:
job.setInputFormatClass(SequenceFileAsTextInputFormat.class);
Y simplemente, el Mapper se declara poniendo los objetos de tipo Text:
public class TestSeqFileAsTextMapper
extends Mapper<Text, Text, Text, Text> {
public void map(Text key, Text values, Context context)
throws IOException, InterruptedException{
context.write(key, values);
}
}
SequenceFileAsBinaryInputFormat
Otra variante más del SequenceFileInputFormat que recupera las key y los value en forma de objetos binarios (BytesWritable).
Y en el Driver lo configuramos:
job.setInputFormatClass(SequenceFileAsBinaryInputFormat.class);
Y esta vez el Mapper se declara poniendo los objetos de tipo BytesWritable:
public class TestSeqFileAsBinaryMapper
extends Mapper<BytesWritable, BytesWritable, Text, Text> {
public void map(BytesWritable key,BytesWritable values,Context context)
throws IOException, InterruptedException{
...
}
}
InputFormat Múltiple:
MultipleInputFormat
Este tipo de Inputs sirven para cuando necesitas que haya diferentes fuentes de datos, e incluso que cada una de estos Input sea de tipo distinto.
Como es lógico, si cada entrada es de un formato diferente, va a necesitar una tarea Map distinta para cada uno de ellos, así que al declarar el formato MultipleInputFormat vas a poder definir para cada fichero de entrada, de qué tipo es y a qué Mapper se debe dirigir.
MultipleInputFormat puede ser muy útil cuando necesitas unificar información cuyo origen y formato es diferente.
Para utilizar este formato, en el Driver sobrarían las líneas:
job.setMapperClass(MiMapper.class);
FileInputFormat.setInputPaths(job, new Path("path"));
y añadiríamos las líneas:
MultipleInputs.addInputPath(job, new Path("path1_2"),
KeyValueTextInputFormat.class, TestKeyValueMapper.class);
MultipleInputs.addInputPath(job, new Path("path_2"),
SequenceFileInputFormat.class, TestSeqFileMapper.class);
