Estás leyendo el libro correctamente. El reductor no almacena todos los valores en la memoria. En cambio, al recorrer la lista de valores de Iterable, cada instancia de Object se vuelve a utilizar, por lo que solo conserva una instancia en un momento determinado.
Por ejemplo, en el siguiente código, los objs ArrayList tendrán el tamaño esperado después del ciclo, pero cada elemento será el mismo b/c. La instancia de texto del texto se reutilizará en cada iteración.
public static class ReducerExample extends Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterable<Text> values, Context context) {
ArrayList<Text> objs = new ArrayList<Text>();
for (Text val : values){
objs.add(val);
}
}
}
(Si por alguna razón usted quiso tomar medidas adicionales en cada val, debe hacer una copia profunda y luego lo almacena.)
Por supuesto, incluso un único valor podría ser mayor que la memoria . En este caso, se recomienda al desarrollador que tome medidas para reducir los datos en el Mapper anterior de modo que el valor no sea tan grande.
ACTUALIZACIÓN: Consulte las páginas 199-200 de Hadoop The Definitive Guide 2nd Edition.
This code snippet makes it clear that the same key and value objects are used on each
invocation of the map() method -- only their contents are changed (by the reader's
next() method). This can be a surprise to users, who might expect keys and vales to be
immutable. This causes prolems when a reference to a key or value object is retained
outside the map() method, as its value can change without warning. If you need to do
this, make a copy of the object you want to hold on to. For example, for a Text object,
you can use its copy constructor: new Text(value).
The situation is similar with reducers. In this case, the value object in the reducer's
iterator are reused, so you need to copy any that you need to retain between calls to
the iterator.
Estoy confundido por su respuesta. Primero dices, "el reductor no almacena todos los valores en la memoria", lo que implica que el Iterable carga valores según sea necesario. Más tarde, dirá: "incluso una sola instancia de la lista de valores podría ser más grande que la memoria", lo que implica que la lista de valores se carga primero en la memoria. ¿Puedes por favor aclarar? – Zach
Editado para aclarar. Solo quise decir que incluso un solo valor podría ser grande. Esto es poco probable. "El reductor no almacena todos los valores en la memoria" es una afirmación verdadera. ¿Tiene sentido? –
Sí. Gracias por la aclaración. ¿Tiene una referencia para esto, por casualidad? – Zach