Recorrer un archivo json es algo sencillo, ¿cierto? Pues parece que cuando el tamaño del archivo es grande las cosas ya no son tan simples…
Lo que se haría típicamente sería algo similar a:
<?php $json = json_decode( file_get_contents( $argv[1] ), true ); print_r( $json );
El problema aquí es que se requiere primero leer todo el archivo para, recién entonces empezar a procesar…
Tomemos un ejemplo como el árbol de categorías de MercadoLibre Brasil. Este archivo pesa 229 MB (Una vez descomprimido).
229 MB de puro json… es bastante, sí, pero… ¿es mucho?
La respuesta en definitiva depende la configuración que tengas en tu php.ini.
A efectos de este análisis hice un cambio al mío de modo que quede así:
; Maximum amount of memory a script may consume (128MB) ; http://php.net/memory-limit memory_limit = 128
128 MB no es algo inusual para una instalación de PHP (Al día de hoy, es el valor por defecto), con lo cual, estaremos en un problema al tratar de leer un archivo de más de 200…
Aumentar la memoria disponible
Una solución posible es darle más holgura a nuestro intérprete (En este caso, dejarle ocupar más memoria).
Podemos hacerlo cambiando la configuración a algo como:
; Maximum amount of memory a script may consume (128MB) ; http://php.net/memory-limit memory_limit = 256
Pero eso es, como decimos en mi país, «Pan para hoy, hambre para mañana».
Si elegimos esta ruta (y queremos asegurarnos de estar bien cubiertos), lo ideal sería hacer esto:
; Maximum amount of memory a script may consume (128MB) ; http://php.net/memory-limit memory_limit = -1
Y ahí el limitante que tendremos será la memoria física de la computadora… algo drástico para mi gusto y, más aún, poco practicable.
El problema es que no siempre tenemos acceso a la configuración de php (como por ejemplo, en un hosting compartido).
Aún si lo tuviéramos, tengo dudas sobre la posibilidad de alterar un setting tan sensible como este, ya que al aprovecharnos de los recursos de una forma tan poco medida estaríamos muy probablemente afectando a nuestros vecinos.
Mejorar el modo de procesar JSON
Otra forma de resolver el problema es cambiar la librería que usamos para procesar JSON.
Existen varias alternativas pero en este artículo quiero mostrarte JsonReader (Una extensión de PHP).
Una vez instalada, es bastante fácil de usar. Veamos un ejemplo de cómo obtener todos los nombres de los artículos del archivo que te mostraba antes:
<?php
require 'vendor/autoload.php';
use pcrov\JsonReader\JsonReader;
$reader = new JsonReader();
$reader->open( $argv[1] );
while ($reader->read("name")) {
echo $reader->value(), "\n";
}
$reader->close();
Al usar el comando
php process.php categoriesMLB
Obtenemos una salida como:
Acessórios de Carros Acessórios para Veículos Acessórios de Carros Exterior Interior Comércio Agro, Indústria e Comércio Comércio Contêineres Marítimos Insumos Máquinas Móveis Outros Acessórios para Veículos Acessórios para Veículos Acessórios de Carros Acessórios de Motos Acessórios Náutica Ferramentas GPS Limpeza Automotiva
Que continúa por unas 1218885 líneas
Reducir el problema
Por último, no podemos dejar de lado la solución de «pensamiento lateral» (Que suele ser la mejor :)): re-definir el problema en términos más simples.
Se trata de hacernos la pregunta: ¿Realmente necesitamos ese archivo? ¿No podríamos trabajar con uno más pequeño?
Claramente, la respuesta dependerá del contexto más que de cuestiones de tecnología, pero no estaría completo el artículo si no lo mencionara.
(Si preferís resolver el problema intentando reducir el tamaño del archivo, este artículo puede ser de tu interés).
Algunas notas finales
Es importante distinguir entre la necesidad de procesar un archivo tan grande en forma online (Es decir, mientras estamos generando una respuesta para un visitante al sitio) y offline (En un cronjob en la mitad de la noche por ejemplo).
Claramente, esta herramienta va bien para el segundo caso (Para el primero te diría que si estás con esa necesidad tendrías que re-pensar algo…).
Por último, no puedo dejar de agradecer a mis amigos y colegas Alejandro Chapiro y Eric Danan por la inspiración para escribir este texto (Y la discusión sobre soluciones que te mostré acá).
