Talend Data Integration ayuda a los periodistas de investigación a descifrar los paraísos financieros

Talend, compañía global en soluciones cloud e integración big data, ha anunciado que el Consorcio Internacional de Periodistas de Investigación (ICIJ) está usando Talend Data Fabric como parte de la investigación de los Papeles Paraíso, una filtración que involucra 13.4 millones de documentos encriptados de dos paraísos fiscales en el extranjero y 19 jurisdicciones secretas que protegen los negocios financieros de actores políticos y gigantes corporativos del mundo.

ICIJ utilizó Talend para cargar más de 1.4 TB de datos no estructurados en la base de datos de gráficos Neo4j, que aprovecha la plataforma de visualización de gráficos Linkurious para organizar y acceder a la información. Los datos incluyen correos electrónicos, documentos en Excel, CSV y PDF con texto e imágenes sobre empresas y personas que utilizan un sistema oculto creado para evitar el pago de impuestos. ICIJ también utilizó otras herramientas de código abierto para respaldar su «Knowledge Center» y hacer que los reporteros pudiesen buscar la información

«Talend es nuestra solución preferida cuando se trata de limpiar, transformar e integrar los datos que recibimos. Funciona como un mecanismo crucial para permitirnos construir una base de datos robusta «, dijo Pierre Romera, CTO de ICIJ. «Trabajar con una herramienta de código abierto como Talend garantiza la seguridad y fiabilidad de los datos ya que nuestra extensa red de periodistas de investigación revisa terabytes de archivos. Respaldados por una extensa comunidad de colaboradores, las soluciones de código abierto nos permiten beneficiarnos de las últimas innovaciones en el procesamiento, la extracción y la visualización de datos «.

La nube también es un elemento central del viaje de datos de ICIJ. La organización utiliza el poder de Amazon Web Services (AWS) para procesar todos los datos y ampliar el acceso. ICIJ configuró máquinas temporales en AWS para paralelizar la extracción de datos: la organización usa Ubuntu, Tesseract y una herramienta interna llamada Extract para hacer reconocimiento óptico de los caracteres y ayudar a extraer el texto de los archivos.

«Pasar a la nube era obvio debido a la naturaleza de nuestra misión y al gran volumen de datos que procesamos. La tecnología de la nube ofrece la escalabilidad que necesitamos cuando la necesitamos, para que podamos administrar fácilmente nuestra carga de trabajo. Con una potencia robusta para procesamiento y seguridad, AWS fue la opción más adecuada para nosotros «, explicó Pierre.

Los documentos reveladores de 13.4M fueron obtenidos por el periódico alemán Süddeutsche Zeitung que recibió datos de dos firmas de servicios offshore en países que van desde Bermuda hasta Singapur, así como de 19 registros corporativos en todo el mundo. Durante aproximadamente un año, ICIJ trabajó con cientos de periodistas y socios de medios para exponer este nuevo descubrimiento, que ha tenido un impacto significativo en personas conocidas y grandes organizaciones.

«Desde que ICIJ reveló la filtración de Panamá Papers en 2016 por la que ganó el Premio Pulitzer, hemos visto cuánto pueden afectar las tecnologías de gestión y procesamiento de datos en nuestra sociedad«, dijo Ciaran Dynes, vicepresidente sénior de productos de Talend. «Nos complace apoyar el periodismo de investigación en profundidad y aquellos que buscan información significativa a partir de los datos«.