Dejé el Infierno de RPC para Siempre: Tu Manual Completo de Parquet de Génesis a Punta para una Velocidad Ultrarrápida…

Dejé el Infierno de RPC para Siempre: Tu Manual Completo de Parquet de Génesis a Punta para Análisis en Cadena Ultrarrápido

(No Más Límites de Tasa, No Más Facturas Mensuales de $500)

Hola, soy Mike Kuykendall — más de 20 años como ingeniero de software, ex Sargento de Estado Mayor de la USAF, padre de dos hijos, y ahora el tipo detrás de Delta Zero Labs (@_MikeKuykendall en X).

Durante años viví la vida de RPC. ¿Quieres cada transferencia ERC20 de una billetera ballena desde 2020? Inicia un script que recorra eth_getLogs con rangos de 10,000 bloques, maneja límites de tasa, reintenta en 429s, pagina, deduplica, decodifica el ABI tú mismo, guárdalo en algún lugar... enjuaga y repite para intercambios DEX, ticks de oráculo, liquidaciones.

Un proyecto de fin de semana se convirtió en una factura de $400/mes de Alchemy y un nodo de archivo de 14 TB devorando mi SSD. Juré que tenía que haber una mejor manera.

La hay.

Construí (y ahora vendo) conjuntos de datos Parquet de calidad de producción, completamente decodificados, de génesis a punta para la mainnet de Ethereum, BSC y Sepolia. Una descarga. Un archivo (o conjunto particionado limpio). Cero RPCs para siempre. Consulta 7.77 mil millones de eventos de BSC o 334 millones de eventos de Sepolia en segundos en tu laptop con DuckDB o Polars.

Esto no es otro indexador o subgraph. Estos son los datos que habrías extraído tú mismo — pero ya están hechos, decodificados, clasificados por signal_type, comprimidos y listos para poseer para siempre.

En esta publicación te daré el tutorial detallado exacto que desearía haber tenido hace dos años. Al final sabrás precisamente cómo:

• Obtener la muestra gratuita de 10k filas
• Cargarla localmente
• Responder cualquier pregunta para la que solías martillar RPCs
• Escalar a la bestia completa de miles de millones de filas

Matemos juntos el impuesto de RPC.

Por Qué los RPCs Fallan para Trabajo Histórico Real

Verificación rápida de realidad (ya sabes esto, pero cuantifiquemos el dolor):

• El rango máximo de eth_getLogs suele ser de 10k-50k bloques en proveedores pagados.
• Mainnet completa = ~22 millones de bloques hoy.
• ¿Un escaneo completo de todos los eventos de transferencia? Espera 200-500 llamadas API, horas de espera y facturas sorpresa de $87.
• ¿Quieres backtesting de MEV a través de 3 años de Uniswap V3? Buena suerte.
• Límites de tasa, costos de nodos de archivo, desviación de datos cuando los proveedores cambian esquemas... pesadilla.

Me cansé de eso. Así que escribí un motor de extracción de cero RPC (Fused Semantic Execution pendiente de patente — FSE). Lee los datos en cadena sin procesar una vez, decodifica cada evento en columnas limpias, lo etiqueta con signal_type y lo vuelca directamente a Parquet.

¿Resultado? Conjuntos de datos como:

• Ethereum Mainnet (oráculos Chainlink + flujos WETH + núcleo DEX completo): ~358 millones de señales, génesis → punta, ~16 GB comprimidos. Licencia de por vida $999 (25% de descuento para los primeros 1,000 compradores).
• BSC (7.77 mil millones de eventos decodificados — PancakeSwap, Aave, Chainlink, Wormhole, todo): génesis → bloque 82M+. Compra única en el rango de $999-$9,999 dependiendo del subconjunto.
• Archivo completo de Sepolia (334M+ eventos, cada categoría): ~12.3 GB Parquet único.

Todo entregado como Parquet. Columnar, increíblemente comprimido (5-10× más pequeño que CSV), listo para predicate pushdown, funciona con todas las herramientas de datos modernas.

Qué Hay Realmente Dentro del Parquet (El Esquema de 19 Columnas en el Que Puedes Confiar)

Cada fila es un evento decodificado. Aquí están las columnas principales que usarás todos los días (la especificación completa de 19 columnas está en los documentos de descarga):

• block_number (int64)
• block_hash (string)
• timestamp (int64 — segundos Unix)
• tx_hash (string)
• tx_index (int32)
• from_address (string)
• to_address (string)
• contract_address (string — el token o contrato de protocolo)
• signal_type (string — ej. ERC20_Transfer, UniswapV3_Swap, Chainlink_PriceUpdate, AaveV3_Liquidation, WETH_Deposit, DAO_Vote, etc.)
• value / amount / amount0 / amount1 (decimal o int256 normalizado)
• price (para oráculos)
• log_index, topic0–topic3, campos de datos sin procesar para usuarios avanzados
• Además de parámetros decodificados específicos para cada signal_type (dirección de pool, tick, sqrtPriceX96, etc. para intercambios DEX)

Una fila = un registro cristalino, listo para análisis. No más decodificación de ABI en tu código nunca más.

Paso a Paso: De Cero a Consultar Más de 300M de Filas en Menos de 5 Minutos

Paso 1: Obtén la Muestra Gratuita (Sin Email, Sin Registro)

Ve a la muestra oficial:

https://huggingface.co/datasets/MikeKuykendall/ethereum-signals-sample

O espejo de Kaggle: https://www.kaggle.com/datasets/mikekuykendall/ethereum-onchain-signals

Descarga el archivo Parquet (~5-10 MB, 10,000 filas estratificadas cubriendo cada signal_type).

Paso 2: Instala las Herramientas (Toma 60 Segundos)

Recomiendo DuckDB — es mágico para esto.

pip install duckdb pandas pyarrow
# o simplemente brew install duckdb en Mac

Paso 3: Carga y Explora (Copia-Pega Estos)

Abre un notebook de Jupyter o simplemente el CLI de DuckDB.

Python + Pandas (para exploración pequeña)

import pandas as pd

df = pd.read_parquet("ethereum_signals_sample.parquet")
print(df.shape) # (10000, 19)
print(df['signal_type'].value_counts())
print(df.head())

DuckDB SQL (aquí es donde ocurre la magia — cero memoria para archivos enormes)

-- Launch DuckDB
duckdb

-- Attach the sample
SELECT * FROM read_parquet('ethereum_signals_sample.parquet') LIMIT 10;

Paso 4: Preguntas Reales Que Puedes Responder al Instante

"¿Cuántas transferencias ERC20 ha hecho esta dirección?"

SQL

SELECT COUNT(*) as transfers,
SUM(amount) as total_volume
FROM read_parquet('your_full_dataset.parquet')
WHERE from_address = '0x1234...'
OR to_address = '0x1234...'
AND signal_type = 'ERC20_Transfer';

"Top 10 tokens por cantidad de transferencias en 2024"

SQL

SELECT contract_address,
COUNT(*) as tx_count
FROM read_parquet('your_full_dataset.parquet')
WHERE signal_type = 'ERC20_Transfer'
AND timestamp >= 1704067200 -- 1 de enero de 2024
AND timestamp < 1735689600 -- 1 de enero de 2025
GROUP BY contract_address
ORDER BY tx_count DESC
LIMIT 10;

"Todos los swaps de Uniswap V3 para un pool específico, con impacto de precio"

SQL

SELECT timestamp,
amount0,
amount1,
sqrtPriceX96,
(amount1::double / NULLIF(amount0,0)) as price_impact
FROM read_parquet('full_dataset.parquet')
WHERE signal_type = 'UniswapV3_Swap'
AND contract_address = '0x88e6a0c2ddd26feeb64f039a2c41296fcb3f5640' -- USDC/ETH 0.05%
ORDER BY block_number DESC
LIMIT 1000;

"Ticks de precio de Chainlink para ETH/USD a lo largo del tiempo" (perfecto para backtesting)

SQL

SELECT
date_trunc('day', to_timestamp(timestamp)) as day,
AVG(price) as avg_eth_price
FROM read_parquet('full_dataset.parquet')
WHERE signal_type = 'Chainlink_PriceUpdate'
AND contract_address = '0x5f4eC3Df9cbd43714FE2740f5E3616155c5b8419' -- ETH/USD
GROUP BY day
ORDER BY day;

Consejo profesional: DuckDB también puede leer carpetas particionadas:

SQL

SELECT COUNT(*) FROM read_parquet('mainnet_parquets/*.parquet');

Automáticamente usa predicate pushdown — filtrar por block_number o signal_type omite el 99% de los datos en el disco. Consultarás miles de millones de filas más rápido de lo que la mayoría de la gente puede desplazarse por Twitter.

Paso 5: Yendo al Conjunto de Datos Completo

1. Compra tu licencia en https://deltazerolabs.dev (paquetes mainnet, BSC o Sepolia).
2. Link de descarga instantánea + clave de re-descarga de por vida.
3. Descomprime (si es necesario) → apunta tus consultas al Parquet(s).
4. Hecho. No más factura mensual nunca más.

Nota de almacenamiento: El conjunto completo de BSC es grande pero comprimible y funciona bien en una máquina con 64 GB de RAM. Para flujos de trabajo más grandes simplemente enciende una caja Hetzner económica con 128 GB de RAM y DuckDB aún supera a los almacenes en la nube en costo.

Logros del Mundo Real Que Mis Compradores Están Obteniendo

• Buscadores de MEV haciendo backtesting de lógica de enrutamiento a través de 4 años de datos DEX en menos de 2 minutos.
• Equipos de cumplimiento rastreando cada transferencia de NFT para una colección sin límites de tasa de Etherscan.
• Fondos cuantitativos construyendo puntuaciones de salud de billeteras a partir del flujo completo de WETH + historial de liquidación.
• Investigadores escribiendo artículos con consultas reproducibles (solo comparte el SQL + versión del conjunto de datos).

Un comprador me dijo: "Cancelé mi plan RPC de $1,200/mes el mismo día que llegó el conjunto de datos."

Tabla de Comparación (Porque Te Encantan Estas)

EnfoqueCostoVelocidad para Historial de 3 añosMantenimientoPropiedadBucles RPC sin procesar$200–2000/mesHoras–díasConstanteTú reconstruyesSubgraphs/The GraphGratis–de pagoRápido pero incompletoRiesgo del proveedorNoCryo auto-extractorTu tiempo + nodoDías para extraerContinuoSíDelta Zero ParquetÚnico pago $999+SegundosCeroPara siempre

¿Listo para Matar Tu Factura de RPC?

1. Descarga la muestra gratuita ahora mismo: https://huggingface.co/datasets/MikeKuykendall/ethereum-signals-sample
2. Ejecuta las consultas anteriores. Siente la velocidad.
3. Cuando estés listo para la bestia completa de génesis a punta (mainnet, BSC o Sepolia), dirígete a https://deltazerolabs.dev/bsc y obtén tu licencia de por vida.

Los primeros 1,000 compradores en mainnet/BSC obtienen 25% de descuento con el código EARLY25 al pagar.

¿Preguntas? Envíame un DM en X @_MikeKuykendall o únete al canal de Telegram vinculado en el sitio. Respondo a cada una — esta es una operación en solitario propiedad de un veterano y realmente me importa que ganes con los datos.

Deja de pagar renta por datos que deberían ser tuyos.

Descarga la muestra. Ejecuta las consultas. Luego nunca vuelvas a llamar a otro eth_getLogs.

Nos vemos en cadena (fuera de línea).

— Mike Kuykendall Delta Zero Labs P.D. El próximo lanzamiento de chain viene pronto. ¿Quieres acceso anticipado + tipos de señal personalizados? Envíame un DM.

---

I Ditched RPC Hell for Good: Your Complete Genesis-to-Tip Parquet Handbook for Lightning-Fast… fue publicado originalmente en Coinmonks en Medium, donde las personas continúan la conversación destacando y respondiendo a esta historia.