A catalog of API Gateway metrics and its quantitative evaluation

Abstract

In the rapidly evolving API Economy, quality of API management software has become a critical concern. This work analyzed the API management industry with a particular focus on the metrics available for various API Gateway products. The primary artifact is a catalog with 59 metrics, compiled from global industry reports and technical documentation of 68 leading API Gateway products. The Design Science Research (DSR) approach was adopted to design the catalog, and metrics were categorized based on clear definitions in recent scientific literature. Secondly, a quantitative analysis method was proposed and systematically performed. Findings indicate that the metrics mainly focus on latency, response time, API performance, error capturing, and traffic monitoring. Features such as caching, resource utilization, and system health were scarcely addressed by the examined products. The proposed artifacts provide an objective foundation for a deeper understanding of API Management software quality, and lay the groundwork for future research.

En la Economía de las API, la calidad del software de administración de API se ha convertido en una preocupación crítica. Este trabajo analizó productos de administración de API con un enfoque particular en las métricas disponibles en productos API Gateway. Se obtuvo un catálogo de 59 métricas, compiladas y categorizadas a partir de la literatura vigente, reportes globales y documentación técnica de 68 API Gateways. Se adoptó el enfoque Design Science Research (DSR) para el diseño. Adicionalmente, se propuso y se implementó un método de análisis cuantitativo. Los hallazgos indican que las métricas se centran principalmente en latencia, tiempo de respuesta, rendimiento, captura de errores y monitoreo del tráfico. Características como almacenamiento en caché, utilización de recursos y estado del sistema fueron escasamente abordadas. Los artefactos propuestos proporcionan una base objetiva para comprender más profundamente la calidad del software de administración de API, y sientan bases para futuras investigaciones.