Anthropic ha lanzado una capacidad revolucionaria denominada «uso de computadoras», diseñada para que sus modelos fundamentales puedan interpretar visualmente interfaces digitales. Esta nueva funcionalidad permite que los modelos Claude de Anthropic identifiquen el contenido de una pantalla, comprendan el contexto de los elementos de la interfaz de usuario y reconozcan acciones necesarias, como hacer clic en botones, escribir texto o navegar entre aplicaciones. Sin embargo, es importante mencionar que estos modelos necesitan de una capa de orquestación para ejecutar estas acciones de manera segura.
La integración de este soporte se ha concretado en Amazon Bedrock Agents, utilizando los modelos Claude 3.5 Sonnet V2 y Claude Sonnet 3.7. La colaboración entre la percepción visual avanzada de Anthropic y las capacidades de gestión de Amazon Bedrock ofrece una herramienta automatizada, segura y rastreable para optimizar flujos de trabajo complejos.
En diversos sectores, las organizaciones se encuentran con dificultades para automatizar tareas repetitivas que requieren la interacción con múltiples aplicaciones y sistemas. Actividades como el procesamiento de facturas o la actualización de registros de clientes a menudo implican la transferencia manual de información, lo cual consume tiempo y está sujeto a errores. Las soluciones tradicionales de automatización requieren integraciones de API específicas, incrementando la carga de desarrollo. Aquí es donde el uso de computadoras introduce un nuevo paradigma al permitir que las máquinas interactúen con las interfaces existentes de forma similar a como lo haría un humano.
El desarrollo de un agente de uso de computadora demuestra la necesidad de una capa de orquestación que converta las capacidades perceptuales en automatización activa. Sin esta capa, la identificación de acciones no podría ser llevada a cabo. La demostración particular de un agente de uso de computadora garantiza un entorno de ejecución seguro con registros detallados de cada acción y capacidades de trazabilidad mejoradas.
Con la incorporación del uso de computadoras, Amazon Bedrock Agents es capaz de automatizar tareas mediante acciones de interfase gráfica de usuario y comandos de Linux. Un agente podría, por ejemplo, tomar capturas de pantalla, crear y editar archivos de texto, y ejecutar comandos de Linux. Esto incluye herramientas para interactuar con interfaces, editar documentos y ejecutar comandos de Bash.
El flujo de trabajo del uso de computadora abarca la creación de un agente, la descripción de sus interacciones, la adición de grupos de acciones permitidas y la activación del agente a través de una consulta de usuario que necesita las herramientas de uso de computadoras. El agente evalúa las herramientas disponibles y decide cuál acción llevar a cabo, proporcionando una respuesta que se procesa en un entorno seguro.
Este avance no solo representa una mejora significativa en la eficiencia de la automatización de tareas para desarrolladores, sino que también garantiza una trazabilidad que optimiza los flujos de trabajo empresariales. Utilizando los Amazon Bedrock Agents, las organizaciones pueden abordar de forma más efectiva tareas como el procesamiento de facturas o la gestión de la documentación de recursos humanos.
En resumen, la capacidad integrada de uso de computadoras en Amazon Bedrock Agents ofrece un enfoque transformador para los desafíos que enfrentan las organizaciones en la automatización de flujos de trabajo complejos. Se logra esto eliminando la necesidad de crear APIs personalizadas para cada aplicación y permitiendo una implementación ágil de soluciones automatizadas, abriendo un horizonte de eficiencia e innovación en las operaciones empresariales.
