Blog

Feb 04, 2024

Google actualiza Vertex AI para seguir el ritmo del auge de la IA generativa

Más de la mitad de los directores ejecutivos a nivel mundial están experimentando con IA para generar texto, imágenes y otras formas de datos, según una reciente encuesta conjunta realizada por Fortune y Deloitte. Mientras tanto, un tercio de las organizaciones están

Más de la mitad de los directores ejecutivos a nivel mundial están experimentando con IA para generar texto, imágenes y otras formas de datos, según una reciente encuesta conjunta realizada por Fortune y Deloitte. Mientras tanto, un tercio de las organizaciones utiliza la IA generativa “regularmente” en al menos una función empresarial, según muestra un informe de McKinsey.

Dado el enorme (y aparentemente creciente) mercado al que se dirige, no sorprende que Google Cloud esté esforzándose mucho, muy duro, para mantenerse al día.

Durante su conferencia anual Cloud Next, Google anunció actualizaciones de Vertex AI, su plataforma basada en la nube que proporciona flujos de trabajo para crear, entrenar e implementar modelos de aprendizaje automático. Vertex AI ahora presenta modelos de IA actualizados para la generación de texto, imágenes y código, así como nuevos modelos de terceros de nuevas empresas, incluidas Anthropic y Meta, y extensiones que permiten a los desarrolladores incorporar datos de la empresa y tomar medidas en nombre de un usuario.

"[Con Vertex] estamos adoptando un enfoque de ecosistema muy abierto, trabajando con socios de ecosistemas amplios para brindar opciones y flexibilidad a nuestros clientes", dijo June Yang, vicepresidente de inteligencia artificial en la nube y soluciones industriales de Google, en una conferencia de prensa. "Hemos creado un enfoque para la IA generativa con la preparación empresarial en su núcleo, con un fuerte enfoque en la gobernanza de datos, la seguridad responsable de la IA y más".

En cuanto al modelo, Google afirma que ha actualizado "significativamente" su modelo de generación de código Codey, ofreciendo una mejora de calidad del 25% en los "principales idiomas admitidos" para la generación de código. (Desafortunadamente, Google no amplió esa métrica vaga en los materiales que recibió este reportero). También actualizó Imagen, su modelo de generación de imágenes, para mejorar la calidad de las imágenes generadas y admite Style Tuning, que permite a los clientes crear imágenes. “alineados con su marca” utilizando tan solo 10 imágenes de referencia.

En otros lugares, el modelo de lenguaje PaLM 2 de Google comprende nuevos idiomas (38 en disponibilidad general y más de 100 en vista previa) y tiene una ventana de contexto ampliada de 32.000 tokens. La ventana de contexto, medida en tokens (es decir, fragmentos de texto sin procesar), se refiere al texto que el modelo considera antes de generar cualquier texto adicional (32.000 tokens equivalen a aproximadamente 25.000 palabras, o alrededor de 80 páginas de texto, a doble espacio).

La ventana contextual de PaLM 2 no es la más grande que existe. Esa distinción corresponde al Claude 2 de Anthropic, que tiene una ventana de contexto de 100.000 tokens, más de tres veces el tamaño de los PaLM 2 y GPT-4 originales. Pero Nenshad Bardoliwalla, líder de producto de Vertex AI, dijo que la decisión de optar por 32.000 tokens se tomó teniendo en cuenta la "flexibilidad" y el "costo".

"Nuestros clientes se esfuerzan por equilibrar la flexibilidad del modelado que pueden hacer con modelos grandes y los escenarios que pueden generar con el costo de la inferencia y con la capacidad de realizar ajustes", dijo Bardoliwalla durante la sesión informativa. “Cada uno de ellos tiene un cierto costo computacional y también un costo humano dependiendo de cuánto se invierte en él. Y entonces sentimos en este momento que, dada la evolución del mercado, los resultados con 32,000 tokens son bastante impresionantes según las evaluaciones que hemos realizado. Sentimos que logró el equilibrio adecuado entre nueva capacidad y ofrecer relaciones competitivas de precio-rendimiento en el mercado”.

No todos los clientes estarán de acuerdo. Pero en un intento de tener ambas cosas, Google ha agregado modelos de terceros, incluido Claude 2, al Model Garden de Vertex AI, una colección de modelos y herramientas prediseñados que se pueden personalizar según las necesidades de una empresa. Otros modelos que se unen al Model Garden incluyen el recientemente lanzado Llama 2 de Meta y el Falcon LLM de código abierto del Technology Innovation Institute.

Las nuevas incorporaciones de modelos son un tiro al arco para Amazon Bedrock, el producto AWS lanzado recientemente por Amazon que proporciona una forma de crear aplicaciones generativas impulsadas por IA a través de modelos previamente entrenados de nuevas empresas, incluidos AI21 Labs, Anthropic y Stability AI. Dado el difícil lanzamiento de Bedrock, Google, tal vez, ve una oportunidad de establecer un punto de apoyo en el mercado naciente de servicios de modelos administrados,

Con este fin, Google también está incorporando extensiones y conectores de datos a Vertex AI, que son esencialmente su versión de los complementos del modelo de IA de OpenAI y Microsoft.

Las extensiones son un conjunto de herramientas que permiten a los desarrolladores conectar modelos en Model Garden con datos en tiempo real, datos propietarios o aplicaciones de terceros, como un sistema de gestión de relaciones con el cliente o una cuenta de correo electrónico (por ejemplo, Datastax, MongoDB o Redis), o incluso tomar acción en nombre de un usuario. Mientras tanto, los conectores de datos pueden ingerir datos empresariales y de terceros con acceso de solo lectura desde una variedad de plataformas, como Salesforce, Confluence y Jira.

En noticias algo relacionadas, Vertex AI ahora es compatible con Ray, el marco informático de código abierto para escalar la IA y las cargas de trabajo escritas en Python. Se une a los marcos ya compatibles en Vertex AI, incluido el propio TensorFlow de Google.

Me llamó la atención que Google una vez más evitó abordar muchos de los desafíos éticos y legales asociados con todas las formas de IA generativa, quizás principalmente los derechos de autor. Los modelos de IA como PaLM 2 e Imagen “aprenden” a generar texto e imágenes “entrenándose” con datos existentes, que a menudo provienen de conjuntos de datos que se reunieron rastreando fuentes públicas protegidas por derechos de autor en la web.

Bardoliwalla le dijo anteriormente a TechCrunch que Google lleva a cabo amplias "revisiones de gobernanza de datos" para "observar los datos de origen" dentro de sus modelos y garantizar que estén "libres de reclamaciones de derechos de autor". Pero incluso asumiendo generosamente que todos los datos de entrenamiento de IA de Google están libres de material protegido por derechos de autor, Google, como muchos de sus competidores, no ofrece un mecanismo de exclusión voluntaria que permita a los propietarios de cualquier dato, excepto a los clientes de Vertex AI, excluirlo de utilizado para el entrenamiento de modelos.

La pregunta más importante sin resolver es si los clientes de Vertex AI realmente poseen el contenido que generan utilizando AI. Al menos en Estados Unidos, no está claro si el arte generado por IA está protegido por derechos de autor.

Google no tenía una respuesta a esa pregunta, al menos no una respuesta preparada.

Aprovechando la popularidad de los chatbots y las búsquedas impulsados ​​por IA, Google ofrece dos productos en Vertex diseñados para abstraer la complejidad de crear aplicaciones de búsqueda y chat generativas: Vertex AI Search (anteriormente Enterprise Search en Generative AI App Builder) y Vertex AI Conversation ( anteriormente Conversational AI en Generative AI App Builder).

A partir de hoy, ambos están disponibles de forma generalizada.

Con Vertex AI Search y Vertex AI Conversation, los desarrolladores pueden ingerir datos y agregar personalización para crear un motor de búsqueda, chatbot o "voicebot" que pueda interactuar con los clientes y responder preguntas basadas en los datos de una empresa. Google imagina las herramientas que se utilizarán para crear aplicaciones para casos de uso como pedidos de alimentos, asistencia bancaria y servicio al cliente semiautomático.

Lo nuevo en Vertex AI Search y Vertex AI Conversation con el salto a GA es la búsqueda multiturno, que brinda la capacidad de hacer preguntas de seguimiento sin comenzar la interacción desde cero. También es nuevo el resumen de conversaciones y búsquedas, que resume, de forma predecible, los resultados de búsqueda y las conversaciones de chat.

Playbook, que lanza una vista previa de Vertex AI Conversations, permite a los usuarios definir en lenguaje natural las respuestas y transacciones que desean que realice una voz y un chatbot, de manera similar a cómo se le podría indicar a un humano que maneje las tareas. Pueden agregar una persona (“Eres un experto en bicicletas amigable y conocedor para un sitio de comercio electrónico”), un objetivo (“Ayudar a los clientes a completar un pago”), pasos (“Solicitar un número de tarjeta de crédito y luego una dirección de envío). ”) y ejemplos que muestran que el objetivo se está cumpliendo de forma ideal.

Las extensiones del modelo Vertex AI y los conectores de datos se pueden utilizar en conjunto con Vertex AI Search y Vertex AI Conversation. También lo puede hacer la conexión a tierra, otra característica nueva en Vertex que puede arraigar los resultados de un modelo en los datos de una empresa, por ejemplo, haciendo que el modelo cite claramente sus respuestas a las preguntas.

Google dice que Vertex AI Search pronto admitirá controles de acceso empresarial para "garantizar que la información llegue solo a los usuarios adecuados" y proporcionará puntuaciones de relevancia para "fomentar la confianza" en los resultados y "hacerlos más útiles".

Dada la tendencia de los modelos generativos de IA a inventar hechos, me considero escéptico. Siempre existe el riesgo de que actores malintencionados intenten descarrilar los modelos mediante ataques de inyección rápida. Sin eso, los modelos, ya sean que generen texto o imágenes, pueden generar toxicidad, un síntoma de sesgos en los datos que se utilizaron para entrenarlos.

Bardoliwalla afirma que, incluso si las herramientas de conexión a tierra no resuelven de una vez por todas el llamado problema de las alucinaciones y la toxicidad con los modelos generativos, son un paso en la dirección general correcta.

"Creemos que un conjunto integral de capacidades de conexión a fuentes autorizadas es una forma de proporcionar un medio para controlar el problema de las alucinaciones y hacer que el uso de estos sistemas sea más confiable", dijo.

En una entrevista anterior, Bardoliwalla afirmó que cada llamada API a modelos generativos alojados en Vertex se evalúa en busca de "atributos de seguridad", que incluyen toxicidad, violencia y obscenidad. Vertex califica los modelos según estos atributos y, para ciertas categorías, bloquea la respuesta o les da a los clientes la opción de cómo proceder.

A medida que los modelos de IA generativa se vuelven más sofisticados y difíciles de interpretar, me pregunto si eso es sostenible. Nosotros (y los clientes de Google Cloud) lo veremos.