Imagina que estás en un gran juego de rol lleno de cientos, si no miles, de NPC interactivos (personajes no jugables). Todos los juegos de rol actuales llevan a cabo tus interacciones con ellos a través de un conjunto de selecciones de declaraciones predefinidas, donde eliges entre un conjunto de opciones basadas en texto en la pantalla, lo que provoca una determinada respuesta del NPC. Esto parece muy antinatural y ridículo, pero NVIDIA planea cambiarlo. Con ACE (motor de personajes) y NeMo SteerLM (un modelo de lenguaje natural), NVIDIA quiere hacer posibles las interacciones basadas en voz con NPC. Este es un paso muy necesario hacia el futuro cercano, donde los NPC estarán respaldados por grandes GPT que te permitirán tener largas conversaciones con ellos.
La forma en que esto funciona es que el jugador le da a un NPC una entrada de voz en lenguaje natural. Un motor de voz a texto y un LLM procesan la entrada de voz y generan una respuesta en lenguaje natural. Omniverse Audio2Face se aprovecha para crear la respuesta del NPC en tiempo real. Al anunciar esta Gamescom, el nuevo NeMo SteerLLM de NVIDIA agrega vida a la parte de ACE que procesa la entrada de voz natural y, según el tipo de rasgos de personalidad que el desarrollador del juego le da a un NPC, genera respuestas con diversos grados de creatividad, humor y toxicidad entre otros atributos.
