Modelos grandes en la industria financiera: pensar en la aplicación desde una perspectiva estratégica

Desde el lanzamiento de ChatGPT, la industria financiera ha sentido inmediatamente una fuerte ansiedad. Este sector, lleno de confianza en la tecnología, teme quedar rezagado ante las olas del tiempo. Esta atmósfera de tensión incluso se ha extendido a lugares inesperados. Un profesional del sector reveló que en mayo de este año, mientras estaba de viaje de negocios en Dali, se encontró con personas discutiendo el tema de los grandes modelos en un templo.

Sin embargo, esta ansiedad está regresando gradualmente a la racionalidad, y el pensamiento de las personas se está volviendo más claro. El CTO de servicios bancarios de una empresa describió las varias fases de la actitud de la industria financiera hacia los grandes modelos este año: en febrero y marzo, había una ansiedad generalizada; en abril y mayo, se formaron equipos y comenzaron a actuar; en los meses siguientes, encontraron dificultades en la búsqueda de dirección y en el proceso de implementación, y la actitud se volvió más racional; ahora están observando a las empresas de referencia, intentando validar escenarios de aplicación comprobados.

Una nueva tendencia es que muchas instituciones financieras han comenzado a dar una importancia estratégica a los grandes modelos. Según estadísticas incompletas, al menos 11 bancos en las empresas que cotizan en A-shares han mencionado explícitamente en sus últimos informes semestrales que están explorando la aplicación de grandes modelos. A partir de las acciones recientes, están realizando un pensamiento y una planificación de caminos más claros desde una perspectiva estratégica y de diseño de alto nivel.

De la emoción desbordante al regreso a la razón

"En comparación con hace unos meses, ahora se puede sentir claramente que los clientes financieros tienen una mejor comprensión de los modelos grandes." Dijo un experto, al señalar que a principios de año, cuando ChatGPT salió por primera vez, aunque la gente estaba muy entusiasmada, en realidad tenían un conocimiento muy limitado sobre qué eran los modelos grandes y cómo utilizarlos.

En esta etapa, por un lado, algunos grandes bancos han tomado la iniciativa y han comenzado a hacer todo tipo de promociones para "aprovechar el momento". Por otro lado, a medida que varias empresas lanzan modelos grandes, algunos departamentos de tecnología de instituciones financieras líderes comienzan a discutir activamente la construcción de modelos grandes con las grandes empresas. Generalmente, esperan construir sus propios modelos grandes y preguntan sobre cómo preparar los conjuntos de datos, cuántos servidores se necesitan, cómo entrenar, entre otras cuestiones.

A partir de mayo, la situación comenzó a cambiar gradualmente. Debido a la escasez de recursos de cómputo y los altos costos, muchas instituciones financieras han comenzado a pasar de simplemente desear construir sus propios modelos a centrarse más en el valor de la aplicación. "Ahora cada institución financiera está prestando atención a lo que otros han logrado con modelos grandes y qué resultados han obtenido."

En cuanto a las empresas de diferentes tamaños, se han delineado dos caminos. Las grandes instituciones financieras que cuentan con una gran cantidad de datos financieros y escenarios de aplicación pueden introducir modelos de base avanzados, construir sus propios modelos empresariales y, al mismo tiempo, adoptar un enfoque de ajuste fino para formar modelos de tareas en campos especializados, empoderando rápidamente los negocios. Por otro lado, las instituciones financieras pequeñas y medianas pueden considerar el retorno de inversión y, según sus necesidades, introducir APIs en la nube de diversos modelos grandes o servicios de implementación privada para satisfacer directamente sus demandas comerciales.

Sin embargo, debido a las altas exigencias de la industria financiera en términos de cumplimiento de datos, seguridad y confiabilidad, algunas personas creen que el avance en la implementación de modelos grandes en esta industria ha sido ligeramente más lento de lo esperado a principios de año. Algunos expertos han señalado que inicialmente predijeron que la industria financiera podría ser la primera en utilizar a gran escala los modelos grandes, pero en comparación con la situación de integración final con los clientes, la industria financiera no ha aplicado estos modelos tan rápidamente como las industrias de derecho, reclutamiento, entre otras.

Algunas instituciones financieras han comenzado a encontrar maneras de resolver las diversas limitaciones en el proceso de implementación de modelos grandes.

Por ejemplo, en términos de poder de cálculo, los profesionales de la industria han observado que actualmente han surgido varias soluciones en el sector financiero:

En primer lugar, construir directamente la capacidad de cálculo tiene un costo relativamente alto, pero la seguridad es suficientemente alta. Es adecuado para instituciones financieras con gran capacidad, que desean construir sus propios modelos de gran escala para la industria o la empresa, típicamente como algunos grandes bancos estatales.

En segundo lugar, la implementación de potencia de cálculo mixta, es decir, aceptar la invocación de la interfaz del servicio de grandes modelos desde la nube pública sin que los datos sensibles salgan del dominio, al mismo tiempo que se procesan los servicios de datos locales mediante una implementación privatizada. Este método tiene un costo relativamente bajo, solo se necesita invertir decenas de miles de yuanes para comprar algunas tarjetas y así satisfacer la demanda, siendo adecuado para instituciones financieras pequeñas y medianas con recursos financieros relativamente limitados que solo aplican según sea necesario.

Sin embargo, a pesar de esto, muchas pequeñas y medianas instituciones aún enfrentan el problema de no poder comprar ni permitirse las tarjetas GPU necesarias para los grandes modelos. Para abordar este problema, las autoridades están llevando a cabo algunas investigaciones sobre el tema, explorando si es posible establecer de manera intermedia una infraestructura de grandes modelos orientada a la industria de valores, concentrando recursos como potencia de cálculo y grandes modelos generales, para que las pequeñas y medianas instituciones financieras en el sector también puedan acceder a los servicios de grandes modelos, con el fin de evitar que "se queden atrás en tecnología".

No solo en términos de poder de cálculo, sino que, con la exploración de la implementación de grandes modelos en los últimos seis meses, muchas instituciones financieras también han comenzado a fortalecer la gobernanza de datos.

Un alto ejecutivo de una empresa presentó que, actualmente, además de los grandes bancos que tienen prácticas maduras en el campo de la gobernanza de datos, cada vez más instituciones financieras de tamaño mediano también están comenzando a construir gradualmente plataformas de datos y sistemas de gobernanza de datos, como algunos bancos regionales en la primera mitad de este año. Él considera que construir un sistema de gobernanza de datos completo y una plataforma de tecnología de lago de datos será la melodía principal muy importante en la construcción de TI de las instituciones financieras en el futuro.

También hay bancos que están resolviendo problemas de datos a través de modelos grandes + MLOps. Por ejemplo, un gran banco ha establecido un sistema de ciclo de datos de modelos grandes adoptando el modelo MLOps, logrando la automatización de todo el proceso, así como la gestión unificada y el procesamiento eficiente de datos heterogéneos de múltiples fuentes. Se informa que actualmente se han construido y sedimentado 2.6 TB de conjuntos de datos de entrenamiento de alta calidad.

Desde la escena exterior

En el último semestre, tanto los proveedores de grandes modelos como las principales instituciones financieras han estado buscando activamente escenarios de aplicación. Se han explorado uno por uno la oficina inteligente, el desarrollo inteligente, el marketing inteligente, el servicio al cliente inteligente, la investigación y inversión inteligente, el control de riesgos inteligente, el análisis de necesidades, entre otros.

Como dijo un alto ejecutivo de una empresa, "Cada función clave en la cadena de negocios financieros merece ser rediseñada con tecnología de grandes modelos." Algunas empresas ya han lanzado grandes modelos financieros y están colaborando con instituciones asociadas para probar y construir productos de grandes modelos orientados a la industria financiera, con el objetivo de crear un asistente de negocios de IA de cadena completa para expertos en finanzas, asesores de inversión, agentes de seguros, investigación y análisis, marketing financiero y reclamaciones de seguros.

Cada institución financiera tiene ricas visiones e ideas sobre los grandes modelos. Algunas empresas afirman que ya han implementado aplicaciones en más de 20 escenarios internos, otras dicen que han realizado pruebas en más de 30 escenarios, y algunas indican que están explorando la integración de grandes modelos con la plataforma de personas digitales virtuales lanzada anteriormente...

Pero cuando se trata de implementar realmente grandes modelos en la industria, hay un consenso entre todos: primero internamente y luego externamente. Después de todo, en la etapa actual, la tecnología de grandes modelos no es madura, por ejemplo, el problema de las alucinaciones, y la industria financiera es un sector altamente regulado, con alta seguridad y alta confiabilidad.

"No se recomienda utilizarlo directamente para los clientes a corto plazo." Un alto ejecutivo de un banco considera que las instituciones financieras deben priorizar el uso de grandes modelos en la creación y comprensión de textos e imágenes financieras, en escenarios intensivos en inteligencia, como asistentes, para mejorar la calidad y eficiencia del trabajo del personal.

Otro experto también señaló que muchos clientes financieros creen que el asistente de código y el asistente de atención al cliente son escenarios donde se pueden obtener resultados inmediatos en las etapas iniciales. En cambio, escenarios como la investigación y el asesoramiento en inversiones tienen un gran valor, pero es difícil obtener resultados rápidamente y requieren altos estándares de datos.

Actualmente, el asistente de código se ha implementado en varias instituciones financieras. Por ejemplo, un gran banco ha construido un sistema de desarrollo inteligente basado en modelos grandes, donde la cantidad de código generada por el asistente de codificación representa el 40% del total de código. Asimismo, en el campo de los seguros, una empresa ha desarrollado un complemento de programación asistida basado en modelos grandes, que se integra directamente en las herramientas de desarrollo internas.

Basado en esto, algunos proveedores también están ofreciendo productos listos para usar directamente a clientes financieros, centrados en la capacidad de generación de código de modelos grandes. Un producto desarrollado por una empresa complementa la capacidad de autocompletado de código del modelo grande con tareas como la descomposición de tareas, respuestas precisas, superación de limitaciones contextuales, entre otros, para lograr que los usuarios tengan una experiencia lista para usar. Actualmente, este producto ya es utilizado por más de 3000 personas en un banco, con una tasa de autocompletado de código del 50% al 90%.

En el ámbito de las oficinas inteligentes, también hay varios casos de implementación. Un responsable de una empresa presentó que, basándose en un gran modelo financiero, lanzaron un sistema de preguntas y respuestas para sucursales, que desde su lanzamiento en julio en un banco, ya se ha promovido en varios cientos de sucursales, con una tasa de adopción de respuestas superior al 85%. En la actualidad, la solución estándar que ha surgido del sistema de preguntas y respuestas de documentos se está replicando rápidamente en otros bancos y en intercambios, entre otros.

Sin embargo, los expertos de la industria determinan que estos escenarios que ya se han implementado ampliamente, en realidad, aún no son aplicaciones centrales de las instituciones financieras, y los modelos grandes todavía están a cierta distancia de profundizar en el nivel operativo de la industria financiera.

"Nosotros mismos juzgamos que la dificultad de trabajar en aplicaciones comerciales es bastante alta." Un experto indicó que los escenarios de marketing, gestión de riesgos y cumplimiento son áreas donde los modelos grandes podrían traer transformaciones, y también son puntos de demanda para los clientes financieros. Sin embargo, en la situación actual, estos trabajos aún dependen de la capacidad de mejora de los proveedores de modelos grandes para implementar los escenarios comerciales.

Otro experto predice que, antes de fin de año, habrá una serie de proyectos de construcción o información de licitación que realmente utilicen grandes modelos en los escenarios comerciales centrales de las instituciones financieras.

Y antes de esto, algunos cambios a nivel de diseño de alto nivel están en curso.

Un experto ha hecho este juicio: todo el sistema de inteligencia y digitalización del futuro se basará en grandes modelos. Esto requiere que la industria financiera, en el proceso de implementación de grandes modelos, reestructure sus sistemas. Al mismo tiempo, no se debe ignorar el valor de los modelos pequeños tradicionales, sino que se debe permitir que los grandes y pequeños modelos trabajen juntos.

Esta tendencia se ha reflejado ampliamente en la industria financiera. "Ahora las instituciones financieras están probando grandes modelos, y básicamente adoptarán un enfoque jerárquico." Un experto explicó que, a diferencia del modelo de chimenea del pasado, donde se requería construir una plataforma para cada escenario, los grandes modelos en realidad ofrecen a las instituciones financieras la oportunidad de comenzar desde cero y planificar todo el sistema de una manera más científica.

Se puede ver que actualmente varias instituciones financieras líderes ya han construido un marco de sistema en capas que incluye múltiples niveles como la capa de infraestructura, la capa de modelo, la capa de servicio de gran modelo y la capa de aplicación, como algunos bancos, compañías de valores, compañías de seguros, etc.

Estos marcos tienen dos características destacadas: primero, el gran modelo ejerce una capacidad central, utilizando modelos tradicionales como habilidades; segundo, la capa del gran modelo adopta una estrategia de múltiples modelos, compitiendo internamente para seleccionar el mejor rendimiento.

En realidad, no solo las instituciones financieras, en la actual situación incierta, algunos proveedores de aplicaciones de modelos grandes también están adoptando estrategias de múltiples modelos para optimizar el rendimiento del servicio. Expertos han revelado que la capa de modelo base de su empresa también fusiona una gran cantidad de modelos de lenguaje grandes, y ensamblan las respuestas óptimas para los usuarios basándose en las respuestas devueltas por cada modelo grande.

La brecha de talento sigue siendo enorme

La aplicación de grandes modelos ya ha comenzado a presentar algunos desafíos y cambios en la estructura del personal de la industria financiera.

Anteriormente, un miembro de una empresa de tecnología financiera en Shanghái reveló que, con la aparición de ChatGPT, desde principios de este año hasta finales de mayo, su empresa ya ha despedido a más de 300 analistas de big data. Y hace unos años, esta era una profesión muy demandada. Esto le generó ansiedad, e incluso comenzó a pensar anticipadamente en las opciones de carrera que tendrá su hija en el futuro.

Un profesional senior del sector financiero de un gran banco también compartió el efecto de sustitución de las personas por los grandes modelos. Este banco solía tener pasantes que resumían y recopilaban información de diversas áreas cada mañana, para luego entregársela a las personas del departamento de investigación y análisis, pero ahora este trabajo de los pasantes puede ser realizado por grandes modelos.

Sin embargo, algunos bancos en realidad no desean que los grandes modelos resulten en despidos. Por ejemplo, un gran banco que tiene una gran cantidad de empleados en sus sucursales ha declarado claramente que no desea que los empleados sean reemplazados por grandes modelos, sino que estos deberían traer nuevas oportunidades, mejorar la calidad del servicio y la eficiencia laboral de los empleados, al mismo tiempo que liberan a algunos empleados para hacer cosas de mayor valor.

Esto no carece de consideraciones sobre la estabilidad del personal y la estructura. Pero, por otro lado, también se debe a que hay muchas vacantes en el sector.

Expertos indican que los grandes bancos tienen mucho trabajo por hacer, y que algunos plazos de las demandas de TI incluso se han programado hasta finales del próximo año. Ellos esperan que los modelos grandes ayuden a los empleados a completar más tareas, aumentando la eficiencia y la velocidad, en lugar de provocar reducciones de personal.

Lo más importante es que la llegada de los grandes modelos ha sido rápida e intensa, y en un corto periodo de tiempo, la escasez de talento difícilmente puede igualar la creciente demanda. Es como cuando aparecieron por primera vez los smartphones, todos querían desarrollar aplicaciones, buscando programadores por todo el mundo, lo que resultaba costoso y difícil.

En una reciente conferencia sobre tecnología financiera, un alto ejecutivo de un banco resumió los 6 principales desafíos que enfrenta la industria financiera al integrar las capacidades de grandes modelos en los procesos comerciales centrales, siendo uno de ellos el talento. Afirmó que recientemente habían contratado a algunos nuevos empleados, y también estaban realizando reclutamiento de universidades, preguntando si habían estudiado en el campo de la IA, con un porcentaje muy alto, pero al preguntar sobre grandes modelos...