GG Thinks: We Can Still Prevent A Crisis Of Subprime Thinking

Recognizing the risk

If we acknowledge that large language models could bring about an age of poor-quality analysis and reasoning in the field of law, then we can still protect ourselves.

Poor understanding of risk models contributed to the subprime mortgage crisis in the 2000s – and it's arguable that lawyers' overreliance on LLMs could lead to what might be called a crisis of subprime thinking. It's up to us – humans, lawyers, leaders - to design ways to guard against it.

The subprime precedent: a cautionary tale in the banking industry

In the early 2000s, RiskMetrics (now part of MSCI) sold risk models to banks, allowing them to evaluate the risk on their balance sheets. Over time, banks began using those same models to calculate the capital reserves required to maintain solvency ratios. Those models were built by mathematical geniuses – but based on data from a period when correlations in residential mortgage lending were low. Under normal conditions, defaults in residential mortgages are driven by idiosyncratic events – illness, divorce, job loss – that don't spread systemically.

As financial institutions grew larger and more complex, management pushed the use of risk models down the hierarchy – from the mathematics geniuses who had built them to junior bankers focused on short-term gains. Over time, staff at every level began relying on the models to make decisions, including many who had only a cursory understanding of how the models worked.

The models stayed the same, but the users of the model changed.

Meanwhile, banks were increasing their exposure to real estate through subprime lending. These loans enabled individuals to speculate property prices through no-recourse mortgages, NINJA loans, and other creative financial products. As the environment changed, default rates on mortgages became tied to broader movements in the real estate market and to the ability of borrowers with weak credit to refinance their loans. These assumptions, on which the models had been built, no longer held.

The models stayed the same, but the environment changed.

The result was that the models – or rather, their users – failed to perceive the risks accumulating on bank balance sheets. When the real estate market cooled, the financial crisis of 2008 erupted in full force.

Turning to law

We turn to our own industry, and face a distinct but related question: could there be a subprime thinking crisis ahead?

Many predict that artificial intelligence will replace lawyers. That, I suspect, reflects a failure of imagination. Large language models may one day surpass lawyers in drafting contracts – though we are still far from that point. AI may also become better at legal research, memo writing, and many of the other tasks lawyers perform today. But that would merely drive down the cost of doing those tasks. As costs fall, more people will gain access to legal advice, to sophisticated contracts, and to a better understanding of their rights. More people will be able to spot and exploit loopholes, engage in regulatory arbitrage, or otherwise take advantage of the system itself.

Just as easier access to credit (for borrowers who might not otherwise have qualified) transformed the risk environment and the composition of bank balance sheets, universal access to legal advice will also reshape the landscape of legal and regulatory risk.

Systemic and cognitive shifts

And just as the profile of those using financial risk models evolved over time, so will the profile of those using legal AI tools. The current generation of lawyers has, in one way or another, created or edited the training data behind the models. At some point, they've all had to reason from first principles – to analyze problems logically before reaching conclusions.

By contrast, the synthetic outcomes produced by AI are driven by accumulated experience – past data – but not yet by underlying logic or genuine first-principles analysis. When presented with an AI-generated document, the user must still review and evaluate its appropriateness, fairness, and suitability of the solution. But if future users have never done that raw cognitive work themselves, will they possess the same analytical capacity as those who do it today? Will they be able to review, evaluate, and refine as necessary?

Crucially, will users – both new and old – the frontline lawyers still grinding through Word documents – recognize when the environment itself starts to change?

The risk is real, and the similarities are hard to ignore.

Institutional risks

First, although the legal sector is not as concentrated as finance was in 2008, a handful of law firms in New York and London still set the standards for corporate work. There is no guarantee that their models will remain heterogeneous; the risk of systemic convergence – of everyone thinking the same way – is real.

Today's large language models are designed to improve operational efficiency, not to reduce capital costs. There is, therefore, less incentive to be willfully blind to risks. But law firms have no equivalent of a risk committee – no partners tasked with assessing systemic exposure independently of the pressures of profit and loss.

Finally, in finance, the ability to find borrowers became the rate-limiting factor – leading to the creation of CDO-squared, where bankers found ways to repackage the same mortgages multiple times. What, then, will be the rate-limiting factor that stops everyone from suing everyone else in a world where the cost of legal representation is close to zero? And what is the CDO-squared of law?

Avoiding subprime thinking

Subprime thinking is not yet here, and we can still prevent it. The solutions and safeguards are not entirely clear, and this is where the irreplaceable qualities of human judgment, discernment and leadership must come in. Training better thinkers, better observers, and better leaders of future generations – to recognize when the environment has changed, and to envision how to change with it – will be the most strategic investment law firms can make in the age of AI.

___________

Reconhecer o risco

Se reconhecermos que os grandes modelos de linguagem podem inaugurar uma era de análise e raciocínio de baixa qualidade no campo do direito, ainda estamos a tempo de nos proteger.

A fraca compreensão dos modelos de risco contribuiu para a crise do crédito subprime nos anos 2000 – e é plausível que a excessiva dependência dos juristas em relação aos LLMs possa conduzir a uma crise de pensamento subprime. Cabe-nos a nós – humanos, juristas, líderes – conceber formas de prevenir esse risco.

O precedente subprime: um aviso vindo do setor bancário

No início dos anos 2000, a RiskMetrics (hoje integrada na MSCI) vendia modelos de risco a bancos, permitindo-lhes avaliar a exposição dos seus balanços. Com o tempo, os bancos começaram a usar esses mesmos modelos para calcular as reservas de capital necessárias à manutenção dos rácios de solvabilidade. Eram modelos criados por génios da matemática – mas baseados em dados de um período em que as correlações no crédito hipotecário residencial eram baixas. Em condições normais, os incumprimentos de hipotecas resultavam de eventos idiossincráticos – doença, divórcio, perda de emprego – que não se propagavam de forma sistémica.

À medida que as instituições financeiras se tornaram maiores e mais complexas, a gestão empurrou o uso dos modelos para níveis hierárquicos inferiores – dos matemáticos que os tinham criado para os jovens banqueiros focados em ganhos de curto prazo. Com o tempo, o pessoal em todos os níveis passou a depender dos modelos para tomar decisões, incluindo muitos que apenas tinham uma compreensão superficial do seu funcionamento.

Os modelos mantiveram-se os mesmos, mas os utilizadores mudaram.

Entretanto, os bancos aumentavam a sua exposição ao setor imobiliário através do crédito subprime. Estes empréstimos permitiram que indivíduos especulassem com o valor dos imóveis, recorrendo a hipotecas sem recurso, empréstimos NINJA e outros produtos financeiros criativos. À medida que o contexto mudava, as taxas de incumprimento passaram a depender mais dos movimentos do mercado imobiliário e da capacidade dos mutuários com fraco crédito refinanciarem os seus empréstimos. As premissas sobre as quais os modelos tinham sido construídos deixaram de ser válidas.

Os modelos mantiveram-se os mesmos, mas o ambiente mudou.

O resultado foi que os modelos – ou melhor, os seus utilizadores – não conseguiram detetar os riscos que se acumulavam nos balanços bancários. Quando o mercado imobiliário arrefeceu, a crise financeira de 2008 rebentou em toda a sua força.

De volta ao Direito

Voltando à nossa indústria, deparamo-nos com uma pergunta distinta, mas conexa: poderá estar a aproximar-se uma crise de pensamento subprime no Direito?

Muitos preveem que a inteligência artificial substituirá os advogados. Suspeito que isso revele falta de imaginação. Os grandes modelos de linguagem poderão um dia ultrapassar os juristas na redação de contratos – embora ainda estejamos longe disso. A IA poderá também tornar-se melhor em pesquisa jurídica, elaboração de memorandos e outras tarefas quotidianas dos advogados. Mas isso apenas reduzirá o custo dessas tarefas. À medida que os custos baixam, mais pessoas terão acesso a aconselhamento jurídico, a contratos sofisticados e a uma melhor compreensão dos seus direitos. Mais pessoas poderão identificar e explorar lacunas legais, envolver-se em arbitragem regulatória ou, de outras formas, tirar partido do próprio sistema.

Tal como o acesso facilitado ao crédito (para mutuários que de outro modo não teriam qualificação) transformou o ambiente de risco e a composição dos balanços bancários, o acesso universal ao aconselhamento jurídico também transformará o panorama do risco jurídico e regulatório.

Mudanças sistémicas e cognitivas

E tal como o perfil de quem utilizava modelos financeiros de risco evoluiu ao longo do tempo, também evoluirá o perfil de quem utilizar ferramentas jurídicas baseadas em IA. A geração atual de advogados, de uma forma ou de outra, criou ou editou os dados de treino desses modelos. Em algum momento, todos tiveram de raciocinar a partir dos primeiros princípios – analisar problemas logicamente antes de chegar a conclusões.

Em contraste, os resultados sintéticos produzidos pela IA baseiam-se em experiência acumulada – dados passados – mas não ainda em lógica subjacente ou verdadeira análise de primeiros princípios. Quando confrontado com um documento gerado por IA, o utilizador ainda deve rever e avaliar a sua adequação, equidade e pertinência da solução. Mas se, no futuro, os utilizadores nunca tiverem feito esse trabalho cognitivo de base, possuirão eles a mesma capacidade analítica dos que o fazem hoje? Serão capazes de rever, avaliar e corrigir quando necessário?

E, crucialmente, reconhecerão os utilizadores – novos e antigos – os advogados da linha da frente que continuam a trabalhar documentos em Word – quando o próprio ambiente começar a mudar?

O risco é real e as semelhanças são difíceis de ignorar.

Riscos institucionais

Em primeiro lugar, embora o setor jurídico não seja tão concentrado como o financeiro era em 2008, um pequeno número de sociedades em Nova Iorque e Londres continua a definir os padrões do trabalho corporativo. Não há garantia de que os seus modelos permaneçam heterogéneos; o risco de convergência sistémica – de todos pensarem da mesma forma – é real.

Os grandes modelos de linguagem de hoje são concebidos para melhorar a eficiência operacional, não para reduzir custos de capital. Existe, portanto, menos incentivo para ignorar deliberadamente os riscos. Mas os escritórios de advogados não têm o equivalente a um comité de risco – não existem sócios encarregues de avaliar a exposição sistémica de forma independente das pressões de lucro e perda.

Por fim, no setor financeiro, a capacidade de encontrar mutuários tornou-se o fator limitante – levando à criação dos chamados CDO-squared, em que os banqueiros encontraram formas de reempacotar as mesmas hipotecas várias vezes. Qual será, então, o fator limitativo que impedirá todos de processarem todosnum mundo em que o custo da representação jurídica se aproxima de zero? E qual será o CDO-squared do Direito?

Evitar o pensamento subprime

O pensamento subprime ainda não se instalou, e ainda podemos evitá-lo. As soluções e as salvaguardas não são totalmente claras, e é precisamente aqui que as qualidades insubstituíveis do julgamento humano, do discernimento e da liderança se revelam cruciais. Formar melhores pensadores, melhores observadores e melhores líderes para as gerações futuras – que reconheçam quando o contexto se tiver alterado e que antevejam como se adaptar à mudança – será o melhor investimento estratégico que as sociedades de advogados podem fazer na era da inteligência artificial.

The content of this article is intended to provide a general guide to the subject matter. Specialist advice should be sought about your specific circumstances.