OpenAI cria equipe para impedir que inteligência artificial saia do controle e extermine a humanidade

por mandee · 11 de julho de 2023

Coliderada pela cofundadora da startup Ilya Sutskever e pelo líder de alinhamento Jan Leike, equipe quer garantir 20% do poder computacional ao policiamento da IA.

A OpenAI, startup apoiada pela microsoft e desenvolvedora do chatbot alimentado por inteligência artificial ChatGPT, anunciou na última semana a formação de uma equipe dedicada ao policiamento do desenvolvimento da inteligência artificial (IA).

Bradesco anuncia nova adesão em consórcio do Real Digital

Em artigo assinado pela cofundadora da empresa, Ilya Sutskever, e pelo líder de alinhamento, Jan Leike, que também ficarão à frente do novo time, a empresa argumentou que “a superinteligência será a tecnologia de maior impacto que a humanidade já inventou e poderá nos ajudar a resolver muitos dos problemas mais importantes do mundo. Mas o vasto poder da superinteligência também pode ser muito perigoso e pode levar ao enfraquecimento da humanidade ou até mesmo à extinção humana.”

Ameaça que a OpenAI parece não duvidar ao ressaltar que os possíveis malefícios da superinteligência podem bater à porta da humanidade ainda nesta década.

“Como garantimos que sistemas de IA muito mais inteligentes do que os humanos seguem a intenção humana?”, indagou a empresa na publicação.

Shiba Inu atrai atenção das baleias e sinaliza rali em meio à aproximação do lançamento da Shibarium

Segundo a startup, atualmente a humanidade não conta com “uma solução para direcionar ou controlar uma IA potencialmente superinteligente e impedir que ela se torne desonesta.”

Para a OpenAI, as técnicas atuais de alinhamento da IA, como o aprendizado por reforço a partir de feedback humano, dependem também da capacidade humana de supervisionar a tecnologia., o que pode não ser possível em sistemas de IA mais avançados, inalcançáveis pelas técnicas atuais de alinhamento.

Essa foi a premissa considera pela OpenAi para anunciar a destinação de 20% de seu poder computacional para resolver o problema de alinhamento da superinteligência durante os próximos quatro anos. O que deve ser realizado em três etapas: desenvolvimento de um método de treinamento escalável por meio do aproveitamento de sistemas de IA para avaliação de outros sistemas de IA; validação de modelo resultante pela automatização da busca por comportamento problemático e teste de estresse do pipeline de alinhamento (teste adversário).

“Também estamos procurando novos pesquisadores e engenheiros de destaque para se juntarem a esse esforço. O alinhamento da superinteligência é fundamentalmente um problema de aprendizado de máquina, e acreditamos que grandes especialistas em aprendizado de máquina, mesmo que ainda não estejam trabalhando no alinhamento, serão essenciais para resolvê-lo”, completou a OpenAI acrescentando que vai compartilhar os conhecimentos e experiências adquiridos com o trabalho da nova equipe.