Question

17

Modelos de linguagem de grande porte (Large language Models, LLMs) estão na base de algumas das ferramentas mais importantes da atualidade (por exemplo, o ChatGPT). Um marco decisivo para a IA foi o artigo de Vaswani et al. (2017), “Attention is All You Need”, que introduziu a arquitetura Transformer e redefiniu o estado da arte em processamento de linguagem natural. Assinale a alternativa que descreve corretamente uma função de Atenção (Attention).

Accepted Answer

D) O mapeamento de uma consulta (Q) e um conjunto de pares chave-valor (K,V) para uma saída, em que todos são vetores. t QK Attention(Q,K,V)=softmax V d k

Answer

A) O mapeamento de uma consulta por elemento (Q ), um viés (B) e um conjunto de pares chai ve-valor (K,V) para uma saída, em que todos são matrizes. t QK Attention(Q,B,K,V)=softmax V dk

Answer

B) O mapeamento de um viés (B) e um conjunto de pares chave-valor (K,V) para uma saída, em que todos são matrizes. t QK Attention(B,K,V)=softmax V dk

Answer

C) O mapeamento de uma consulta (Q), um Viés (B) e um conjunto de pares chave-valor (K,V) para uma saída, em que todos são vetores. t QK Attention(Q,B,K,V)=softmax V dk

Answer

E) O mapeamento de uma consulta (Q) e um valor (V) para uma saída, em que todos são matrizes. t QK Attention(Q,V)=softmax V d k Anotações

Mais questões de Redes neurais e deep learning