# RWKV

## 개요

RWKV 모델(4버전)은 [이 저장소](https://github.com/BlinkDL/RWKV-LM)에서 제안되었습니다.

전통적인 Transformer attention을 선형으로 조정하는 방식을 제안합니다. 이렇게 하면 모델을 recurrent network로 사용할 수 있습니다. timestamp 0과 timestamp 1의 입력을 함께 전달하는 것은, timestamp 0의 입력을 전달한 후 timestamp 0의 상태와 함께 timestamp 1의 입력을 전달하는 것과 동일합니다(아래 예시 참조).

이 방식은 일반적인 Transformer보다 효율적일 수 있으며, 문장의 길이에 관계없이 처리할 수 있습니다(모델이 학습 시 고정된 컨텍스트 길이를 사용하는 경우에도 마찬가지입니다).

이 모델은 [sgugger](https://huggingface.co/sgugger)에 의해 기여되었습니다. 원본 코드는 [여기](https://github.com/BlinkDL/RWKV-LM)에서 찾을 수 있습니다.

## 사용 예시

```python
import torch

from transformers import AutoTokenizer, RwkvModel

model = RwkvModel.from_pretrained("sgugger/rwkv-430M-pile", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sgugger/rwkv-430M-pile")

inputs = tokenizer("This is an example.", return_tensors="pt").to(model.device)
# Feed everything to the model
outputs = model(inputs["input_ids"])
output_whole = outputs.last_hidden_state

outputs = model(inputs["input_ids"][:, :2])
output_one = outputs.last_hidden_state

# Using the state computed on the first inputs, we will get the same output
outputs = model(inputs["input_ids"][:, 2:], state=outputs.state)
output_two = outputs.last_hidden_state

torch.allclose(torch.cat([output_one, output_two], dim=1), output_whole, atol=1e-5)
```

`'\n\n'`가 감지되면 모델이 생성을 중단하도록 하려면, 다음 중단 기준을 사용하는 것을 권장합니다:

```python
from transformers import StoppingCriteria

class RwkvStoppingCriteria(StoppingCriteria):
    def __init__(self, eos_sequence = [187,187], eos_token_id = 537):
        self.eos_sequence = eos_sequence
        self.eos_token_id = eos_token_id

    def __call__(self, input_ids: torch.LongTensor, scores: torch.Tensor, **kwargs) -> bool:
        last_2_ids = input_ids[:,-2:].tolist()
        return self.eos_sequence in last_2_ids

output = model.generate(inputs["input_ids"], max_new_tokens=64, stopping_criteria = [RwkvStoppingCriteria()])
```

## The input is a single word "Notes".

참고

- 배치 생성에는 왼쪽 패딩을 사용합니다. [패딩 방향](../llm_tutorial#padding-side)을 참조하세요.

## RwkvConfig[[transformers.RwkvConfig]]

#### transformers.RwkvConfig[[transformers.RwkvConfig]]

```python
transformers.RwkvConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 50277, context_length: int = 1024, hidden_size: int = 4096, num_hidden_layers: int = 32, attention_hidden_size: int | None = None, intermediate_size: int | None = None, layer_norm_epsilon: float = 1e-05, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 0, rescale_every: int = 6, tie_word_embeddings: bool = False, use_cache: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rwkv/configuration_rwkv.py#L25)

**매개변수:**

vocab_size (`int`, *선택 사항*, 기본값 `50277`) : 모델의 어휘 크기입니다. `input_ids`로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다.

context_length (`int`, *선택 사항*, 기본값 1024) : 이 모델을 단일 forward에서 사용할 수 있는 최대 시퀀스 길이입니다(RNN 모드로 사용하면 임의의 시퀀스 길이를 사용할 수 있습니다).

hidden_size (`int`, *선택 사항*, 기본값 `4096`) : 숨겨진 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `32`) : Transformer decoder의 숨겨진 레이어 수.

attention_hidden_size (`int`, *선택 사항*) : 어텐션 히든 상태의 차원입니다. 설정되지 않으면 기본값으로 `hidden_size`가 사용됩니다.

intermediate_size (`int`, *선택 사항*) : MLP 표현의 차원.

layer_norm_epsilon (`float`, *선택 사항*, 기본값 `1e-05`) : layer normalization 레이어에서 사용되는 epsilon 값입니다.

bos_token_id (`int`, *선택 사항*, 기본값 `0`) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다.

eos_token_id (`Union[int, list[int]]`, *선택 사항*, 기본값 `0`) : 어휘에서 스트림 종료에 사용되는 토큰 ID입니다.

rescale_every (`int`, *선택 사항*, 기본값 6) : 추론 시, 숨겨진 상태(및 해당 출력 레이어의 가중치)가 `rescale_every` 레이어마다 2로 나뉩니다. 0 또는 음수로 설정하면 재스케일링이 수행되지 않습니다.

tie_word_embeddings (`bool`, *선택 사항*, 기본값 `False`) : 모델의 `tied_weights_keys` 매핑에 따라 가중치 임베딩을 묶을지 여부.

use_cache (`bool`, *선택 사항*, 기본값 `True`) : 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음). `config.is_decoder=True`인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다.

이것은 RwkvModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Rwkv 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [RWKV/rwkv-4-169m-pile](https://huggingface.co/RWKV/rwkv-4-169m-pile)의 구성과 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

예:

```python
>>> from transformers import RwkvConfig, RwkvModel

>>> # Initializing a Rwkv configuration
>>> configuration = RwkvConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = RwkvModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## RwkvModel[[transformers.RwkvModel]]

#### transformers.RwkvModel[[transformers.RwkvModel]]

```python
transformers.RwkvModel(config: RwkvConfig)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rwkv/modeling_rwkv.py#L487)

**매개변수:**

config ([RwkvConfig](/docs/transformers/main/ko/model_doc/rwkv#transformers.RwkvConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

특정 헤드가 위에 없는 상태의 Rwkv 모델로, 원시 hidden-states를 출력합니다.

이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.RwkvModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, state: list[torch.Tensor] | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rwkv/modeling_rwkv.py#L508)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, input_ids_length)`) : `input_ids_length` = `sequence_length` if `past_key_values` is `None` else `past_key_values.get_seq_length()` (입력 past key value states의 `sequence_length`). 어휘 사전에서 입력 시퀀스 토큰의 인덱스입니다. `past_key_values`를 사용하는 경우, 과거가 계산되지 않은 `input_ids`만 `input_ids`로 전달해야 합니다. 인덱스는 [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [input ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 어텐션 수행을 방지하기 위한 마스크. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [어텐션 마스크란?](../glossary#attention-mask)

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

state (`tuple` of five `torch.Tensor` of shape `(batch_size, hidden_size, num_hidden_layers)`, *optional*) : 전달되면, 모델은 모든 블록에서 이전 상태를 사용합니다(이는 모델이 `state_input_ids + input_ids`를 컨텍스트로 추가한 것처럼 `input_ids`에 대한 출력을 제공합니다).

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 마지막 상태가 반환되며, 이를 사용하여 다음 logits를 빠르게 생성할 수 있습니다.

output_attentions (`bool`, *선택 사항*) : 모든 어텐션 레이어의 어텐션 텐서를 반환할지 여부. 자세한 내용은 반환 텐서 섹션의 `attentions`를 참조하세요.

output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요.

return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/main/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부.

**반환값:** `RwkvOutput` 또는 `tuple(torch.Tensor)`

구성([RwkvConfig](/docs/transformers/main/ko/model_doc/rwkv#transformers.RwkvConfig))과 입력에 따라 다양한 요소를 포함하는 `RwkvOutput` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[RwkvModel](/docs/transformers/main/ko/model_doc/rwkv#transformers.RwkvModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **state** (shape가 `(batch_size, hidden_size, num_hidden_layers)`인 `torch.Tensor` 다섯 개의 `list`) -- 마지막 시간 단계에서의 모델 상태입니다. 이전 `input_ids`를 제공하지 않고 다음 `input_ids`와 함께 forward 메서드에서 사용할 수 있습니다.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *선택*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환) -- shape가 `(batch_size, sequence_length, hidden_size)`인 `torch.Tensor`의 튜플 (모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개).

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple[torch.Tensor, ...]`, *선택*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환) -- 각 레이어마다 하나씩 포함된 `torch.Tensor` 튜플로, shape는 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

## RwkvLMHeadModel[[transformers.RwkvForCausalLM]]

#### transformers.RwkvForCausalLM[[transformers.RwkvForCausalLM]]

```python
transformers.RwkvForCausalLM(config: RwkvConfig)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rwkv/modeling_rwkv.py#L667)

**매개변수:**

config ([RwkvConfig](/docs/transformers/main/ko/model_doc/rwkv#transformers.RwkvConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

입력 임베딩과 가중치가 공유되는 선형 레이어로 구성된 언어 모델링 헤드가 위에 있는 RWKV Model 트랜스포머입니다.

이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.RwkvForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, state: list[torch.Tensor] | None = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rwkv/modeling_rwkv.py#L684)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, input_ids_length)`) : `input_ids_length` = `sequence_length` if `past_key_values` is `None` else `past_key_values.get_seq_length()` (입력 past key value states의 `sequence_length`). 어휘 사전에서 입력 시퀀스 토큰의 인덱스입니다. `past_key_values`를 사용하는 경우, 과거가 계산되지 않은 `input_ids`만 `input_ids`로 전달해야 합니다. 인덱스는 [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [input ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 어텐션 수행을 방지하기 위한 마스크. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [어텐션 마스크란?](../glossary#attention-mask)

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

state (`tuple` of five `torch.Tensor` of shape `(batch_size, hidden_size, num_hidden_layers)`, *optional*) : 전달되면, 모델은 모든 블록에서 이전 상태를 사용합니다(이는 모델이 `state_input_ids + input_ids`를 컨텍스트로 추가한 것처럼 `input_ids`에 대한 출력을 제공합니다).

labels (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 언어 모델링을 위한 라벨. 모델 내부에서 라벨이 **시프트(shift)**되므로 `labels = input_ids`로 설정할 수 있습니다. 인덱스는 `[-100, 0, ..., config.vocab_size]` 범위에서 선택됩니다. `-100`으로 설정된 모든 라벨은 무시(마스크)되며, 손실은 `[0, ..., config.vocab_size]` 범위의 라벨에 대해서만 계산됩니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 마지막 상태가 반환되며, 이를 사용하여 다음 logits를 빠르게 생성할 수 있습니다.

output_attentions (`bool`, *선택 사항*) : 모든 어텐션 레이어의 어텐션 텐서를 반환할지 여부. 자세한 내용은 반환 텐서 섹션의 `attentions`를 참조하세요.

output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요.

return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/main/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부.

logits_to_keep (`Union[int, torch.Tensor]`, *선택 사항*, 기본값 `0`) : `int`인 경우, 마지막 `logits_to_keep` 토큰에 대한 logits를 계산합니다. `0`인 경우, 모든 `input_ids`에 대한 logits를 계산합니다(특수한 경우). 생성에는 마지막 토큰의 logits만 필요하며, 해당 토큰에 대해서만 계산하면 메모리를 절약할 수 있습니다. 이는 긴 시퀀스나 큰 어휘 크기의 경우 상당한 이점을 제공합니다. `torch.Tensor`인 경우, 시퀀스 길이 차원에서 유지할 인덱스에 해당하는 1차원 텐서여야 합니다. 이는 packed tensor 형식(배치와 시퀀스 길이를 단일 차원으로 사용하는 경우)을 사용할 때 유용합니다.

**반환값:** `RwkvCausalLMOutput` 또는 `tuple(torch.Tensor)`

구성([RwkvConfig](/docs/transformers/main/ko/model_doc/rwkv#transformers.RwkvConfig))과 입력에 따라 다양한 요소를 포함하는 `RwkvCausalLMOutput` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[RwkvForCausalLM](/docs/transformers/main/ko/model_doc/rwkv#transformers.RwkvForCausalLM)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **loss** (`torch.Tensor`, shape `(1,)`, *선택 사항*, `labels`가 제공될 때 반환됨) -- 언어 모델링 손실(다음 토큰 예측용).
- **logits** (`torch.Tensor`, shape `(batch_size, sequence_length, config.vocab_size)`) -- 언어 모델링 헤드에서 생성된 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수).
- **state** (shape가 `(batch_size, hidden_size, num_hidden_layers)`인 `torch.Tensor` 다섯 개의 `list`) -- 마지막 시간 단계에서의 모델 상태입니다. 이전 `input_ids`를 제공하지 않고 다음 `input_ids`와 함께 forward 메서드에서 사용할 수 있습니다.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *선택*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환) -- shape가 `(batch_size, sequence_length, hidden_size)`인 `torch.Tensor`의 튜플 (모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개).

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple[torch.Tensor, ...]`, *선택*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환) -- 각 레이어마다 하나씩 포함된 `torch.Tensor` 튜플로, shape는 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

예:

```python
```

## Rwkv 어텐션과 재귀 공식

전통적인 오토레그레시브 Transformer에서는 어텐션이 다음과 같이 작성됩니다

$$O = \hbox{softmax}(QK^{T} / \sqrt{d}) V$$

여기서 $Q$, $K$, $V$는 각각 query, key, value라고 불리는 `seq_len x hidden_size` 형태의 행렬입니다(실제로는 배치 차원과 어텐션 헤드 차원을 가진 더 큰 행렬이지만, 행렬 곱이 수행되는 마지막 두 차원에만 관심이 있으므로 단순화를 위해 이 두 차원만 고려합니다). 그러면 곱 $QK^{T}$의 형태는 `seq_len x seq_len`이 되며, $V$와 행렬 곱을 수행하여 다른 행렬들과 동일한 형태의 출력 $O$를 얻을 수 있습니다.

softmax의 값으로 대체하면 다음과 같습니다:

$$O_{i} = \frac{\sum_{j=1}^{i} e^{Q_{i} K_{j}^{T} / \sqrt{d}} V_{j}}{\sum_{j=1}^{i} e^{Q_{i} K_{j}^{T} / \sqrt{d}}}$$

$j > i$에 해당하는 $QK^{T}$의 항목은 마스킹됩니다(합산이 j에서 중단됩니다). 이는 attention이 미래 토큰을 참조할 수 없고(과거 토큰만 참조 가능) 과거 토큰만 참조할 수 있기 때문입니다.

RWKV의 어텐션은 다음과 같이 주어집니다.

$$O_{i} = \sigma(R_{i}) \frac{\sum_{j=1}^{i} e^{W_{i-j} + K_{j}} V_{j}}{\sum_{j=1}^{i} e^{W_{i-j} + K_{j}}}$$

여기서 $R$은 저자가 receptance라고 부르는 새로운 행렬이며, $K$과 $V$은 여전히 key와 value입니다($\sigma$는 sigmoid 함수입니다). $W$은 토큰의 위치를 나타내는 새로운 벡터로, 다음과 같이 주어집니다

$$W_{0} = u \hbox{ 이고 } W_{k} = (k-1)w \hbox{ (} k \geq 1 \hbox{)}$$

$u$와 $w$는 각각 `time_first` 및 `time_decay`라고 불리는 학습 가능한 매개변수입니다. 분자와 분모는 모두 재귀적으로 표현할 수 있습니다. 이를 각각 $N_{i}$와 $D_{i}$라고 하면:

$$N_{i} = e^{u + K_{i}} V_{i} + \hat{N}_{i} \hbox{  where  } \hat{N}_{i} = e^{K_{i-1}} V_{i-1} + e^{w + K_{i-2}} V_{i-2} \cdots + e^{(i-2)w + K_{1}} V_{1}$$

따라서 `numerator_state`로 불리는 `numerator_state`는 다음을 만족합니다

$$\hat{N}_{0} = 0 \hbox{  and  } \hat{N}_{j+1} = e^{K_{j}} V_{j} + e^{w} \hat{N}_{j}$$

그리고

$$D_{i} = e^{u + K_{i}} + \hat{D}_{i} \hbox{  여기서  } \hat{D}_{i} = e^{K_{i-1}} + e^{w + K_{i-2}} \cdots + e^{(i-2)w + K_{1}}$$

따라서 `denominator_state`로 불리는 `denominator_state`는 다음을 만족합니다

$$\hat{D}_{0} = 0 \hbox{  and  } \hat{D}_{j+1} = e^{K_{j}} + e^{w} \hat{D}_{j}$$

실제로 사용되는 재귀 공식은 약간 더 복잡합니다. 수치적 안정성을 위해 큰 숫자의 지수를 계산하는 것을 피해야 하기 때문입니다. 일반적으로 softmax는 그대로 계산하지 않고, 최대 항의 지수를 분자와 분모에서 각각 나누어 계산합니다:

$$\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}} = \frac{e^{x_{i} - M}}{\sum_{j=1}^{n} e^{x_{j} - M}}$$

여기서 $M$은 모든 $x_{j}$의 최대값입니다. 따라서 분자 상태($\hat{N}$)와 분모 상태($\hat{D}$)를 저장하는 것 외에도 지수 함수에 포함된 모든 항의 최대값을 추적합니다. 따라서 실제로는

$$\tilde{N}_{i} = e^{-M_{i}} \hat{N}_{i} \hbox{  and  } \tilde{D}_{i} = e^{-M_{i}} \hat{D}_{i}$$

다음 재귀 공식으로 정의됩니다:

$$\tilde{N}_{0} = 0 \hbox{  and  } \tilde{N}_{j+1} = e^{K_{j} - q} V_{j} + e^{w + M_{j} - q} \tilde{N}_{j} \hbox{  where  } q = \max(K_{j}, w + M_{j})$$

그리고

$$\tilde{D}_{0} = 0 \hbox{  and  } \tilde{D}_{j+1} = e^{K_{j} - q} + e^{w + M_{j} - q} \tilde{D}_{j} \hbox{  where  } q = \max(K_{j}, w + M_{j})$$

그리고 $M_{j+1} = q$입니다. 이를 통해 다음을 계산할 수 있습니다

$$N_{i} = e^{u + K_{i} - q} V_{i} + e^{M_{i}} \tilde{N}_{i} \hbox{  여기서  } q = \max(u + K_{i}, M_{i})$$

그리고

$$D_{i} = e^{u + K_{i} - q} + e^{M_{i}} \tilde{D}_{i} \hbox{  여기서  } q = \max(u + K_{i}, M_{i})$$

결국 우리에게

$$O_{i} = \sigma(R_{i}) \frac{N_{i}}{D_{i}}$$