★ Key Points

• session을 그래프로 만들고, GNN으로 모델링 하면 인접한 아이템들과만 정보를 주고 받는 경향이 있음

  → 같은 세션 내에 있더라도 직접적인 연결이 없다면 정보를 주고 받기 어려움

• 그래서 Star graph 라는 새로운 구조의 그래프로 세션을 변환하여, 이를 SGNN(star graph neural net) 에 통과시킴

• 모델링 과정에서의 overfitting(GNN 특유의 oversmoothing) 을 막기 위해서 highway-network를 도입

⇒ SGNN-HN 을 제안

3. Approach

3.1 Session Star Graph Construction

• 각 세션 마다 그래프를 구축 $V_s=\{\{x_1, x_2, ..., x_m\}, x_s\}$ → $x_1 , ...x_m$ : unique items in session <satellite nodes>

      $x_s$ :  <star node>
  

• satellite connections : 그림 상에서의 blue solid edge를 의미 → 원래 session graph를 만들 때와 동일하게 sequence를 따라 directed 하게 연결한 것임

• star connections

  • 그림 상에서의 dotted edge
  • 인접하지 않은 아이템들을 star node를 기점으로 양방향으로 이어버리는 것임
  • blue : satellite node를 업데이트 하기 위함. star node를 통해서 인접하지 않은 노드들은 2-hop 만에 정보를 전파할 수 있음
  • red : star node 업데이트를 위함. 세션 내의 모든 노드들의 정보를 고려해 정확한 representation을 만들 수 있음

3.2 Learning embeddings with graph

1. Initialization : satellite node 들은 embedding layer를 통해 초기화. 이때 star node는 satellite node들의 average pooling을 통해서 계산

2. Update

• satellite node들 간의 satellite edge를 통한 정보 흐름은 다음과 같이 update.

  • 식(3): incoming edge adj 와 outgoing edge adj를 concatenate

  

  • 식(4): adj matrix를 GGNN(Gated Graph Neural Network) 를 통해 각 node의 representation update

  

• satellite node - star node 간의 정보 흐름 (blue dotted edge)

  • 식(5): star node 는 세션의 전반적인 정보를 갖고 있고, 각 satellite node와 star node 간의 self-attention을 통해 similarity $\alpha$ 를 구함

    

  • 식(6): 이렇게 구한 similarity 를 바탕으로 gated network를 통해 현재 layer에서 얻은 satellite의 정보와, star node의 정보를 합침

    

• star node - satellite node 간의 정보 흐름 (red dotted edge)

  • 위 방법으로부터 업데이트 된 satellite node들의 embedding을 바탕으로 star node를 업데이트 하겠다.

  • 식(7): 이전 layer에서 업데이트 한 star node를 query 로 하는 self-attention mechanism

    

    

3. Highway networks

• star node를 기점으로 satellite node의 정보를 전파하는 방식이기 때문에, 여러 layer를 쌓는 것이 필연적임