스포티파이는 어떻게 오디오북을 성공적으로 런칭했을까? | 2T-HGNN

좋은 컨텐츠를 적절한 사람에게 추천해주면 유저는 서비스를 만족스럽게 사용할 수 있어서 중요합니다. 하지만 새로운 유형의 서비스를 시작할 때는 추천시스템을 똑같이 적용할 수 없다는 문제가 있습니다. 컨텐츠의 성격이 다르다보니 성질이나 선호도도 달라지고 기존 컨텐츠의 통계나 분석을 사용할 수 없기 때문이죠. 스포티파이가 수 백만 명을 대상으로 A/B테스트를 진행해서 효과를 입증한 2T-HGNN에 대해 알아봤습니다. 벤치마크 데이터가 아니라 실제 서비스에 적용해 확인해본 점이 굉장히 인상적이었습니다.

결국 1.58비트 양자화가 성공했다 | LLM 양자화와 BitNet b1.58

LLM parameter count growth

1비트 구조가 갖는 가장 큰 의미는 더 이상 행렬 곱셈이 필요하지 않다는 것입니다. 즉 새로운 계산 패러다임을 제시했고, 행렬 곱셈이 필요하지 않기 때문에 1비트 LLM에 최적화된 새로운 하드웨어를 만들 수 있게 됩니다. 또한 에너지 소비량, 메모리 소비량, 처리량, 지연 시간 측면에서 FP16 LLM 기준선에 비해 훨씬 더 효율적입니다.