OLMo Hybrid登場 — RNN×Transformer融合が切り拓くLLMアーキテクチャの未来
AI2(Allen Institute for AI)が公開したOLMo Hybridは、従来のTransformerアーキテクチャにRNN(再帰型ニューラルネットワーク)モジュールを組み合わせた新しいハイブリッド型言語モデルだ。Gated DeltaNet(GDN)と呼ばれるRNN手法を採用し、訓練効率を従来比...
未分類
お知らせ
雑記
雑記