Geoffrey Hinton, professor vid University of Toronto och ingenjörsassistent vid Google-hjärnan, publicerade nyligen en artikel om Framåt-Framåt algoritm (FF), en teknik för att träna neurala nätverk som använder två framåtpassningar av data genom nätverket, istället för tillbakaförökning, för att uppdatera modellvikterna.

Hintons motiv för algoritmen är att ta itu med några av bristerna med standardträning för bakåtpropagation som kräver full kunskap om beräkningen i framåtpassningen för att beräkna derivator och lagra aktiveringsvärden under träning. Hintons insikt var att använda två framåtpassningar av indata - en positiv och en negativ—som har motsatta objektiva funktioner som ska optimeras. Hinton visade att nätverk som tränats med FF kunde utföra datorseende (CV) uppgifter såväl som de som tränades med hjälp av backpropagation. Enligt Hinton,

Forward-Forward-algoritmen (FF) är jämförbar i hastighet med backpropagation men har fördelen att den kan användas när de exakta detaljerna i framåtberäkningen är okända. Den har också fördelen att den kan lära sig samtidigt som den rör sekventiella data genom ett neuralt nätverk utan att någonsin lagra de neurala aktiviteterna eller stoppa för att sprida felderivator... De två områden där framåt-framåt-algoritmen kan vara överlägsen bakåtpropagation är som en modell av inlärning i cortex och som ett sätt att använda sig av analog hårdvara med mycket låg effekt utan att tillgripa förstärkningsinlärning.

Även om artificiella neurala nätverk (ANN) är baserade på en matematisk modell av hjärnan, är den vanliga backpropageringsalgoritmen som används för att träna dessa nätverk inte baserad på någon känd biologisk process. Förutom att vara biologiskt osannolikt, har backpropagation också vissa beräkningsmässiga nackdelar som noterats ovan. Hinton påpekar att ANN kan tränas med hjälp av förstärkningsinlärning (RL) utan backpropagation, men denna teknik "skalar dåligt ... för stora nätverk som innehåller många miljoner eller miljarder parametrar." 2021 täckte InfoQ ett biologiskt rimligt alternativ till backpropagation som kallas noll-divergens slutledningsinlärning (Z-IL) som exakt kan återskapa resultaten av backpropagation.

Hintons FF-algoritm ersätter de framåt-bakåtpassningar av backpropagation-träning med två framåtpassningar som "fungerar på samma sätt som varandra." Den första framåtpassningen bygger på positiv data från en träningsuppsättning, och nätverksvikterna justeras för att få denna ingång att öka ett lagers bäst värde. I den andra framåtpassningen ges nätverket ett genererat negativt exempel som inte är hämtat från datasetet. Nätverksvikterna justeras så att denna inmatning minskar ett lagers godhet.

Hinton använde FF för att träna flera neurala nätverk för att utföra CV-uppgifter på MNIST och CIFAR datauppsättningar. Nätverken var relativt små, innehöll två eller tre dolda faltningslager, och tränades under mindre än 100 epoker. När de utvärderades på testdatauppsättningar presterade de FF-tränade nätverken "bara något sämre" än de som tränades med hjälp av backpropagation.

Diego Fiori, CTO på Nebuly, implementerade Hintons FF-algoritm och diskuterade hans resultat på Twitter:

Hintons papper föreslog 2 olika Forward-Forward-algoritmer, som jag kallade Base och Recurrent. Låt oss se varför, trots namnet, Base faktiskt är den mest presterande algoritmen... Base FF-algoritmen kan vara mycket mer minneseffektiv än den klassiska backpropen, med upp till 45 % minnesbesparingar för djupa nätverk.