Nehmen wir zum Beispiel die klassische Anleitung für die Zubereitung eines Erdnussbutter-Marmeladen-Sandwichs. Die meisten Amerikaner wissen zwar, wie man dieses Brot macht, aber stell dir vor, du müsstest jeden einzelnen Schritt von Anfang bis Ende aufschreiben. ...
Die Wissensdestillation ist eine Technik des maschinellen Lernens, die dazu dient, das Lernen eines großen, vorab trainierten „Lehrermodells“ auf ein kleineres „Schülermodell“ zu übertragen.