À l'instar des précédents modèles de la série Falcon basés sur l'architecture de transformateurs (NDLR : type d'architecture codeur-décodeur de réseau qui transforme ou modifie une séquence d'entrée en séquence de sortie), ce nouveau modèle se distingue par l'utilisation de l'architecture State Space Language Model (SSLM) (NDLR : type de réseau qui utilise des équations d'espace pour modéliser les données séquentielles inhérentes au langage). Salué pour ses performances exceptionnelles et présenté comme le meilleur modèle SSLM open-source sur le marché, il surpasse ses confrères de renoms tels que le Llama 3.1 8B ou encore le Mistral 7B de Meta. 

Le choix de l'architecture SSLM, une première pour la série Falcon, permet de gérer les ressources mémoire de manière plus efficace et économique, optimisant ainsi les performances dans des tâches complexes telles que la prévision, l'estimation et le contrôle. Ce nouveau modèle excelle également dans le traitement du langage naturel, se prêtant à un large panel d'application tel que la traduction automatique, le traitement audio ou encore la synthèse de texte. Ce choix d'architecture convient particulièrement au traitement de grandes quantités de données sans surcharge de mémoire, le distinguant des modèles de transformateurs habituels adaptés à la manipulation d'informations dans des séquences plus courtes.

Au-delà de la performance technologique, le Falcon Mamba 7B renforce la position d'Abou Dabi comme un pôle international dans le secteur de la recherche en intelligence artificielle et la renommée du TII comme un acteur clé du développement. Ce nouveau lancement incarne l'engagement des Émirats arabes unis à repousser les frontières de l'innovation où l'efficacité et les performances sont optimisées pour surpasser les défis les plus complexes du traitement de l'information.

Source : zawya.com - 13/08/2024