就在5月14日，阿布扎比先进技术研究委员会（ATRC）下属的技术创新研究所（TII），发布了新一代的Falcon 2模型。Falcon 2 11B已开启访问，Falcon 2 11B VLM将在5月14日中午12点开放 新一代「猎鹰」（Falcon意为猎鹰）重返竞技场，一经推出，迅速登上了HN热榜第一。去年Falcon首次推出就技惊四座，以碾压性的优势...
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages The Falcon 2 Models TII is launching a new generation of models, Falcon 2, focused on providing the open-source community with a series of smaller models with enhanced performance and...
falcon2-11b.md falconmamba.md fast-diffusers-coreml.md fast-mac-diffusers.md fastai.md fasttext.md fellowship.md fetch-case-study.md fetch-eap-case-study.md few-shot-learning-gpt-neo-and-inference-api.md fhe-endpoints.md fine-tune-clip-rsicd.md fine-tune-segformer.md fine-tune-vit.md ...
Falcon 2 模型系列包含两个版本:Falcon 2 11B 和 Falcon 2 11B VLM。两者均经过 5.5 万亿 token 的训练,但展现出不同的功能特性。 Falcon 2 11B:高效易用,性能超越 Llama 3 Falcon 2 11B 模型拥有 110 亿个参数,在性能上超越了 Meta 的 Llama 3 8B 模型,并与 Google 的 Gemma 7B 模型性能相当。 Falco...
Falcon 2包括两个版本:Falcon 2 11B和Falcon 2 11B VLM。 前者是在 5.5 万亿个token上训练出的大语言模型,后者则在此基础上开发的「视觉到语言」模型。 作为一款开源的大语言模型,Falcon 2不仅具备多语言能力,而且支持多模态,可以将视觉输入无缝转换为文本输出,这种功能是当今大模型市场中的首创。
技术创新研究所(TII) 是阿布扎比先进技术研究委员会 (ATRC) 下的全球领先研究中心,致力于挑战像ChatGPT这样的行业巨头。今天,TII 正式发布了 Falcon 2,一个突破性的项目。 该系列推出了两个划时代的版本: Falcon 2 11B: 这是一款更高效、更易于获取的大型语言模型(LLM),经过 5.5 万亿词的训练,拥有 110 亿个...
• 新的Falcon 2 11B在性能上超越了Meta的Llama 3 8B,并且与领先的Google Gemma 7B模型表现相当,这一点已经得到Hugging Face排行榜的独立验证。 • 近期计划包括探索“混合专家”以增强机器学习能力 阿布扎比, 阿拉伯联合酋长国--(美国商业资讯)--科技创新研究所(Technology Innovation Institute, 简称 "TII" )...
Falcon2-11B32.6121.942.342.807.5315.4413.78 Meta-Llama-3-8B14.5524.503.257.386.2424.5513.41 Meta-Llama-3.1-8B12.7025.294.616.158.9824.9513.78 Mistral-7B-v0.123.8622.022.495.5910.6822.3614.50 Mistral-Nemo-Base-2407 (12B)16.8329.374.985.826.5227.4615.08 ...
由此,Falcon Mamba 模型性能全方位提升,打败一众 Transformer 架构模型,如 Llama-3.1(8B)、Mistral(7B)以及 Falcon-2(11B)。 如上成果由阿联酋阿布扎比技术创新研究所(TII)带来,他们正是 Falcon 模型的开发团队。 该系列共包含四个模型:基础版本、指令微调版本、4bit 版本和指令微调 4bit 版本。
在此系列中,推出了两个开创性版本:一个是Falcon 2 11B,一个效率更高、更易使用的LLM,训练于5.5万亿token并拥有110亿参数;另一个是Falcon 2 11B VLM,以其视觉到语言模型(VLM)能力着称,能够将视觉输入无缝转化为文字输出。虽然两款模型均支持多语言,但值得一提的是,Falcon 2 11B VLM作为TII首款多模态模型,...