synalp.loria.fr

  • Research team: CNRS, Université de Lorraine
  • LORIA (Nancy), dept NLPK
  • created in 2012
  • 9 permanents, 12 PhD students

Research topics

Focus: LLM

  • Leaders for training Bloom: Teven Le Scao, Angela Fan

We obtained with BloomZ the best results without finetuning in the DEFT’2023 French Medical-QA evaluation campaign

Parmi les propositions suivantes, laquelle (lesquelles) est (sont) exacte(s)? Les chylomicrons plasmatiques:

  • a: Sont plus riches en cholestérol estérifié qu’en triglycérides
  • b: Sont synthétisés par le foie
  • c: Contiennent de l’apolipoprotéine B48
  • d: Contiennent de l’apolipoprotéine E
  • e: Sont transformés par action de la lipoprotéine lipase

Current projects about LLMs:

  • PLM4All (leader): best practices for training LLMs on Jean Zay
  • LLM4All (leader): efficient LLM training (w/ LIX, Linagora, APHP, Huggingface)
  • OpenLLM-FR: training foundation LLMs
  • ENACT: France 2030: multimodal LLMs

LLM for non-language tasks

  • LLM excels at non-natural language: e.g., chemistry:

  • Tokenize other modalities and train a multimodal LLM: e.g., TEAL

  • All knowledge may be expressed in natural language: LLM-Prop: predict Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions

Major industrial collaborations

  • Deezer: reading comprehension
  • Alcatel-Lucent: LLM integration
  • Crédit Mutuel: chatbots
  • Continental: predictive maintenance
  • Givaudan: fragrance analysis
  • Linagora: LLM training