Papiers de recherche IA et signaux techniques depuis arXiv selectionnes par ChAIcked.
Article de recherche proposant des méthodes efficaces de plongement basées sur graphes et classement pour organiser les relations dans les données textuelles et multimédias tout en réduisant les coûts de calcul en mémoire et espace.
Blog · Plongements · Réseaux de Neurones Graphes · Efficacité · — Ouvrir l’article
Des chercheurs présentent AQLoRA, une méthode qui accélère le fine-tuning LoRA quantifié en utilisant un seul passage CPU pour configurer les paramètres de quantification par couche, éliminant la recherche ou les données de calibrage.
Blog · Fine-Tuning · Quantization · LLMs · — Ouvrir l’article
G2I est un cadre glouton en deux étapes qui traduit les prédictions des réseaux de neurones graphiques en hypothèses d'intervention exploitables pour les applications de santé publique et de sciences sociales.
Blog · Graph Neural Networks · Explainability · Applications · — Ouvrir l’article
PuzzleKV résout les goulots d'étranglement mémoire dans l'inférence LLM long-contexte en appliquant une décomposition de faible rang page par page pour compresser les caches clé-valeur.
Blog · Inference Optimization · LLMs · Memory Efficiency · — Ouvrir l’article
UHI-Bench est un benchmark pour évaluer les modèles d'îlots de chaleur urbains qui intègre des sources de température doubles dans des régimes climatiques variés.
Blog · Benchmarks · Climate Science · Data · — Ouvrir l’article
La recherche théorique démontre que chaque couche ReLU supplémentaire peut réduire exponentiellement le nombre de neurones requis, établissant une hiérarchie de profondeur fondamentale.
Blog · Neural Networks · Theory · Architecture · — Ouvrir l’article
Des chercheurs caractérisent l'excès de perte d'entraînement irréductible dans le score matching bruyant pour les modèles de diffusion en analysant la géométrie de Fisher.
Blog · Diffusion Models · Theory · Training · — Ouvrir l’article
GATNextHop applique les réseaux d'attention graphique pour approximer le routage par plus court chemin sur différentes topologies de réseau sans recalcul.
Blog · Graph Neural Networks · Networking · Applications · — Ouvrir l’article