YouTaQA : Système de Questions-Réponses Intelligent basé Deep Learning et la Recherche d’Information

Ce mémoire présente la conception et la réalisation d’un système de questions-réponses intelligent nommé YouTAQA, utilisant l’apprentissage approfondi et la recherche d’information pour fournir des réponses précises à partir de la base de connaissances de Wikipédia.

Université de Alger 1 Benyoucef Benkhedda

Faculté des sciences

Département de mathématiques et informatique

Master en informatique Spécialité : Ingénierie des systèmes informatiques intelligents

Mémoire de fin d’étude

YouTaQA : Système de questions-réponses intelligent basé deep learning et la recherche d’information

M. Agabi Rayane Younes & Melle. Tidafi Asma

Dirigé par: Mme. Halfaoui & Mme. Ait Aoudia & Dr. Ziani Amel & Dr. Bouadjenek Mohamed Reda

2020

Remerciements
Nous remercions tout d’abord le tout puissant ALLAH qui nous a toujours comblés de ses bienfaits et à qui nous adressons nos remerciements pour sa grâce infinie pour nous avoir éclairés et aidés dans la préparation et la réalisation de cette thèse.
En second lieu, nos reconnaissances et nos vifs remerciements vont particulièrement à nos encadrants M. Mohamed reda Bouadjenek et Mme. Amel Ziani qui ont bien voulu accepter de diriger et d’encadrer ce travail, également pour leur patience, leurs sacrifices, leurs conseils et l’aide qu’ils nous ont fournis tout au long de notre stage qui nous a été d’une grande utilité.
Nous remercions l’université de Deakin pour nous avoir donné l’opportunité d’effectuer un stage au cours de notre dernière année Master, ainsi que tout le personnel qui nous ont apporté aide et assistance et donné toutes les informations dont nous avions besoin pour la réalisation de cette thèse.
Nous présentons notre gratitude aux membres du jury qui ont bien voulu examiner et évaluer notre travail et qui nous font l’honneur de participer à la soutenance.
Nos remerciements s’adressent aussi à tous les enseignants de l’université d’Alger 1 Ben Youcef Ben Khedda qui nous ont formé durant ces cinq dernières années.
Ce travail est dédié à ma très chère maman et au meilleur des pères. Grâce à leurs tendres encouragements et leurs grands sacrifices, ils ont pu créer le climat affectueux et propice à la poursuite de mes études. Aucune dédicace ne pourrait exprimer mon respect, ma considération et mes profonds sentiments envers eux. Je prie le bon Dieu de les bénir, de veiller sur eux, en espérant qu’ils seront toujours fiers de moi.
A mes sœurs et mes frères qui m’ont soutenu durant tout mon cursus.
A mon encadrant Dr.BOUADJENEK Mohamed Reda qui a toujours été présent et m’a donnée les meilleurs conseils pour pouvoir compléter le travail comme je l’ai toujours souhaité, je le remercie pour sa patience, son aide et la confiance qu’il nous a témoignée.
TIDAFI Asma.
Dédicaces
A ma chère maman, qui a œuvré pour ma réussite, par son amour, son soutien, ses précieux conseils ; je ne pourrai jamais la remercier assez pour toute sa présence dans ma vie. Reçois à travers ce travail aussi modeste soit-il, l’expression de mes sentiments et de mon éternelle gratitude, je t’aime ma meilleure.
à mon cher père, qui n’a jamais cessé de m’encourager ni de me guider tout au long de mes études ; je le remercie infiniment pour ses sacrifices consentis et pour les valeurs nobles qu’il m’a apprises, l’éducation et le soutient permanent venant de sa part, je t’aime mon meilleur.
à ma grande soeur Asmaa, tu as été à mes côtés pendant toutes les étapes de ce travail, je t’en suis très reconnaissant. Je te dédie ce travail en témoignage de ma profonde affection en souvenirs de notre indéfectible union qui s’est tissée au fil des jours.
à ma petite soeur Maroua, une sœur comme on ne peut trouver nulle part ailleurs, puisse Allah te protéger, garder et renforcer notre fraternité. Je te souhaite tout le bonheur du monde.
à ma tante Djamila, celle qui a toujours joué le rôle d’une deuxième maman pour moi, et qui m’a toujours soutenu, ainsi que mes tantes Noria, Dehbia et Radia et à mon oncle Mohamed.
Votre soutien, votre gentillesse sans égal, vos profonds attachements, vos conseils et encouragements m’ont motivé dans les moments les plus difficiles. à mon cher oncle Karim AGABI et Tata Evelyne.
à mon cousin Iheb Tekkour qui est un grand frère pour moi, ma tante Nassira , papa Ahmed, Saliha, Soumia et Islem Boulacheb que j’aime beaucoup ainsi que toute ma grande famille que j’aime.
à mes professeurs du primaire, CEM, Lycée et de l’université particulièrement Mme. Bassai, Mme. Aoudia, M. Krouri, M. Guernah, Mme. Louati, Mme. Touil, Mme. Taibouni, M. Zemali, M. Derias, M. Abbas, M. Tali et M.Boutaleb, je vous remercie d’avoir enrichi mes connaissances et de m’avoir guidé durant tout mon parcours estudiantin.
La passion pour votre travail est contagieuse! C’est avec un réel plaisir que j’ai travaillé avec vous et que je vous ai eu comme encadrant. Ce travail est dedié à Bouadjenek Mohamed Reda.
à mon binôme TIDAFI Asma et à toute sa famille pour tout ce qu’on a partagé durant notre stage.
à tous mes amis : Mehdi Belhoucine, Akram Arar, Mounir Grar, Yazid AitAlala, Fares Aliliche, Oussama Hamada, Rayane Krimi, farid belmareg, Khaled Chenouf, Islem Krim, Chakib Kessai, Rami Naidji, Amine Yahouni, Anis Amirouche, Abdelfetah fetouhi ainsi que tous mes amis que je n’ai pas pu citer, je vous remercie d’avoir toujours été là pour moi.
à la toute première promo MI de la fac centrale 2015/2016, elle a été sans aucun doute la meilleure promo, pleine d’énergie et de collaboration, je vous souhaite du bonheur et de la réussite dans vos vies.
AGABI Rayane Younes.
Table des matières
Introduction générale 1
Contexte générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Problématique et motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Plan du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Les Systèmes de Questions-Réponses 5
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Les systèmes de Questions-Réponses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
é tat de l’art des systèmes de Questions-Réponses . . . . . . . . . . . . . . . . . . . . . . . . 5
Classification par domaine d’application . . . . . . . . . . . . . . . . . . . . . . . . . 6
Classification par source de données . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Classification par type de questions . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Les jeux de données disponibles 10
Conclusion 11
Généralités 12
Recherche d’information 12
Les modèles RI 14
Les métriques d’évaluation 15
Outil de développement 18
Deep Learning en Traitement du Langage Naturel 18
Le mécanisme d’attention 19
Les Transformers 19
BERT (Bidirectional Encoder Representations from Transformers) 22
TABLE DES MATIè RES
Keras 23
Les métriques d’évaluation 23
Conclusion 24
Conception et implémentation de YouTaQA 25
Introduction 25
Architecture globale du système YouTaQA 25
Le choix des jeux de données 26
SQUAD 26
Wikipedia 27
Moteur de recherche MRI 27
Pré-traitement de la base Wikipédia 28
Indexation des articles 29
Méthodes de recherche adoptées 30
Module de classification MC 31
Module d’extraction de réponses MER 32
Déploiement du système YouTaQA 34
Conclusion 34
Analyse et discussion des résultats 35
Introduction 35
Prétraitement et fractionnement des données 35
Résultats du module de recherche d’information MRI 35
Méthodes de recherche employées 36
Discussion des performances des méthodes de recherche 36
Résultats du module de classification MC 39
Résultats du module d’extraction des réponses MER 40
Déploiement et test du système 42
Conclusion 42
Conclusion Générale 43
Perspectives 44
Bibliographie 45
0.1 Schéma global du systeme YouTaQA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1 La taxonomie de l’état de l’art des QAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Processus de recherche d’information [Baeza-Yates and Ribeiro-Neto, 2011]. 13
Architecture de base des transformateurs [Tra, 2018]. 20
Architecture de l’encodeur du transformateur [Tra, 2018]. 21
Principe de self-attention [Sel, 2020]. 21
Représentation des entrées et sorties du modèle BERT [Devlin et al., 2018]. 22
Schéma global du systeme YouTaQA 26
Structure XML d’un article Wikipédia 28
Arborescence des fichiers XML. 29
Schéma représentatif des sections d’un article Wikipédia 30
La phase de tokenisation des entrées. 31
La classification du texte avec BERT 32
Extraction du début et fin de la réponse avec BERT 33
Capture d’écran de l’application web YouTaQA 34
Histogrammes d’évaluation du Module de Recherche d’Information. 37
Graphes d’évaluation du Module de Recherche d’Information. 38
Graphes d’évaluation du Module de Classification. 39
Matrices de confusion du MC. 40
Graphes d’évaluation du Module d’Extraction de Réponse (Start). 40
Graphes d’évaluation du Module d’Extraction de Réponse (End). 41
Exemple d’utilisation du système YouTaQA 42
Classification des QAS selon plusieurs axes . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Les différents jeux de données disponibles. 10
2.1 Matrice de confusion. 16
Liste des abréviations
API Application Programming Interface.
BERT Bidirectional Encoder Representations from Transformers.
BOW Bag Of Words.
CDQAS Closed-Domain Question-Answering Systems.
DL Deep Learning.
EM Exact Match.
GPT Generative Pre-trained Transformer.
IR Information Retrieval.
KB Knowledge Bases.
LSTM Long Short-Term Memory.
MAP Mean Average Precision.
MC Module de Classification.
MER Module d’Extraction des Réponses.
MRI Module de Recherche d’Informations.
MRR Mean Reciprocal Rank.
NLIDB Natural Language Interface to DataBases.
NLP Natural Language processing.
ODQAS Open-Domain Question-Answering Systems.
QAS Question-Answering System.
QNLI Question Natural Language Inference.
RI Recherche d’Information.
RNN Recurrent Neural Network.
SPA Single Page Application.
SQAS Social Question-Answering Systems.
SQuAD Stanford Question Answering Dataset.
TF-IDF Term Frequency – Inverse Document Frequency.
TREC Text REtrieval Conference.
UI User Interface.
VSM Vector Space Model.
XML eXtensible Markup Language.
Bibliographie
[RNN, 2017] (2017). Basic architecture of rnn and lstm. https://pydeeplearning.weebly.com/blog/ basic-architecture-of-rnn-and-lstm. Accessed : 2020-07-25.
[VSM, 2017] (2017). information retrieval document search using vec- tor space model in r. http://www.dataperspective.info/2017/11/ information-retrieval-document-search-using-vector-space-model-in-r.html. Ac- cessed : 2020-07-29.
[Tra, 2018] (2018). The illustrated transformer. https://developpaper.com/ the-calculation-of-self-attention-in-bert-series/. Accessed : 2020-07-25.
[Fin, 2019] (2019). Ideas on how to fine-tune a pre-trained mo- del in pytorch. https://medium.com/udacity-pytorch-challengers/ ideas-on-how-to-fine-tune-a-pre-trained-model-in-pytorch-184c47185a20.
[Sel, 2020] (2020). The calculation of self attention in bert series. https://developpaper.com/ the-calculation-of-self-attention-in-bert-series/. Accessed : 2020-07-25.
[Wik, 2020] (2020). Wikipedia :size comparisons. https://en.wikipedia.org/wiki/Wikipedia:Size_ comparisons. Accessed : 2020-07-25.
[Abadi et al., 2016] Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. (2016). Tensorflow : A system for large-scale machine learning. In 12th {USENIX} symposium on operating systems design and implementation ({OSDI} 16), pages 265–283.
[Adamic et al., 2008] Adamic, L. A., Zhang, J., Bakshy, E., and Ackerman, M. S. (2008). Knowledge sharing and yahoo answers. In Proceeding of the 17th international conference on World Wide Web – WWW ’08. ACM Press.
[Ahn et al., 2004] Ahn, D., Jijkoun, V., Mishne, G., Mu¨ller, K., Rijke, M., and Schlobach, S. (2004). Using wikipedia at the trec qa track.
[Baeza-Yates and Ribeiro-Neto, 2011] Baeza-Yates, R. A. and Ribeiro-Neto, B. A. (2011). Modern Informa- tion Retrieval – the concepts and technology behind search, Second edition.
[Bahdanau et al., 2015] Bahdanau, D., Cho, K., and Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate.
[Banko et al., 2002] Banko, M., Brill, E., Dumais, S., and Lin, J. (2002). Askmsr : Question answering using the worldwide web. In Proceedings of 2002 AAAI Spring Symposium on Mining Answers from Texts and Knowledge Bases, pages 7–9.
[Baudisˇ, 2015] Baudisˇ, P. (2015). Yodaqa : a modular question answering system pipeline. In POSTER 2015- 19th International Student Conference on Electrical Engineering, pages 1156–1165.
[Baudisˇ and Sˇedivy´, 2015] Baudisˇ, P. and Sˇedivy´, J. (2015). Modeling of the question answering task in the yo- daqa system. In Proceedings of the 6th International Conference on Experimental IR Meets Multilinguality, Multimodality, and Interaction – Volume 9283, CLEF’15, page 1156–1165, Berlin, Heidelberg. Springer- Verlag.
[Bauer and Berleant, 2012] Bauer, M. A. and Berleant, D. (2012). Usability survey of biomedical question answering systems. Human Genomics, 6(1).
[Beitzel et al., 2009] Beitzel, S. M., Jensen, E. C., and Frieder, O. (2009). MAP, pages 1691–1692. Springer US, Boston, MA.
[Benamara and Saint-Dizier, 2003] Benamara, F. and Saint-Dizier, P. (2003). Webcoop : A cooperative question-answering system on the web.
[Berant et al., 2013] Berant, J., Chou, A., Frostig, R., and Liang, P. (2013). Semantic parsing on Freebase from question-answer pairs. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages 1533–1544, Seattle, Washington, USA. Association for Computational Linguistics.
[Bian et al., 2017] Bian, W., Li, S., Yang, Z., Chen, G., and Lin, Z. (2017). A compare-aggregate model with dynamic-clip attention for answer selection. In Proceedings of the 2017 ACM on Conference on Infor- mation and Knowledge Management, CIKM ’17, page 1987–1990, New York, NY, USA. Association for Computing Machinery.
[Blier et al., 2018] Blier, L., Wolinski, P., and Ollivier, Y. (2018). Learning with random learning rates.
[Bollacker et al., 2008] Bollacker, K., Evans, C., Paritosh, P., Sturge, T., and Taylor, J. (2008). Freebase : A collaboratively created graph database for structuring human knowledge. In Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data, SIGMOD ’08, page 1247–1250, New York, NY, USA. Association for Computing Machinery.
[Bordes et al., 2015] Bordes, A., Usunier, N., Chopra, S., and Weston, J. (2015). Large-scale simple question answering with memory networks. ArXiv, abs/1506.02075.
[Bouadjenek et al., 2016] Bouadjenek, M. R., Hacid, H., and Bouzeghoub, M. (2016). Social networks and information retrieval, how are they converging? a survey, a taxonomy and an analysis of social information retrieval approaches and platforms. Information Systems, 56.
[Bouma G., 2005] Bouma G., Mur J., v. N. G. (2005). Reasoning over dependency relations.
[Brill et al., 2002] Brill, E., Dumais, S., and Banko, M. (2002). An analysis of the AskMSR question- answering system. In Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP 2002), pages 257–264. Association for Computational Linguistics.
[Buscaldi and Rosso, 2006] Buscaldi, D. and Rosso, P. (2006). Mining knowledge from wikipedia for the question answering task. In In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC’06, page 727–730.
[Cabrio et al., 2012] Cabrio, E., Cojan, J., Aprosio, A. P., Magnini, B., Lavelli, A., and Gandon, F. (2012). Qakis : an open domain qa system based on relational patterns.
[Cao et al., 2011] Cao, Y., Liu, F., Simpson, P., Antieau, L., Bennett, A., Cimino, J. J., Ely, J., and Yu, H. (2011). AskHERMES : An online question answering system for complex clinical questions. Journal of Biomedical Informatics, 44(2) :277–288.
[Chen et al., 2016] Chen, D., Bolton, J., and Manning, C. D. (2016). A thorough examination of the cnn/daily mail reading comprehension task. CoRR, abs/1606.02858.
[Chen et al., 2017] Chen, D., Fisch, A., Weston, J., and Bordes, A. (2017). Reading wikipedia to answer open- domain questions. arXiv preprint arXiv :1704.00051.
[Chen et al., 2001] Chen, K., Kvasnicka, V., Kanen, P., and Haykin, S. (2001). Feedforward neural network methodology. IEEE Transactions on Neural Networks, 12(3) :647–648.
[Chollet et al., 2015] Chollet, F. et al. (2015). Keras.
[Craswell, 2009a] Craswell, N. (2009a). Mean Reciprocal Rank, pages 1703–1703. Springer US, Boston, MA. [Craswell, 2009b] Craswell, N. (2009b). R-Precision, pages 2453–2453. Springer US, Boston, MA. [Craswell, 2009c] Craswell, N. (2009c). R-Precision, pages 2453–2453. Springer US, Boston, MA.
[Dalip et al., 2013] Dalip, D. H., Gonçalves, M. A., Cristo, M., and Calado, P. (2013). Exploiting user feedback to learn to rank answers in q&a forums. In Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval – SIGIR ’13. ACM Press.
[Devlin et al., 2018] Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). Bert : Pre-training of deep bidirectional transformers for language understanding.
[Diekema et al., 2004] Diekema, A. R., Yilmazel, O., and Liddy, E. D. (2004). Evaluation of restricted do- main question-answering systems. In Proceedings of the Conference on Question Answering in Restricted Domains, pages 2–7, Barcelona, Spain. Association for Computational Linguistics.
[ElKafrawy et al., 2018] ElKafrawy, P. M., Sauber, A. M., and Sabry, N. A. (2018). Semantic question answe- ring system using dbpedia. In Lecture Notes in Computer Science, pages 821–832. Springer International Publishing.
[Fader et al., 2014] Fader, A., Zettlemoyer, L., and Etzioni, O. (2014). Open question answering over curated and extracted knowledge bases. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’14, page 1156–1165, New York, NY, USA. Association for Computing Machinery.
[Ferrucci et al., 2010] Ferrucci, D., Brown, E., Chu-Carroll, J., Fan, J., Gondek, D., Kalyanpur, A., Lally, A., Murdock, J. W., Nyberg, E., Prager, J., Schlaefer, N., and Welty, C. (2010). Building watson : An overview of the deepqa project. AI Magazine, 31 :59–79.
[Garg et al., 2019] Garg, S., Vu, T., and Moschitti, A. (2019). Tanda : Transfer and adapt pre-trained transfor- mer models for answer sentence selection.
[Gazan, 2016] Gazan, R. (2016). Seven words you can’t say on answerbag. In Proceedings of the 27th ACM Conference on Hypertext and Social Media – HT ’16. ACM Press.
[Green et al., 1961] Green, B. F., Wolf, A. K., Chomsky, C., and Laughery, K. (1961). Baseball. In Papers presented at the May 9-11, 1961, western joint IRE-AIEE-ACM computer conference on – IRE-AIEE-ACM ’61 (Western). ACM Press.
[Greff et al., 2016] Greff, K., Srivastava, R. K., Koutn´ık, J., Steunebrink, B. R., and Schmidhuber, J. (2016). Lstm : A search space odyssey. IEEE transactions on neural networks and learning systems, 28(10) :2222– 2232.
[Harabagiu et al., 2001] Harabagiu, S., Moldovan, D., Pasca, M., Mihalcea, R., Surdeanu, M., Bunescu, R., Girju, R., Rus, V., and Morarescu, P. (2001). Falcon : Boosting knowledge for question answering.
[Hermann et al., 2015] Hermann, K. M., Kocisky´, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P. (2015). Teaching machines to read and comprehend. CoRR, abs/1506.03340.
[Hewlett et al., 2016] Hewlett, D., Lacoste, A., Jones, L., Polosukhin, I., Fandrianto, A., Han, J., Kelcey, M., and Berthelot, D. (2016). WikiReading : A novel large-scale language understanding task over Wikipedia. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers), pages 1535–1545, Berlin, Germany. Association for Computational Linguistics.
[Hill et al., 2015] Hill, F., Bordes, A., Chopra, S., and Weston, J. (2015). The goldilocks principle : Reading children’s books with explicit memory representations. CoRR, abs/1511.02301.
[Hochreiter, 1998] Hochreiter, S. (1998). The vanishing gradient problem during learning recurrent neural nets and problem solutions. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 06(02) :107–116.
[Iyyer et al., 2014] Iyyer, M., Boyd-Graber, J., Claudino, L., Socher, R., and Daumé III, H. (2014). A neural network for factoid question answering over paragraphs. In Proceedings of the 2014 Conference on Em- pirical Methods in Natural Language Processing (EMNLP), pages 633–644, Doha, Qatar. Association for Computational Linguistics.
[Jain et al., 2018] Jain, A., Kulkarni, G., and Shah, V. (2018). Natural language processing. International Journal of Computer Sciences and Engineering, 6 :161–167.
[Kaisser, 2005] Kaisser, M. (2005). Qualim at trec 2005 : Web-question answering with framenet. In TREC.
[Katz et al., 2002] Katz, B., Felshin, S., Yuret, D., Lin, J., Marton, G., McFarland, A., and Temelkuran, B. (2002). Omnibase : Uniform access to heterogeneous data for question answering. pages 230–234.
[Kolomiyets and Moens, 2011a] Kolomiyets, O. and Moens, M.-F. (2011a). A survey on question answering technology from an information retrieval perspective. Information Sciences, 181(24) :5412–5434.
[Kolomiyets and Moens, 2011b] Kolomiyets, O. and Moens, M.-F. (2011b). A survey on question answering technology from an information retrieval perspective. Information Sciences, 181(24) :5412–5434.
[Kowsari et al., 2019] Kowsari, K., Meimandi, K. J., Heidarysafa, M., Mendu, S., Barnes, L. E., and Brown, D. E. (2019). Text classification algorithms : A survey. CoRR, abs/1904.08067.
[Kumaran and Carvalho, 2009] Kumaran, G. and Carvalho, V. R. (2009). Reducing long queries using query quality predictors. In Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’09, page 564–571, New York, NY, USA. Association for Computing Machinery.
[Kwok et al., 2001] Kwok, C., Etzioni, O., and Weld, D. S. (2001). Scaling question answering to the web. ACM Trans. Inf. Syst., 19(3) :242–262.
[Lan et al., 2019] Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2019). Albert : A lite bert for self-supervised learning of language representations.
[Lee et al., 2006] Lee, M., Cimino, J., Zhu, H., Sable, C., Shanker, V., Ely, J., and Yu, H. (2006). Beyond information retrieval—medical question answering. AMIA Annu Symp Proc, pages 469–473.
[Leskovec et al., 2014] Leskovec, J., Rajaraman, A., and Ullman, J. D.