Commit 
							
							·
						
						a5c8183
	
1
								Parent(s):
							
							6e47664
								
Add evaluation results on the samsum config and test split of samsum (#2)
Browse files- Add evaluation results on the samsum config and test split of samsum (648248bea1663bf39a22ba7c98c4827b5653d022)
Co-authored-by: Evaluation Bot <autoevaluator@users.noreply.huggingface.co>
    	
        README.md
    CHANGED
    
    | @@ -1,7 +1,12 @@ | |
| 1 | 
             
            ---
         | 
| 2 | 
            -
            language: | 
| 3 | 
             
            - ru
         | 
| 4 | 
             
            - en
         | 
|  | |
|  | |
|  | |
|  | |
|  | |
| 5 | 
             
            datasets:
         | 
| 6 | 
             
            - d0rj/samsum-ru
         | 
| 7 | 
             
            - IlyaGusev/gazeta
         | 
| @@ -12,20 +17,99 @@ datasets: | |
| 12 | 
             
            metrics:
         | 
| 13 | 
             
            - bleu
         | 
| 14 | 
             
            - rouge
         | 
| 15 | 
            -
            tags:
         | 
| 16 | 
            -
            - summarization
         | 
| 17 | 
            -
            - dialogue-summarization
         | 
| 18 | 
            -
            - text2text-generation
         | 
| 19 | 
            -
            - t5
         | 
| 20 | 
             
            widget:
         | 
| 21 | 
            -
             | 
| 22 | 
            -
             | 
| 23 | 
            -
                 | 
| 24 | 
            -
             | 
| 25 | 
            -
             | 
| 26 | 
            -
                 | 
| 27 | 
            -
                 | 
| 28 | 
            -
             | 
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
|  | |
| 29 | 
             
            ---
         | 
| 30 |  | 
| 31 | 
             
            # rut5-base-summ
         | 
|  | |
| 1 | 
             
            ---
         | 
| 2 | 
            +
            language:
         | 
| 3 | 
             
            - ru
         | 
| 4 | 
             
            - en
         | 
| 5 | 
            +
            tags:
         | 
| 6 | 
            +
            - summarization
         | 
| 7 | 
            +
            - dialogue-summarization
         | 
| 8 | 
            +
            - text2text-generation
         | 
| 9 | 
            +
            - t5
         | 
| 10 | 
             
            datasets:
         | 
| 11 | 
             
            - d0rj/samsum-ru
         | 
| 12 | 
             
            - IlyaGusev/gazeta
         | 
|  | |
| 17 | 
             
            metrics:
         | 
| 18 | 
             
            - bleu
         | 
| 19 | 
             
            - rouge
         | 
|  | |
|  | |
|  | |
|  | |
|  | |
| 20 | 
             
            widget:
         | 
| 21 | 
            +
            - example_title: Diploma Introduction
         | 
| 22 | 
            +
              text: 'Актуальность проблемы. Электронная информация играет все большую  роль во
         | 
| 23 | 
            +
                всех сферах жизни современного общества. В последние годы объем научно-технической
         | 
| 24 | 
            +
                текстовой информации в электронном виде возрос настолько, что возникает угроза
         | 
| 25 | 
            +
                обесценивания этой информации в связи с трудностями поиска необходимых сведений
         | 
| 26 | 
            +
                среди множества доступных текстов. Развитие информационных ресурсов Интернет многократно
         | 
| 27 | 
            +
                усугубило проблему информационной перегрузки. В этой ситуации особенно актуальными
         | 
| 28 | 
            +
                становятся методы автоматизации реферирования текстовой информации, то есть методы
         | 
| 29 | 
            +
                получения сжатого представления текстовых документов–рефератов (аннотаций). Постановка  проблемы  автоматического
         | 
| 30 | 
            +
                реферирования текста и соответственно попытки ее решения с использованием различных
         | 
| 31 | 
            +
                подходов предпринимались многими исследователями. История применения вычислительной
         | 
| 32 | 
            +
                техники для реферирования  насчитывает уже более 50 лет и связана с именами таких
         | 
| 33 | 
            +
                исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько, Д.Г.
         | 
| 34 | 
            +
                Лахути, Р.Г. Пиотровский и др. За эти годы  выработаны  многочисленные подходы
         | 
| 35 | 
            +
                к решению данной проблемы, которые достаточно четко подразделяются на два направления:
         | 
| 36 | 
            +
                автоматическое реферирование, основанное на экстрагировании из первичных документов
         | 
| 37 | 
            +
                с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов),
         | 
| 38 | 
            +
                совокупность которых образует некоторый экстракт; автоматическое реферирование,
         | 
| 39 | 
            +
                основанное на выделении из текстов с помощью специальных информационных языков
         | 
| 40 | 
            +
                наиболее существенной информации и ��орождении новых текстов (рефератов), содержательно
         | 
| 41 | 
            +
                обобщающих первичные  документы.
         | 
| 42 | 
            +
             | 
| 43 | 
            +
                '
         | 
| 44 | 
            +
            - example_title: Biological Info
         | 
| 45 | 
            +
              text: Первую многоножку, у которой более тысячи ног, обнаружили в австралийских
         | 
| 46 | 
            +
                пещерах биологи, изучавшие там подземные воды. Предыдущей рекордсменкой по количеству
         | 
| 47 | 
            +
                ног была 700-ногая многоножка. Новый вид имеет длинное тонкое тело, похожее на
         | 
| 48 | 
            +
                нить, и большое количество конечностей, по-видимому, дает преимущества для быстрого
         | 
| 49 | 
            +
                перемещения и проникновения в труднодоступные места — ученые полагают, такая многоножка
         | 
| 50 | 
            +
                может спокойно перемещаться по трещинам в камнях. Австралия известна своими огромными
         | 
| 51 | 
            +
                и жутковатыми животными вроде 25-сантиметровых пауков. Теперь список пугающих
         | 
| 52 | 
            +
                членистоногих пополнился самой «многоногой» в мире многоножкой, у которой более
         | 
| 53 | 
            +
                тысячи ног. Необычное животное обнаружила группа исследователей из Австралии и
         | 
| 54 | 
            +
                США в пещерах на западе страны. Подробнее многоножку ученые описали в статье в
         | 
| 55 | 
            +
                журнале Scientific Reports. Исследователи занимались оценкой воздействия подземных
         | 
| 56 | 
            +
                вод на окружающую среду в зоне добычи полезных ископаемых на западе страны, когда
         | 
| 57 | 
            +
                наткнулись на новый вид многоножек. В отличие от большинства сородичей, живущих
         | 
| 58 | 
            +
                на поверхности, эти многоножки обитали в пещерах на глубине до 60 метров. Новый
         | 
| 59 | 
            +
                вид исследователи назвали Eumillipes persephone, в честь Персефоны — древнегреческой
         | 
| 60 | 
            +
                богини подземного мира. У многоножки оказалось 1306 ног — больше, чем у любого
         | 
| 61 | 
            +
                другого известного вида. Предыдущей рекордсменкой была калифорнийская Illacme
         | 
| 62 | 
            +
                plenipes, у которой насчитывалось до 750 ног. «Эти животные были настолько уникальны,
         | 
| 63 | 
            +
                — говорит биолог Бруно Бузатто. — Как только я понял, какой длины они были...
         | 
| 64 | 
            +
                Стало ясно, что это что-то совершенно новое». У Е. persephone нитевидное тело
         | 
| 65 | 
            +
                длиной около 9,5 см и шириной всего миллиметр, состоящее из 330 сегментов, короткие
         | 
| 66 | 
            +
                ноги и конусообразная голова. Как и другие животные, живущие в постоянной темноте,
         | 
| 67 | 
            +
                эти многоножки бледны и слепы. Энтомолог Пол Марек сравнивает ее с белой нитью,
         | 
| 68 | 
            +
                выдернутой из рубашки. Чтобы посчитать количество ног, ученым пришлось сначала
         | 
| 69 | 
            +
                снять многоножку в высоком разрешении, а затем закрашивать на фото каждый десяток
         | 
| 70 | 
            +
                ног другим цветом. (https://www.gazeta.ru/science/2021/12/17_a_14325355.shtml)
         | 
| 71 | 
            +
            model-index:
         | 
| 72 | 
            +
            - name: d0rj/rut5-base-summ
         | 
| 73 | 
            +
              results:
         | 
| 74 | 
            +
              - task:
         | 
| 75 | 
            +
                  type: summarization
         | 
| 76 | 
            +
                  name: Summarization
         | 
| 77 | 
            +
                dataset:
         | 
| 78 | 
            +
                  name: samsum
         | 
| 79 | 
            +
                  type: samsum
         | 
| 80 | 
            +
                  config: samsum
         | 
| 81 | 
            +
                  split: test
         | 
| 82 | 
            +
                metrics:
         | 
| 83 | 
            +
                - type: rouge
         | 
| 84 | 
            +
                  value: 28.8694
         | 
| 85 | 
            +
                  name: ROUGE-1
         | 
| 86 | 
            +
                  verified: true
         | 
| 87 | 
            +
                  verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYTdhMjM4YWJiZTBiNmJhNTc0ZjQ4M2E1M2RjMDI4YThmYjEzMmJmZjdlOGRjOWRiZDA2YWEzOTU0MTMwYmJjNCIsInZlcnNpb24iOjF9.6bddYV-Rnp4zhgQjbv4cHKtXHDCLknfxTH2bYsVe6R9wgW45gUSck61EIeJdqj0PS7Vi2zcz8YW4DEXDd-UECQ
         | 
| 88 | 
            +
                - type: rouge
         | 
| 89 | 
            +
                  value: 8.4686
         | 
| 90 | 
            +
                  name: ROUGE-2
         | 
| 91 | 
            +
                  verified: true
         | 
| 92 | 
            +
                  verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiN2NiOTdkNTE0NjVmYTcyMDY1ZjYzMjZlZjI1MDViOWFmM2M1MDZjOGZiYThlMTc4MWY5YThlNDJmOGYyNWRmZCIsInZlcnNpb24iOjF9.BLeNnva3EJFMz8xwXZamguKWhLyaGTRFr1C12Yh8xTlimrc_mENHqwshJxdi4RULcGwlQmjGjXNw1DMJ42pDCQ
         | 
| 93 | 
            +
                - type: rouge
         | 
| 94 | 
            +
                  value: 24.2357
         | 
| 95 | 
            +
                  name: ROUGE-L
         | 
| 96 | 
            +
                  verified: true
         | 
| 97 | 
            +
                  verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNjM2OGMwMGYzOTgwNjhlZjhjNjU2YzU3MDZkMjljMzExZjYwNTU1MDM0YmM1NmE3OTUyYzBhMzcyOGM5ZmY1MSIsInZlcnNpb24iOjF9.ttNXKqK9rTsMM1aj4XvXUVuJZZAtgG2JE2NI3ZWT4kVcsC7F6mYFXNfUKEk2koKPkq0gwdPiAc-wrpbtmQg5Cg
         | 
| 98 | 
            +
                - type: rouge
         | 
| 99 | 
            +
                  value: 25.8543
         | 
| 100 | 
            +
                  name: ROUGE-LSUM
         | 
| 101 | 
            +
                  verified: true
         | 
| 102 | 
            +
                  verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYmMzNTdjMGFkNzhiYzFkYWMwNWRlZTM5ZTMxMjU5MjFiMDVjNDk3MWFlMTM5Yzc4MTFjYzNhODVmNjQ3ZTBmNyIsInZlcnNpb24iOjF9.80eUellPpBKzjW-kKDjr6WlzFh_nyC2Q4-gNtzQekOzUyuPynl913nWh4NcAw5YXbYC24dklshdFD5VheeYlBQ
         | 
| 103 | 
            +
                - type: loss
         | 
| 104 | 
            +
                  value: 3.2456042766571045
         | 
| 105 | 
            +
                  name: loss
         | 
| 106 | 
            +
                  verified: true
         | 
| 107 | 
            +
                  verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOWEwZTRlMDEyZDQ0ZTBiMzAyZTkyZWUwOGYyODQ0NzA1MWM4NTE3ZDBjYTYxNmMxODIyNmNiZDM0MmYzMzNjZCIsInZlcnNpb24iOjF9.evm57JUbHamIx2FcFmjRHwvZ3e818BYxT8tuv26KVnq9IHO8xyMHPes9slOMhdTijAT_leexMIKMRT_iFOGHAg
         | 
| 108 | 
            +
                - type: gen_len
         | 
| 109 | 
            +
                  value: 27.5543
         | 
| 110 | 
            +
                  name: gen_len
         | 
| 111 | 
            +
                  verified: true
         | 
| 112 | 
            +
                  verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZTIzNWY2NGEyNjQyMzdmYmM4ZDI5MTVkZDQ0ZTk3NmFiOWRjNTdiMjU3MmQwY2NhZTEzNTVhZGU5NTZhN2JiZiIsInZlcnNpb24iOjF9.7C3OQP2bl0EZRhRlRYtxd6cQapif0a2Vq5kRFiSdX6KLxU_QALZAlh_9DFyyYPh39R3e6Hyi438Ox6BGaalmBA
         | 
| 113 | 
             
            ---
         | 
| 114 |  | 
| 115 | 
             
            # rut5-base-summ
         | 

