Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper
•
1908.10084
•
Published
•
9
This is a Cross Encoder model finetuned from cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("ntAnh-dev/mmarco-mMiniLMv2-L12-H384-v1")
# Get scores for pairs of texts
pairs = [
['Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?', 'Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội\nĐiều 2. Các quy định chung\n2. Học bổng KKHT nhằm khuyến khích sinh viên nâng cao thành tích học tập và\nrèn luyện tại ĐHBK Hà Nội.\n3. Quỹ học bổng KKHT hình thành từ nguồn học phí và bằng 8% (tám phần\ntrăm) học phí của học kỳ lấy điểm xét cấp học bổng.\n4. Học bổng KKHT có 3 mức:\na) Học bổng loại khá (loại C): Bằng tổng học phí của tất cả các học phần tính\nđiểm trung bình học kỳ (GPA).\nb) Học bổng loại giỏi (loại B): Bằng 1,2 lần mức học bổng loại khá.\nc) Học bổng loại xuất sắc (loại A): Bằng 1,5 lần mức học bổng loại khá.\nĐiều 3. Tiêu chuẩn xét cấp học bổng\n1. Học bổng loại C: GPA ≥ 2,5 và điểm rèn luyện học kỳ ≥ 65 điểm.\n2. Học bổng loại B: GPA ≥ 3,2 và điểm rèn luyện học kỳ ≥ 80 điểm.\n3. Học bổng loại A: GPA ≥ 3,6 và điểm rèn luyện học kỳ ≥ 90 điểm.\nĐiều 4. Nguyên tắc xét cấp học bổng\n1. Sử dụng kết quả học tập và rèn luyện của học kỳ liền trước để xét cấp học\nbổng cho học kỳ sau.\n2. Học bổng được xét theo khóa, ngành đào tạo và theo thứ tự ưu tiên lần lượt từ\nloại A đến loại C , từ điểm GPA cao cho đến điểm GPA thấp cho đến khi hết quỹ học\nbổng. Trường hợp GPA bằng nhau thì sẽ ưu tiên sinh viên có điểm rèn luyện cao hơn.\n'],
['Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?', 'Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội\nĐiều 1. Phạm vi điều chỉnh và đối tượng áp dụng\n1. Văn bản này quy định về nguyên tắc, tiêu chuẩn xét duyệt và cấp học bổng cho\nsinh viên đại học hình thức đào tạo chính quy tại Đại học Bách khoa Hà Nội (sau đây\nviết tắt là ĐHBK Hà N ội), căn cứ các quy định liên quan tại Nghị định số\n84/2020/NĐ-CP ngày 17/7/2020 của Chính phủ và Quy chế Quản lý tài chính của Đại\nhọc Bách khoa Hà Nội được ban hành theo Nghị quyết số 20/NQ-ĐHBK ngày\n16/3/2023 của Hội đồng Đại học, Đại học Bách khoa Hà Nội.\n2. Quy định này áp dụng đối với sinh viên đại học hình thức đào tạo chính quy\nvăn bằng thứ nhất của ĐHBK Hà Nội.\nĐiều 2. Các quy định chung\n1. Học bổng khuyến khích học tập (KKHT) cấp cho các sinh viên được lựa chọn\nbởi Hội đồng xét cấp học bổng ĐHBK Hà Nội theo từng học kỳ chính của năm học ,\ncăn cứ vào thành tích học tập và rèn luyện của sinh viên trong học kỳ chính liền trước\nđó.\n'],
['Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?', 'Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội\nĐiều 4. Nguyên tắc xét cấp học bổng\n3. Không xét cấp học bổng đối với sinh viên thuộc một trong các trường hợp sau:\na) Chịu hình thức kỷ luật từ mức khiển trách trở lên tại thời điểm xét học bổng;\nb) Đăng ký học ít hơn 1 5 tín chỉ (kể cả các học phần không tính điểm GPA) tại\nhọc kỳ lấy điểm xét, cấp học bổng, ngoại trừ học kỳ 1 năm học thứ nhất;\nc) Đăng ký học ít hơn 6 tín chỉ (kể cả các học phần không tính điểm GPA) tại\nhọc kỳ cấp học bổng;\nd) Học quá thời gian theo kế hoạch học tập chuẩn của chương trình đào tạo;\nđ) Học chương trình đào tạo do trường đối tác nước ngoài cấp một văn bằng tốt\nnghiệp duy nhất;\nĐiều 5. Thời gian công bố kết quả xét duyệt và cấp học bổng\n1. Danh sách sinh viên được cấp học bổng và mức đ iểm chuẩn để đạt học bổng\nloại A, B, C theo khóa, ngành đào tạo tương ứng sẽ được công bố trên cổng thông tin\nsinh viên: ctt.hust.edu.vn, chậm nhất vào tuần học thứ 10 của học kỳ cấp học bổng.\n'],
['Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?', 'Quy định về công tác cố vấn học tập và quản lý lớp sinh viên 2024\nĐiều 3. Tiêu chuẩn, nhiệm vụ và quyền của CVHT\n1. Cố vấn học tập là gi ảng viên đang công tác tại các đơn vị quản ngành, có trình\nđộ chuyên môn cao, có kinh nghi ệm trong gi ảng dạy và NCKH, n ắm vững quy ch ế đào\ntạo của ĐHBK Hà Nội, chương trình đào t ạo, tâm huyết với nghề nghiệp.\n2. Cố vấn học tập có nhiệm vụ tư vấn, hỗ trợ sinh viên xây dựng kế hoạch và phương\npháp học tập phù hợp với mục tiêu và năng lực học tập cá nhân; hướng dẫn sinh viên cách\ntiếp cận các nguồn lực phục vụ học tập với các nhiệm vụ cụ thể sau đây:\na) Hướng dẫn sinh viên truy cập các ứng dụng (eHUST, Cổng thông tin) để tiếp cận\nthông tin về chương trình, lịch trình học tập chuẩn, các quy chế, quy định, thông báo của\nĐại học và của đơn vị quản ngành;\nb) Tư vấn, hướng dẫn việc thực hiện quy định, quy chế đào tạo; hỗ trợ xây dựng kế\nhoạch học tập phù hợp với năng lực và phương pháp học tập hiệu quả;\n2\nc) Hướng dẫn sinh viên tiếp cận, đăng ký và sử dụng hệ thống thư viện, các nguồn\nhọc liệu phục vụ cho việc học tập, NCKH;\nd) Tư vấn cho sinh viên về chương trình đào tạo, mục tiêu, nội dung môn học;\nđ) Hướng dẫn và hỗ trợ sinh viên tham gia các hoạt động học thuật, NCKH, đổi mới\nsáng tạo và khởi nghiệp;\ne) Tư vấn và hỗ trợ sinh viên kịp thời khi gặp khó khăn trong học tập và NCKH;\ng) Thực hiện chế độ báo cáo theo quy định của đơn vị quản ngành.\n3. Quyền của cố vấn học tập:\na) Được bồi dưỡng nghiệp vụ tư vấn theo chương trình, kế hoạch tập huấn của Đại\nhọc và đơn vị quản ngành, được cung cấp đầy đủ dữ liệu, tài liệu nghiệp vụ;\nb) Được cung cấp tài khoản truy cập vào hệ thống quản lý thông tin quá trình h ọc\ntập và rèn luyện của sinh viên;\nc) CVHT có quyền đề nghị các đơn vị chức năng hỗ trợ giải quyết kịp thời các khó\nkhăn, vướng mắc của người học trong quá trình học tập;\nd) Được bố trí chỗ làm việc để tư vấn học tập cho sinh viên;\nđ) Được lựa chọn và đề xuất sinh viên tham gia hỗ trợ công tác CVHT của đơn vị;\ne) Được hỗ trợ kinh phí theo quy định hiện hành của ĐHBK Hà Nội và của đơn vị\nquản ngành.\n4. Cố vấn học tập có trách nhi ệm bảo vệ thông tin d ữ liệu cá n hân của sinh viên\ntheo quy định của pháp luật và của ĐHBK Hà Nội.'],
['Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?', 'Quy định công nhận tín chỉ và chuyển đổi kết quả học phần tương đương\nĐiều 2, Học phần được công nhận tín chỉ\n1. Các loại học phần được công nhận tín chỉ bao gồm các học phần giáo dục quốc\nphòng-an ninh, lý luận chính trị, pháp luật đại cương, ngoại ngữ cơ bản/cơ sở, giáo dục\nthể chất; các học phần cốt lõi ngành/chuyên ngành; học phần thực hành, thực tập; các\nchuyên đề nghiên cứu. Không chuyến đổi kết quả học phân đồ án/khóa luận tốt nghiệp\nđại học, luận văn thạc sĩ, luận án tiến sĩ.\n2. Khối lượng của 01 (một) tín chỉ được tính theo quy định hiện hành của Trường\nĐHBK Hà Nội. Chỉ những học phần đã hoàn thành ở đơn vị đối tác có kết quả đạt từ\n4,0 theo thang điểm 10 hoặc điểm D theo thang điểm chữ trở lên mới được xét công\nnhận tín chỉ và chuyên đổi kết quả sang học phần tương đương thuộc chương trình đào\n†ạo của Trường.\n3. Các học phần hoặc mô-đun (gồm một nhóm học phần) được công nhận tín chỉ\nnếu được khoa/viện phụ trách giảng dạy chấp thuận trên cơ sở đối sánh về chuẩn đầu T8,\nkiến thức, nội dung, thời lượng và hình thức giảng dạy (lý thuyết, bài tập, thực hành, thí\nnghiệm) và cách thức đánh giá học phần. Số tín chỉ được công nhận, chuyển đổi phải\nlớn hơn hoặc bằng số tín chỉ của học phần hoặc mô-đun trong chương trình của Trường\nĐHBK Hà Nội.\n4. Các học phần được công nhận sẽ được tính tín chỉ tích lũy và ghi điểm cho học\nphần tương ứng trong bảng điểm của sinh viên để tính điểm trung bình tích lũy (CPA),\n(chỉ tiết trong Phụ lục I). Trường hợp sinh viên có kết quả của một học phần “đạt” theo\ncách đánh giá của đơn vị đối tác thì học phần đó được công nhận tín chỉ và với điểm R.\n(điểm miễn) và không sử dụng để tính điểm CPA.\n5. Mỗi sinh viên chỉ được xét công nhận tối đa 30 tín chỉ.\n'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?',
[
'Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội\nĐiều 2. Các quy định chung\n2. Học bổng KKHT nhằm khuyến khích sinh viên nâng cao thành tích học tập và\nrèn luyện tại ĐHBK Hà Nội.\n3. Quỹ học bổng KKHT hình thành từ nguồn học phí và bằng 8% (tám phần\ntrăm) học phí của học kỳ lấy điểm xét cấp học bổng.\n4. Học bổng KKHT có 3 mức:\na) Học bổng loại khá (loại C): Bằng tổng học phí của tất cả các học phần tính\nđiểm trung bình học kỳ (GPA).\nb) Học bổng loại giỏi (loại B): Bằng 1,2 lần mức học bổng loại khá.\nc) Học bổng loại xuất sắc (loại A): Bằng 1,5 lần mức học bổng loại khá.\nĐiều 3. Tiêu chuẩn xét cấp học bổng\n1. Học bổng loại C: GPA ≥ 2,5 và điểm rèn luyện học kỳ ≥ 65 điểm.\n2. Học bổng loại B: GPA ≥ 3,2 và điểm rèn luyện học kỳ ≥ 80 điểm.\n3. Học bổng loại A: GPA ≥ 3,6 và điểm rèn luyện học kỳ ≥ 90 điểm.\nĐiều 4. Nguyên tắc xét cấp học bổng\n1. Sử dụng kết quả học tập và rèn luyện của học kỳ liền trước để xét cấp học\nbổng cho học kỳ sau.\n2. Học bổng được xét theo khóa, ngành đào tạo và theo thứ tự ưu tiên lần lượt từ\nloại A đến loại C , từ điểm GPA cao cho đến điểm GPA thấp cho đến khi hết quỹ học\nbổng. Trường hợp GPA bằng nhau thì sẽ ưu tiên sinh viên có điểm rèn luyện cao hơn.\n',
'Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội\nĐiều 1. Phạm vi điều chỉnh và đối tượng áp dụng\n1. Văn bản này quy định về nguyên tắc, tiêu chuẩn xét duyệt và cấp học bổng cho\nsinh viên đại học hình thức đào tạo chính quy tại Đại học Bách khoa Hà Nội (sau đây\nviết tắt là ĐHBK Hà N ội), căn cứ các quy định liên quan tại Nghị định số\n84/2020/NĐ-CP ngày 17/7/2020 của Chính phủ và Quy chế Quản lý tài chính của Đại\nhọc Bách khoa Hà Nội được ban hành theo Nghị quyết số 20/NQ-ĐHBK ngày\n16/3/2023 của Hội đồng Đại học, Đại học Bách khoa Hà Nội.\n2. Quy định này áp dụng đối với sinh viên đại học hình thức đào tạo chính quy\nvăn bằng thứ nhất của ĐHBK Hà Nội.\nĐiều 2. Các quy định chung\n1. Học bổng khuyến khích học tập (KKHT) cấp cho các sinh viên được lựa chọn\nbởi Hội đồng xét cấp học bổng ĐHBK Hà Nội theo từng học kỳ chính của năm học ,\ncăn cứ vào thành tích học tập và rèn luyện của sinh viên trong học kỳ chính liền trước\nđó.\n',
'Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội\nĐiều 4. Nguyên tắc xét cấp học bổng\n3. Không xét cấp học bổng đối với sinh viên thuộc một trong các trường hợp sau:\na) Chịu hình thức kỷ luật từ mức khiển trách trở lên tại thời điểm xét học bổng;\nb) Đăng ký học ít hơn 1 5 tín chỉ (kể cả các học phần không tính điểm GPA) tại\nhọc kỳ lấy điểm xét, cấp học bổng, ngoại trừ học kỳ 1 năm học thứ nhất;\nc) Đăng ký học ít hơn 6 tín chỉ (kể cả các học phần không tính điểm GPA) tại\nhọc kỳ cấp học bổng;\nd) Học quá thời gian theo kế hoạch học tập chuẩn của chương trình đào tạo;\nđ) Học chương trình đào tạo do trường đối tác nước ngoài cấp một văn bằng tốt\nnghiệp duy nhất;\nĐiều 5. Thời gian công bố kết quả xét duyệt và cấp học bổng\n1. Danh sách sinh viên được cấp học bổng và mức đ iểm chuẩn để đạt học bổng\nloại A, B, C theo khóa, ngành đào tạo tương ứng sẽ được công bố trên cổng thông tin\nsinh viên: ctt.hust.edu.vn, chậm nhất vào tuần học thứ 10 của học kỳ cấp học bổng.\n',
'Quy định về công tác cố vấn học tập và quản lý lớp sinh viên 2024\nĐiều 3. Tiêu chuẩn, nhiệm vụ và quyền của CVHT\n1. Cố vấn học tập là gi ảng viên đang công tác tại các đơn vị quản ngành, có trình\nđộ chuyên môn cao, có kinh nghi ệm trong gi ảng dạy và NCKH, n ắm vững quy ch ế đào\ntạo của ĐHBK Hà Nội, chương trình đào t ạo, tâm huyết với nghề nghiệp.\n2. Cố vấn học tập có nhiệm vụ tư vấn, hỗ trợ sinh viên xây dựng kế hoạch và phương\npháp học tập phù hợp với mục tiêu và năng lực học tập cá nhân; hướng dẫn sinh viên cách\ntiếp cận các nguồn lực phục vụ học tập với các nhiệm vụ cụ thể sau đây:\na) Hướng dẫn sinh viên truy cập các ứng dụng (eHUST, Cổng thông tin) để tiếp cận\nthông tin về chương trình, lịch trình học tập chuẩn, các quy chế, quy định, thông báo của\nĐại học và của đơn vị quản ngành;\nb) Tư vấn, hướng dẫn việc thực hiện quy định, quy chế đào tạo; hỗ trợ xây dựng kế\nhoạch học tập phù hợp với năng lực và phương pháp học tập hiệu quả;\n2\nc) Hướng dẫn sinh viên tiếp cận, đăng ký và sử dụng hệ thống thư viện, các nguồn\nhọc liệu phục vụ cho việc học tập, NCKH;\nd) Tư vấn cho sinh viên về chương trình đào tạo, mục tiêu, nội dung môn học;\nđ) Hướng dẫn và hỗ trợ sinh viên tham gia các hoạt động học thuật, NCKH, đổi mới\nsáng tạo và khởi nghiệp;\ne) Tư vấn và hỗ trợ sinh viên kịp thời khi gặp khó khăn trong học tập và NCKH;\ng) Thực hiện chế độ báo cáo theo quy định của đơn vị quản ngành.\n3. Quyền của cố vấn học tập:\na) Được bồi dưỡng nghiệp vụ tư vấn theo chương trình, kế hoạch tập huấn của Đại\nhọc và đơn vị quản ngành, được cung cấp đầy đủ dữ liệu, tài liệu nghiệp vụ;\nb) Được cung cấp tài khoản truy cập vào hệ thống quản lý thông tin quá trình h ọc\ntập và rèn luyện của sinh viên;\nc) CVHT có quyền đề nghị các đơn vị chức năng hỗ trợ giải quyết kịp thời các khó\nkhăn, vướng mắc của người học trong quá trình học tập;\nd) Được bố trí chỗ làm việc để tư vấn học tập cho sinh viên;\nđ) Được lựa chọn và đề xuất sinh viên tham gia hỗ trợ công tác CVHT của đơn vị;\ne) Được hỗ trợ kinh phí theo quy định hiện hành của ĐHBK Hà Nội và của đơn vị\nquản ngành.\n4. Cố vấn học tập có trách nhi ệm bảo vệ thông tin d ữ liệu cá n hân của sinh viên\ntheo quy định của pháp luật và của ĐHBK Hà Nội.',
'Quy định công nhận tín chỉ và chuyển đổi kết quả học phần tương đương\nĐiều 2, Học phần được công nhận tín chỉ\n1. Các loại học phần được công nhận tín chỉ bao gồm các học phần giáo dục quốc\nphòng-an ninh, lý luận chính trị, pháp luật đại cương, ngoại ngữ cơ bản/cơ sở, giáo dục\nthể chất; các học phần cốt lõi ngành/chuyên ngành; học phần thực hành, thực tập; các\nchuyên đề nghiên cứu. Không chuyến đổi kết quả học phân đồ án/khóa luận tốt nghiệp\nđại học, luận văn thạc sĩ, luận án tiến sĩ.\n2. Khối lượng của 01 (một) tín chỉ được tính theo quy định hiện hành của Trường\nĐHBK Hà Nội. Chỉ những học phần đã hoàn thành ở đơn vị đối tác có kết quả đạt từ\n4,0 theo thang điểm 10 hoặc điểm D theo thang điểm chữ trở lên mới được xét công\nnhận tín chỉ và chuyên đổi kết quả sang học phần tương đương thuộc chương trình đào\n†ạo của Trường.\n3. Các học phần hoặc mô-đun (gồm một nhóm học phần) được công nhận tín chỉ\nnếu được khoa/viện phụ trách giảng dạy chấp thuận trên cơ sở đối sánh về chuẩn đầu T8,\nkiến thức, nội dung, thời lượng và hình thức giảng dạy (lý thuyết, bài tập, thực hành, thí\nnghiệm) và cách thức đánh giá học phần. Số tín chỉ được công nhận, chuyển đổi phải\nlớn hơn hoặc bằng số tín chỉ của học phần hoặc mô-đun trong chương trình của Trường\nĐHBK Hà Nội.\n4. Các học phần được công nhận sẽ được tính tín chỉ tích lũy và ghi điểm cho học\nphần tương ứng trong bảng điểm của sinh viên để tính điểm trung bình tích lũy (CPA),\n(chỉ tiết trong Phụ lục I). Trường hợp sinh viên có kết quả của một học phần “đạt” theo\ncách đánh giá của đơn vị đối tác thì học phần đó được công nhận tín chỉ và với điểm R.\n(điểm miễn) và không sử dụng để tính điểm CPA.\n5. Mỗi sinh viên chỉ được xét công nhận tối đa 30 tín chỉ.\n',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
CrossEncoderRerankingEvaluator with these parameters:{
"at_k": 10
}
| Metric | Value |
|---|---|
| map | 0.8612 |
| mrr@10 | 0.9544 |
| ndcg@10 | 0.8974 |
query, response, and label| query | response | label | |
|---|---|---|---|
| type | string | string | int |
| details |
|
|
|
| query | response | label |
|---|---|---|
Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)? |
Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội |
1 |
Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)? |
Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội |
1 |
Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)? |
Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội |
0 |
BinaryCrossEntropyLoss with these parameters:{
"activation_fn": "torch.nn.modules.linear.Identity",
"pos_weight": null
}
eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 16learning_rate: 2e-05num_train_epochs: 20warmup_ratio: 0.1seed: 12bf16: Trueoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 16per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 20max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 12data_seed: Nonejit_mode_eval: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | ndcg@10 |
|---|---|---|---|
| -1 | -1 | - | 0.7423 |
| 0.0013 | 1 | 0.7873 | - |
| 0.0652 | 50 | 0.618 | - |
| 0.1304 | 100 | 0.5545 | 0.7497 |
| 0.1956 | 150 | 0.4929 | - |
| 0.2608 | 200 | 0.5138 | 0.8054 |
| 0.3259 | 250 | 0.4636 | - |
| 0.3911 | 300 | 0.4311 | 0.8293 |
| 0.4563 | 350 | 0.4411 | - |
| 0.5215 | 400 | 0.3885 | 0.8570 |
| 0.5867 | 450 | 0.4213 | - |
| 0.6519 | 500 | 0.408 | 0.8488 |
| 0.7171 | 550 | 0.4048 | - |
| 0.7823 | 600 | 0.3796 | 0.8751 |
| 0.8475 | 650 | 0.4297 | - |
| 0.9126 | 700 | 0.4038 | 0.8813 |
| 0.9778 | 750 | 0.3776 | - |
| 1.0430 | 800 | 0.373 | 0.8854 |
| 1.1082 | 850 | 0.3446 | - |
| 1.1734 | 900 | 0.3572 | 0.8870 |
| 1.2386 | 950 | 0.3218 | - |
| 1.3038 | 1000 | 0.3403 | 0.8825 |
| 1.3690 | 1050 | 0.3811 | - |
| 1.4342 | 1100 | 0.3552 | 0.8856 |
| 1.4993 | 1150 | 0.3171 | - |
| 1.5645 | 1200 | 0.3656 | 0.8792 |
| 1.6297 | 1250 | 0.3258 | - |
| 1.6949 | 1300 | 0.3465 | 0.8888 |
| 1.7601 | 1350 | 0.3109 | - |
| 1.8253 | 1400 | 0.3501 | 0.8880 |
| 1.8905 | 1450 | 0.3553 | - |
| 1.9557 | 1500 | 0.3406 | 0.8989 |
| 2.0209 | 1550 | 0.31 | - |
| 2.0860 | 1600 | 0.2949 | 0.9020 |
| 2.1512 | 1650 | 0.3146 | - |
| 2.2164 | 1700 | 0.2796 | 0.9060 |
| 2.2816 | 1750 | 0.2739 | - |
| 2.3468 | 1800 | 0.2789 | 0.9007 |
| 2.4120 | 1850 | 0.2713 | - |
| 2.4772 | 1900 | 0.2749 | 0.9111 |
| 2.5424 | 1950 | 0.2727 | - |
| 2.6076 | 2000 | 0.285 | 0.9082 |
| 2.6728 | 2050 | 0.295 | - |
| 2.7379 | 2100 | 0.2968 | 0.8915 |
| 2.8031 | 2150 | 0.2699 | - |
| 2.8683 | 2200 | 0.3371 | 0.9085 |
| 2.9335 | 2250 | 0.2844 | - |
| 2.9987 | 2300 | 0.3038 | 0.9075 |
| 3.0639 | 2350 | 0.2117 | - |
| 3.1291 | 2400 | 0.2423 | 0.8944 |
| 3.1943 | 2450 | 0.2489 | - |
| 3.2595 | 2500 | 0.203 | 0.9138 |
| 3.3246 | 2550 | 0.264 | - |
| 3.3898 | 2600 | 0.2578 | 0.9106 |
| 3.4550 | 2650 | 0.2298 | - |
| 3.5202 | 2700 | 0.2743 | 0.9107 |
| 3.5854 | 2750 | 0.209 | - |
| 3.6506 | 2800 | 0.1962 | 0.9162 |
| 3.7158 | 2850 | 0.2393 | - |
| 3.7810 | 2900 | 0.2952 | 0.9220 |
| 3.8462 | 2950 | 0.2433 | - |
| 3.9113 | 3000 | 0.2772 | 0.9131 |
| 3.9765 | 3050 | 0.237 | - |
| 4.0417 | 3100 | 0.2242 | 0.9171 |
| 4.1069 | 3150 | 0.2062 | - |
| 4.1721 | 3200 | 0.202 | 0.9073 |
| 4.2373 | 3250 | 0.2085 | - |
| 4.3025 | 3300 | 0.2187 | 0.9087 |
| 4.3677 | 3350 | 0.1937 | - |
| 4.4329 | 3400 | 0.2055 | 0.9161 |
| 4.4980 | 3450 | 0.1921 | - |
| 4.5632 | 3500 | 0.2102 | 0.9088 |
| 4.6284 | 3550 | 0.2048 | - |
| 4.6936 | 3600 | 0.221 | 0.9056 |
| 4.7588 | 3650 | 0.2408 | - |
| 4.8240 | 3700 | 0.2306 | 0.9008 |
| 4.8892 | 3750 | 0.1855 | - |
| 4.9544 | 3800 | 0.1976 | 0.9058 |
| 5.0196 | 3850 | 0.2406 | - |
| 5.0847 | 3900 | 0.1973 | 0.9139 |
| 5.1499 | 3950 | 0.2142 | - |
| 5.2151 | 4000 | 0.1717 | 0.9147 |
| 5.2803 | 4050 | 0.2079 | - |
| 5.3455 | 4100 | 0.1974 | 0.9114 |
| 5.4107 | 4150 | 0.1464 | - |
| 5.4759 | 4200 | 0.176 | 0.9123 |
| 5.5411 | 4250 | 0.151 | - |
| 5.6063 | 4300 | 0.1771 | 0.9074 |
| 5.6714 | 4350 | 0.191 | - |
| 5.7366 | 4400 | 0.1682 | 0.9114 |
| 5.8018 | 4450 | 0.1668 | - |
| 5.8670 | 4500 | 0.2111 | 0.9061 |
| 5.9322 | 4550 | 0.1729 | - |
| 5.9974 | 4600 | 0.2185 | 0.9102 |
| 6.0626 | 4650 | 0.1299 | - |
| 6.1278 | 4700 | 0.1448 | 0.8797 |
| 6.1930 | 4750 | 0.1423 | - |
| 6.2581 | 4800 | 0.1385 | 0.9017 |
| 6.3233 | 4850 | 0.1764 | - |
| 6.3885 | 4900 | 0.1773 | 0.8860 |
| 6.4537 | 4950 | 0.1386 | - |
| 6.5189 | 5000 | 0.1837 | 0.9036 |
| 6.5841 | 5050 | 0.1595 | - |
| 6.6493 | 5100 | 0.1609 | 0.8951 |
| 6.7145 | 5150 | 0.1596 | - |
| 6.7797 | 5200 | 0.1692 | 0.9028 |
| 6.8449 | 5250 | 0.1846 | - |
| 6.9100 | 5300 | 0.1504 | 0.9003 |
| 6.9752 | 5350 | 0.1985 | - |
| 7.0404 | 5400 | 0.1249 | 0.9045 |
| 7.1056 | 5450 | 0.1439 | - |
| 7.1708 | 5500 | 0.1246 | 0.9120 |
| 7.2360 | 5550 | 0.1341 | - |
| 7.3012 | 5600 | 0.1237 | 0.9113 |
| 7.3664 | 5650 | 0.1163 | - |
| 7.4316 | 5700 | 0.1846 | 0.9172 |
| 7.4967 | 5750 | 0.1814 | - |
| 7.5619 | 5800 | 0.1591 | 0.9015 |
| 7.6271 | 5850 | 0.1764 | - |
| 7.6923 | 5900 | 0.1408 | 0.8988 |
| 7.7575 | 5950 | 0.1433 | - |
| 7.8227 | 6000 | 0.1495 | 0.9123 |
| 7.8879 | 6050 | 0.1287 | - |
| 7.9531 | 6100 | 0.1826 | 0.9060 |
| 8.0183 | 6150 | 0.1102 | - |
| 8.0834 | 6200 | 0.1145 | 0.8955 |
| 8.1486 | 6250 | 0.1052 | - |
| 8.2138 | 6300 | 0.1132 | 0.9043 |
| 8.2790 | 6350 | 0.1361 | - |
| 8.3442 | 6400 | 0.1266 | 0.9041 |
| 8.4094 | 6450 | 0.1514 | - |
| 8.4746 | 6500 | 0.1608 | 0.9051 |
| 8.5398 | 6550 | 0.104 | - |
| 8.6050 | 6600 | 0.157 | 0.9028 |
| 8.6701 | 6650 | 0.1092 | - |
| 8.7353 | 6700 | 0.1581 | 0.9009 |
| 8.8005 | 6750 | 0.1435 | - |
| 8.8657 | 6800 | 0.1626 | 0.9098 |
| 8.9309 | 6850 | 0.1354 | - |
| 8.9961 | 6900 | 0.1507 | 0.9058 |
| 9.0613 | 6950 | 0.1117 | - |
| 9.1265 | 7000 | 0.105 | 0.9088 |
| 9.1917 | 7050 | 0.109 | - |
| 9.2568 | 7100 | 0.1086 | 0.9024 |
| 9.3220 | 7150 | 0.0774 | - |
| 9.3872 | 7200 | 0.1038 | 0.9126 |
| 9.4524 | 7250 | 0.1112 | - |
| 9.5176 | 7300 | 0.1342 | 0.9070 |
| 9.5828 | 7350 | 0.1509 | - |
| 9.6480 | 7400 | 0.1544 | 0.9047 |
| 9.7132 | 7450 | 0.1286 | - |
| 9.7784 | 7500 | 0.1233 | 0.8935 |
| 9.8435 | 7550 | 0.0993 | - |
| 9.9087 | 7600 | 0.1355 | 0.8843 |
| 9.9739 | 7650 | 0.0891 | - |
| 10.0391 | 7700 | 0.093 | 0.8974 |
| 10.1043 | 7750 | 0.0563 | - |
| 10.1695 | 7800 | 0.1052 | 0.8924 |
| 10.2347 | 7850 | 0.1169 | - |
| 10.2999 | 7900 | 0.1121 | 0.8884 |
| 10.3651 | 7950 | 0.085 | - |
| 10.4302 | 8000 | 0.1313 | 0.8853 |
| 10.4954 | 8050 | 0.1049 | - |
| 10.5606 | 8100 | 0.0822 | 0.8935 |
| 10.6258 | 8150 | 0.1017 | - |
| 10.6910 | 8200 | 0.1113 | 0.8908 |
| 10.7562 | 8250 | 0.1289 | - |
| 10.8214 | 8300 | 0.104 | 0.8885 |
| 10.8866 | 8350 | 0.0806 | - |
| 10.9518 | 8400 | 0.1263 | 0.8933 |
| 11.0169 | 8450 | 0.1326 | - |
| 11.0821 | 8500 | 0.081 | 0.8991 |
| 11.1473 | 8550 | 0.0838 | - |
| 11.2125 | 8600 | 0.0319 | 0.9082 |
| 11.2777 | 8650 | 0.0831 | - |
| 11.3429 | 8700 | 0.0816 | 0.8983 |
| 11.4081 | 8750 | 0.0979 | - |
| 11.4733 | 8800 | 0.0676 | 0.9049 |
| 11.5385 | 8850 | 0.1105 | - |
| 11.6037 | 8900 | 0.0957 | 0.9053 |
| 11.6688 | 8950 | 0.1382 | - |
| 11.7340 | 9000 | 0.0733 | 0.9121 |
| 11.7992 | 9050 | 0.0594 | - |
| 11.8644 | 9100 | 0.1077 | 0.8970 |
| 11.9296 | 9150 | 0.1251 | - |
| 11.9948 | 9200 | 0.1076 | 0.8913 |
| 12.0600 | 9250 | 0.0996 | - |
| 12.1252 | 9300 | 0.097 | 0.8907 |
| 12.1904 | 9350 | 0.0938 | - |
| 12.2555 | 9400 | 0.088 | 0.9040 |
| 12.3207 | 9450 | 0.0557 | - |
| 12.3859 | 9500 | 0.0843 | 0.8974 |
| 12.4511 | 9550 | 0.0991 | - |
| 12.5163 | 9600 | 0.0643 | 0.9008 |
| 12.5815 | 9650 | 0.0782 | - |
| 12.6467 | 9700 | 0.0875 | 0.9047 |
| 12.7119 | 9750 | 0.111 | - |
| 12.7771 | 9800 | 0.0783 | 0.9103 |
| 12.8422 | 9850 | 0.0951 | - |
| 12.9074 | 9900 | 0.0406 | 0.9134 |
| 12.9726 | 9950 | 0.1552 | - |
| 13.0378 | 10000 | 0.0425 | 0.9212 |
| 13.1030 | 10050 | 0.0428 | - |
| 13.1682 | 10100 | 0.0914 | 0.9108 |
| 13.2334 | 10150 | 0.0578 | - |
| 13.2986 | 10200 | 0.0935 | 0.9091 |
| 13.3638 | 10250 | 0.0629 | - |
| 13.4289 | 10300 | 0.079 | 0.9147 |
| 13.4941 | 10350 | 0.0991 | - |
| 13.5593 | 10400 | 0.0455 | 0.8964 |
| 13.6245 | 10450 | 0.094 | - |
| 13.6897 | 10500 | 0.1004 | 0.9063 |
| 13.7549 | 10550 | 0.0687 | - |
| 13.8201 | 10600 | 0.0725 | 0.9136 |
| 13.8853 | 10650 | 0.0909 | - |
| 13.9505 | 10700 | 0.0812 | 0.9194 |
| 14.0156 | 10750 | 0.0634 | - |
| 14.0808 | 10800 | 0.0467 | 0.9021 |
| 14.1460 | 10850 | 0.0493 | - |
| 14.2112 | 10900 | 0.0713 | 0.9144 |
| 14.2764 | 10950 | 0.0842 | - |
| 14.3416 | 11000 | 0.0294 | 0.9057 |
| 14.4068 | 11050 | 0.0834 | - |
| 14.4720 | 11100 | 0.066 | 0.9061 |
| 14.5372 | 11150 | 0.0835 | - |
| 14.6023 | 11200 | 0.067 | 0.9049 |
| 14.6675 | 11250 | 0.0692 | - |
| 14.7327 | 11300 | 0.0972 | 0.9037 |
| 14.7979 | 11350 | 0.043 | - |
| 14.8631 | 11400 | 0.0679 | 0.9170 |
| 14.9283 | 11450 | 0.0763 | - |
| 14.9935 | 11500 | 0.0671 | 0.9183 |
| 15.0587 | 11550 | 0.0742 | - |
| 15.1239 | 11600 | 0.0345 | 0.9027 |
| 15.1890 | 11650 | 0.0485 | - |
| 15.2542 | 11700 | 0.0377 | 0.9090 |
| 15.3194 | 11750 | 0.0626 | - |
| 15.3846 | 11800 | 0.0483 | 0.9047 |
| 15.4498 | 11850 | 0.0895 | - |
| 15.5150 | 11900 | 0.0336 | 0.9064 |
| 15.5802 | 11950 | 0.0652 | - |
| 15.6454 | 12000 | 0.0421 | 0.8936 |
| 15.7106 | 12050 | 0.0599 | - |
| 15.7757 | 12100 | 0.0639 | 0.8991 |
| 15.8409 | 12150 | 0.0807 | - |
| 15.9061 | 12200 | 0.0489 | 0.8962 |
| 15.9713 | 12250 | 0.0523 | - |
| 16.0365 | 12300 | 0.0459 | 0.8934 |
| 16.1017 | 12350 | 0.0433 | - |
| 16.1669 | 12400 | 0.0382 | 0.8948 |
| 16.2321 | 12450 | 0.0529 | - |
| 16.2973 | 12500 | 0.0615 | 0.8916 |
| 16.3625 | 12550 | 0.0339 | - |
| 16.4276 | 12600 | 0.0343 | 0.8896 |
| 16.4928 | 12650 | 0.053 | - |
| 16.5580 | 12700 | 0.0445 | 0.8895 |
| 16.6232 | 12750 | 0.0504 | - |
| 16.6884 | 12800 | 0.0472 | 0.8899 |
| 16.7536 | 12850 | 0.0667 | - |
| 16.8188 | 12900 | 0.0581 | 0.8927 |
| 16.8840 | 12950 | 0.0536 | - |
| 16.9492 | 13000 | 0.0352 | 0.8952 |
| 17.0143 | 13050 | 0.0599 | - |
| 17.0795 | 13100 | 0.0228 | 0.8907 |
| 17.1447 | 13150 | 0.0211 | - |
| 17.2099 | 13200 | 0.0305 | 0.8932 |
| 17.2751 | 13250 | 0.0411 | - |
| 17.3403 | 13300 | 0.0802 | 0.8911 |
| 17.4055 | 13350 | 0.0667 | - |
| 17.4707 | 13400 | 0.03 | 0.8897 |
| 17.5359 | 13450 | 0.0562 | - |
| 17.6010 | 13500 | 0.0273 | 0.8934 |
| 17.6662 | 13550 | 0.0327 | - |
| 17.7314 | 13600 | 0.0547 | 0.8942 |
| 17.7966 | 13650 | 0.0452 | - |
| 17.8618 | 13700 | 0.0621 | 0.9009 |
| 17.9270 | 13750 | 0.0169 | - |
| 17.9922 | 13800 | 0.0369 | 0.8930 |
| 18.0574 | 13850 | 0.0529 | - |
| 18.1226 | 13900 | 0.0368 | 0.8989 |
| 18.1877 | 13950 | 0.0417 | - |
| 18.2529 | 14000 | 0.0752 | 0.8914 |
| 18.3181 | 14050 | 0.0406 | - |
| 18.3833 | 14100 | 0.032 | 0.8920 |
| 18.4485 | 14150 | 0.0311 | - |
| 18.5137 | 14200 | 0.0197 | 0.9020 |
| 18.5789 | 14250 | 0.0742 | - |
| 18.6441 | 14300 | 0.0167 | 0.8949 |
| 18.7093 | 14350 | 0.0316 | - |
| 18.7744 | 14400 | 0.0429 | 0.9041 |
| 18.8396 | 14450 | 0.0474 | - |
| 18.9048 | 14500 | 0.037 | 0.8995 |
| 18.9700 | 14550 | 0.0599 | - |
| 19.0352 | 14600 | 0.0305 | 0.8970 |
| 19.1004 | 14650 | 0.022 | - |
| 19.1656 | 14700 | 0.0416 | 0.8968 |
| 19.2308 | 14750 | 0.0127 | - |
| 19.2960 | 14800 | 0.029 | 0.8974 |
| 19.3611 | 14850 | 0.0237 | - |
| 19.4263 | 14900 | 0.0223 | 0.8969 |
| 19.4915 | 14950 | 0.062 | - |
| 19.5567 | 15000 | 0.0133 | 0.8979 |
| 19.6219 | 15050 | 0.0199 | - |
| 19.6871 | 15100 | 0.0253 | 0.8973 |
| 19.7523 | 15150 | 0.0413 | - |
| 19.8175 | 15200 | 0.0366 | 0.8978 |
| 19.8827 | 15250 | 0.0267 | - |
| 19.9478 | 15300 | 0.0097 | 0.8973 |
| -1 | -1 | - | 0.8974 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}